[使用案例]使用ip代理爬取猫眼电影案例

发布时间:2020-05-24 关注热度:°C

  使用ip代理爬虫的好处其中一点就是我们不用担心我们的IP被网站封禁了,ip代理更换IP,这样我们就能够继续访问网站了,爬虫程序也能够继续进行。

ip代理使用步骤

  ProxyHandler处理(代理服务器),使用ip代理,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用ip代理就不怕它封了我们的IP了。

  基本使用步骤:

  1、设置代理地址

  2、创建ProxyHandler

  3、创建Opener

  4、安装Opener# 使用代理服务器访问猫眼

  以下是代码部分:

  # https://maoyan.com/

  from urllib import request,error

  '''

  '''

  if __name__ == '__main__':

  url = "https://baidu.com/"

  # 1.设置代理地址

  proxy = {'http': '218.60.8.83:3129'}

  # 2.创建ProxyHandler

  proxy_handler = request.ProxyHandler(proxy)

  # 3.创建Opener

  opener = request.build_opener(proxy_handler)

  # 4.安装Opener

  request.install_opener(opener)

  # 下面再进行访问url就会使用代理服务器

  try:

  rsp = request.urlopen(url)

  html = rsp.read().decode()

  print(html)

  except error.HTTPError as e:

  print(e)

  except Exception as e:

  print(e)

  上面IP海介绍了一个比较基础的爬取猫眼电影的操作,大家可以通过这几个步骤来了解ip代理的使用。

 

Copyright © 2020 www.iphai.cn. All Rights Reserved. IP海 版权所有.
IP海仅提供中国内IP加速服务,无法跨境联网,用户使用IP海从事的任何行为均不代本公司的意志和观点,产生的相关责任用户自负。
ICP备案鄂ICP备19030659号-3 公安备案鄂公网安备42100302000141号 计算机软件著作权证计算机软件著作权证 ICP/EDI许可证ICP/EDI许可证:鄂B2-20200106

扫一扫,加企业微信