登录 注册

　　使用ip代理爬虫的好处其中一点就是我们不用担心我们的IP被网站封禁了，ip代理更换IP，这样我们就能够继续访问网站了，爬虫程序也能够继续进行。

　　ProxyHandler处理(代理服务器)，使用ip代理，是爬虫的常用手段，通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP，但是我们使用ip代理就不怕它封了我们的IP了。

　　基本使用步骤：

　　1、设置代理地址

　　2、创建ProxyHandler

　　3、创建Opener

　　4、安装Opener# 使用代理服务器访问猫眼

　　以下是代码部分：

　　# https://maoyan.com/

　　from urllib import request,error

　　'''

　　'''

　　if __name__ == '__main__':

　　url = "https://baidu.com/"

　　# 1.设置代理地址

　　proxy = {'http': '218.60.8.83:3129'}

　　# 2.创建ProxyHandler

　　proxy_handler = request.ProxyHandler(proxy)

　　# 3.创建Opener

　　opener = request.build_opener(proxy_handler)

　　# 4.安装Opener

　　request.install_opener(opener)

　　# 下面再进行访问url就会使用代理服务器

　　try:

　　rsp = request.urlopen(url)

　　html = rsp.read().decode()

　　print(html)

　　except error.HTTPError as e:

　　print(e)

　　except Exception as e:

　　print(e)

　　上面IP海介绍了一个比较基础的爬取猫眼电影的操作，大家可以通过这几个步骤来了解ip代理的使用。