登录 注册

　　在Pyhton中要怎么使用ip代理?我们经常说ip代理能够让Python更好的发挥爬虫效果，首先我们要懂得如何在python语言中设置ip代理来利用。

　　1、urllib模块设置代理

　　如果我们频繁用一个IP去爬取同一个网站的内容，很可能会被网站封杀IP。其中一种比较常见的方式就是设置ip代理。

　　from urllib import request

　　proxy = 'http://39.134.93.12:80'

　　proxy_support = request.ProxyHandler({'http': proxy})

　　opener = request.build_opener(proxy_support)

　　request.install_opener(opener)

　　result = request.urlopen('http://baidu.com')

　　首先我们需要构建一个ProxyHandler类，随后将该类用于构建网页代开的opener的类，最后在request中安装opener

　　2、requests模块使用代理

　　该模块设置代理非常容易

　　import requests

　　proxies = {

　　'http': 'http://10.10.1.10:3128',

　　'https': 'http://10.10.1.10:1080'

　　}

　　r = requests.get('http://icanhazip.com', proxies=proxies)

　　ip代理利用得当，我们的爬虫将不会轻易被网站禁止，这样就可以顺利抓取到我们需要的数据信息，帮助了我们爬虫的效果。