在Python中怎么设置ip代理来使用的?

发布时间:2020-07-10 关注热度:°C

  在Pyhton中要怎么使用ip代理?我们经常说ip代理能够让Python更好的发挥爬虫效果,首先我们要懂得如何在python语言中设置ip代理来利用。

设置ip代理在Python中使用

  1、urllib模块设置代理

  如果我们频繁用一个IP去爬取同一个网站的内容,很可能会被网站封杀IP。其中一种比较常见的方式就是设置ip代理。

  from urllib import request

  proxy = 'http://39.134.93.12:80'

  proxy_support = request.ProxyHandler({'http': proxy})

  opener = request.build_opener(proxy_support)

  request.install_opener(opener)

  result = request.urlopen('http://baidu.com')

  首先我们需要构建一个ProxyHandler类,随后将该类用于构建网页代开的opener的类,最后在request中安装opener

  2、requests模块使用代理

  该模块设置代理非常容易

  import requests

  proxies = {

  'http': 'http://10.10.1.10:3128',

  'https': 'http://10.10.1.10:1080'

  }

  r = requests.get('http://icanhazip.com', proxies=proxies)

  ip代理利用得当,我们的爬虫将不会轻易被网站禁止,这样就可以顺利抓取到我们需要的数据信息,帮助了我们爬虫的效果。

 

Copyright © 2020 www.iphai.cn. All Rights Reserved. IP海 版权所有.
IP海仅提供中国内IP加速服务,无法跨境联网,用户使用IP海从事的任何行为均不代本公司的意志和观点,产生的相关责任用户自负。
ICP备案鄂ICP备19030659号-3 公安备案鄂公网安备42100302000141号 计算机软件著作权证计算机软件著作权证 ICP/EDI许可证ICP/EDI许可证:鄂B2-20200106

扫一扫,加企业微信