登录 注册

　　看到网上关于爬虫的教程，有一个词会出现得非常频繁，不知道大家有没有留意到，那就是ip代理池。今天IP海就要来给大家介绍ip代理池有什么用。

　　什么是用户ip代理池?

　　用户代理池就是将不同的用户代理组建成为一个池子，随后随机调用。

　　作用：每次访问代表使用的浏览器不一样

　　import urllib.request

　　import re

　　import random

　　uapools=[

　　'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',

　　'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',

　　'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',

　　'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12',

　　]

　　def ua(uapools):

　　thisua=random.choice(uapools)

　　print(thisua)

　　headers=("User-Agent",thisua)

　　opener=urllib.request.build_opener()

　　opener.addheaders=[headers]

　　urllib.request.install_opener(opener)

　　for i in range(10):

　　ua(uapools)

　　thisurl="https://www.qiushibaike.com/text/page/"+str(i+1)+"/";

　　data=urllib.request.urlopen(thisurl).read().decode("utf-8","ignore")

　　pat='<div class="content">.*?<span>(.*?)</span>.*?</div>'

　　res=re.compile(pat,re.S).findall(data)

　　for j in range(len(res)):

　　print(res[j])

　　print('---------------------')

　　简单的来说，ip代理池就是将可用的ip代理集中在一起，让它们配置在我们爬虫的程序当中，当一个IP失效之后，马上又另外一个IP接着使用。