python解决网站的反爬虫策略总结(python web网站)

编辑：rootadmin

推荐整理分享python解决网站的反爬虫策略总结(python web网站)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:网站运行python,python对网页进行操作,python对网页进行操作,python对网页进行操作,python怎么写网站,网站运行python,网站运行python,网站运行python,内容如对您有帮助，希望把文章链接给更多的朋友！

本文详细介绍了网站的反爬虫策略，在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名[评论：往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。[这种防爬，需要有足够多的ip来应对]

（1）、大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib中很容易做到，这样就能很容易的绕过第一种反爬虫。

编写爬虫代理：

步骤：

1.参数是一个字典{'类型'：'代理ip：端口号'}　　proxy_support=urllib.request.ProxyHandler({})2.定制、创建一个opener　　opener=urllib.request.build_opener(proxy_support)3a.安装opener　　urllib.request.install_opener(opener)3b.调用opener　　opener.open(url)

用大量代理随机请求目标网站，应对反爬虫

（2）、对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论：对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的。

解决方案：Selenium+PhantomJS

Selenium：自动化web测试解决方案，完全模拟真实的浏览器环境，完全模拟基本上所有的用户操作

PhantomJS ：一个没有图形界面的浏览器

获取淘宝妹妹的个人详情地址：

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

Python实现批量检测HTTP服务的状态用Python实现批量测试一组url的可用性（可以包括HTTP状态、响应时间等）并统计出现不可用情况的次数和频率等。类似的，这样的脚本可以判断某个服务

利用Python实现颜色色值转换的小工具先看看Zeplin的颜色色值显示示例原有处理方式因为我会Python（仅限于终端输入python然后当做计算器算，或者用hex()函数把十进制转换成十六进制），所以

Python中断言Assertion的一些改进方案 PythonAssert为何不尽如人意Python中的断言用起来非常简单，你可以在assert后面跟上任意判断条件，如果断言失败则会抛出异常。assert1+1==2assertisinstance('Hello