位置: 编程技术 - 正文
Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据)
编辑：rootadmin推荐整理分享Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python 爬虫爬取网络小说标题,python 爬虫爬取php网页,python爬虫爬取电影代码,python爬虫爬取电影,python爬虫爬取天气数据,python爬虫爬取天气数据,python爬虫爬取视频,python爬虫爬取视频,内容如对您有帮助，希望把文章链接给更多的朋友！
自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后，大体的进度如下：1.增加了Cron： 用来告诉程序每隔分钟 让一个task 醒来， 跑到指定的那几个博客上去爬取最新的更新2.用google 的 Datastore 来存贮每次爬虫爬下来的内容。。只存贮新的内容。。
就像上次说的那样，这样以来 性能有了大幅度的提高： 原来的每次请求后， 爬虫才被唤醒 所以要花大约秒的时间才能从后台输出到前台而现在只需要2秒不到
3.对爬虫进行了优化
1. Cron.yaml 来安排每个程序醒来的时间
经过翻文档， 问问题终于弄明白google的cron的工作原理－－实际上只是google每隔指定的时间虚拟地访问一个我们自己指定的url…因此在Django 下， 根本不需要写一个纯的python 程序 一定不要写：if __name__=="__main__": 只需要自己配置一个url 放在views.py里：
cron.yaml 要放在跟app.yaml同一个级别上：cron:- description: retrieve newest postsurl: /task_updatePosts/schedule: every minutes
在url.py 里只要指向这个把task_updatePostsDB 指向url就好了
调试这个cron的过程可以用惨烈来形容。。。在stackoverflow上有很多很多人在问为什么自己的cron不能工作。。。我一开始也是满头是汗，找不着头脑。。。最后侥幸弄好了，大体步骤也是空泛的很。。但是很朴实：首先，一定要确保自己的程序没有什么syntax error….然后可以自己试着手动访问一下那个url 如果cron 正常的话，这个时候任务应该已经被执行了 最后实在不行的话多看看log…
2. Datastore的配置和利用－－Using Datastore with Django
我的需求在这里很简单－－没有join…所以我就直接用了最简陋的django-helper..这个models.py 是个重点：
前两行是重点中的重点。。。。我一开始天真没写第二行。。。结果我花了2个多小时都没明白是怎么回事。。得不偿失。。。读写的时候， 千万别忘了。。。PostDB.put()
一开始的时候，我为了省事，就直接每次cron被唤醒， 就删除全部的数据， 然后重新写入新爬下来的数据。。。结果。。。一天过后。。。有4万条读写纪录。。。。而每天免费的只有5万条。。。。所以就改为在插入之前先看看有没有更新， 有的话就写，没的话就不写。。总算把数据库这部分搞好了。。。
3.爬虫的改进：一开始的时候，爬虫只是去爬feed里给的文章。。这样一来，如果一个博客有＊篇文章的话。。。最多只能拿到篇。。。。这次，改进版能爬所有的文章。。我分别拿孤独川陵， 韩寒， Yuki和Z的博客做的试验。。成功的很。。。其中孤独川陵那里有＋篇文章。。。无遗漏掉的被爬下来了。。
对PyQuery的推荐。。很遗憾的说， BueautifulSoup让我深深的失望了。。。在我写上篇文章的时候，当时有个小bug..一直找不到原因。。在我回家后，又搭上了很多时间试图去弄明白为什么BueautifulSoup一直不能抓到我想要的内容。。。后来大体看了看它selector部分的源代码觉得应该是它对于很多还有<script>tag的不规范html页面的解析不准确。。。
我放弃了这个库， 又试了lxml..基于xpath 很好用。。但是xpath的东西我老是需要查文档。。。所以我又找了个库PyQuery…可以用jQuery选择器的工具。。。非常非常非常好用。。。。具体的用法就看上面吧。。。这个库有前途。。。
隐忧 因为pyquery基于lxml…而lxml的底层又是c…所以估计在gae上用不了。。。我这个爬虫只能现在在我的电脑上爬好东西。。。然后push到server上。。。
总结
一句话， 我爱死Python了两句话， 我爱死Python了，我爱死Django了三句话， 我爱死Python了，我爱死Django了，我爱死jQuery了。。。四句号， 我爱死Python了，我爱死Django了，我爱死jQuery了，我爱死pyQuery了。。。
玩转python爬虫之cookie使用方法 之前一篇文章我们学习了爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份
玩转python爬虫之URLError异常处理 本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网连接不到特
玩转python爬虫之正则表达式 面对大量杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！1.了解正则表达式正则表达式是对字符
标签: python爬虫爬取网页数据
本文链接地址:https://www.jiuchutong.com/biancheng/382361.html 转载请保留说明！上一篇：Using Django with GAE Python 后台抓取多个网站的页面全文
