位置: IT常识 - 正文
Node.js基础入门第六天(node.js入门教程)
编辑：rootadmin推荐整理分享Node.js基础入门第六天(node.js入门教程)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:node.js基础知识,node.js基础知识,node-js,node.js教程详细,node.js基础知识,node.js快速入门,node.js入门教程,node.js入门教程,内容如对您有帮助，希望把文章链接给更多的朋友！
经过前面五天的学习，对Node.js开发已经逐渐入门，今天结合之前学到的东西，开发一个小示例【爬取某图片网站的图片】，仅供学习分享使用，如有不足之处，还请指正。
涉及知识点开发一个小爬虫，涉及的知识点如下所示：
https模块，主要是用户获取网络资源，如：网页源码，图片资源等。cheerio模块，主要用于解析html源码，并可访问，查找html节点内容。fs模块，主要用于文件的读写操作，如保存图片，日志等。闭包，主要是对于异步操作，对象的隔离保护。cheerio简介什么是cheerio ?cheerio是为服务器特别定制的，快速、灵活、实施的jQuery核心实现。主要用于在服务端解析html。特点如下所示：
易用，语法类似jQuery语法，从jQuery库中去除了所有 DOM不一致性和浏览器尴尬的部分。解析快，比JSDOM快八倍。灵活，Cheerio 封装了兼容的htmlparser。Cheerio 几乎能够解析任何的 HTML 和 XML document。安装cheerio首先在命令行，切换到程序目录，然后输入安装命令进行安装，如下所示：
1 cnpm install cheerio安装过程，如下所示：
准备工作在编写爬虫之前，首先需要分析目标内容，本次需要爬取的是某网站，星空类型的图片内容，经过分析，发现所有的图片都是在ul下每一个li中的a标签内的img中，本次只需要解析出img的src属性，即可获取图片的下载路径。如下所示：
核心代码经过以上分析，通过Node.js编写代码，分为两步，获取所有图片的url路径，即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。
引用所需要的功能模块，如下所示：
1 var https = require('https');2 var cheerio = require('cheerio');3 var fs = require('fs');获取并解析html页面内容，如下所示：
1 //爬取的网址 2 var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html']; 3 var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'}); 4 5 for(i in addrs){ 6 (function(num){ 7 var addr = addrs[num]; 8 //创建目录 9 var p1 = new Promise(function(resolve,reject){10 fs.access('./download',function(err){11 if(err){12 fs.mkdir('./download',function(e){13 if(e){14 console.log('创建失败');15 }16 });17 }else{18 resolve("success");19 }20 }); 21 });22 23 p1.then(function(datas){24 var html='';25 var p2 = new Promise(function(resolve,reject){26 https.get(addr,function(res){27 res.on('data',function(data){28 html+=data.toString();29 })30 res.on('end',function(){31 resolve("success");32 });33 34 });35 36 });37 p2.then(function(data){38 //下载完成后，进行解析39 const $ =cheerio.load(html);40 var lis = $('#img-list-outer').find('li');41 for(var j=0;j<lis.length-1;j++){42 var li = lis[j];43 var src =$(li).find('a').find('img').attr('src');44 //console.log(src);45 //console.log('-------------------------');46 var imgurl='https:'+src;47 download(imgurl);48 var msg='['+j+']下载成功：'+imgurl;49 logger.write(msg+'\n');50 console.log(msg);51 }52 });53 });54 })(i);55 }注意：因为所有爬取的目标共分为3页，所以用到了循环，并且在循环中用到了闭包。
下载并保存单张图片代码，如下所示：
1 //下载图片 2 function download(imgurl){ 3 var p1 = new Promise(function(resolve,reject){ 4 https.get(imgurl,function(res){ 5 var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1); 6 var stream = fs.createWriteStream('./download/'+imgName); 7 res.pipe(stream); 8 setTimeout(function(){ 9 resolve('success');10 },300);11 12 });13 });14 p1.then(function(data){15 return;16 });17 }示例截图开发完成后，运行代码，如下所示：
爬取的图片，保存在文件夹中，如下所示：
注意：添加日志，是为了方便记录程序执行过程，对比图片和日志，便于发现问题。
备注学而时习之，不亦说乎？有朋自远方来，不亦乐乎？人不知而不愠，不亦君子乎？
下一篇：Dedecms 自定义表单提交后自动发送表单数据到指定邮箱的思路(dedecms使用教程)
