node简单的爬虫

 目录结构如下:


var http =require('http');
var fs =require('fs');

var curentPage=1; //当前图片页数
var maxcurentPage=5;//最大页数
//获取图片地址
function getData(){
let url = 'http://www.nipic.com/photo/xiandai/jiaotong/index.html?page='+curentPage
http.get(url,(res)=>{

var data = '';
res.on('data',(a)=>{
data+=a.toString();
})
res.on('end',()=>{
let reg = /(.*?)/g
let arr=[];
while (reg.exec(data)){
arr.push(reg.exec(data)[2]);
}
for(i in arr){
(function(i){
setTimeout(()=>{
getImg(arr[i])
},500*i)
})(i)
}
if (curentPage {
let name = new Date().getTime();
let stream = fs.createWriteStream('./img/' + name + '.png');
res.pipe(stream);
})
}
getData();

作者:清风挽离人

相关推荐

爬虫中的问题

一个伪爬虫,下载网页图片

一个伪爬虫,下载网页图片

Node.js的安装与配置

Node.js的安装与配置

codeforces 1332D – Walk on Matrix(构造,位运算)

codeforces 1332D – Walk on Matrix(构造,位运算)