无时无刻不管你睡了依旧没睡,网络都会有雅量的数额来来往往,有客服端到服务端,有服务端到服务端。http的get和request实现的角色即为数据的拿走及提交,接下去大家起初写2个简短的小爬虫来爬爬菜鸟教程中有关node的章节的科目界面。

爬取Node.js 教程首页的富有数据

建立node-http.js,当中代码如下,代码中有详细的的诠释,自行领会了哈

var http=require('http');//获取http模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量

http.get(url,function(res){
    var html='';

    // 这里将会触发data事件,不断触发不断跟新html直至完毕
    res.on('data',function(data){
        html +=data
    })

    // 当数据获取完成将会触发end事件,这里将会打印初node官网的html
    res.on('end',function(){
        console.log(html)
    })
}).on('error',function(){
    console.log('获取node官网相关数据出错')
})

顶点履行结果中发觉这些页面的html全部被爬下来了

G:\node\node-http> node node-http.js
<!Doctype html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<meta property="qc:admins" content="465267610762567726375" />
<meta name="viewport" content="width=device-width, initial-scale=1.0" />
<title>Node.js 教程 | 菜鸟教程</title>
<link rel='dns-prefetch' href='//s.w.org' />
<link rel="canonical" href="http://www.runoob.com/nodejs/nodejs-tutorial.html" />
<meta name="keywords" content="Node.js 教程,node,Node.js,nodejs">
<meta name="description" content="Node.js 教程   简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台
。 Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好。   谁适合阅读本教程? 如果你是一个前端程序员,你不懂得像PHP、Python或Ruby等动态编程语言,..">
<link rel="shortcut icon" href="//static.runoob.comvicon.ico" mce_href="//static.runoob.comvicon.ico" type="image/x-icon">
<link rel="stylesheet" href="/wp-content/themes/runoob/style.css?v=1.141" type="text/css" media="all" />
<link rel="stylesheet" href="//cdn.bootcss.com/font-awesome/4.7.0/css/font-awesome.min.css" media="all" />
<!--[if gte IE 9]><!-->
。。。。。。。。。。
这里只展示部分不然你半天看不到头

自然爬个HTML对于我们来说没啥用,现在大家要做些过滤,比如这么些node教程中自个儿想知道课程目录有啥,那样能够选择感兴趣的去探访学学。直接上代码吧依旧:

不过在此以前大家须求下载cheerio模块(cheerio是nodejs的抓取页面模块,为服务器尤其定制的,飞速、灵活、实施的jQuery大旨完毕。适合各类Web爬虫程序。)具体详尽介绍你们能够自动去找寻精通,cheerio的用跟jquery的用法极度接近,所以并非操心上手繁琐。

PS G:\node\node-http> npm install cheerio

树立node-http-more.js,个中代码如下:

var http=require('http');//获取http模块
var cheerio=require('cheerio');//引入cheerio模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量



// filer node chapter
function filerNodeChapter(html){
    // 将爬取得HTML装载起来
    var $=cheerio.load(html);
    // 拿到左侧边栏的每个目录
    var nodeChapter=$('#leftcolumn a');
    //这里我希望我能获取的到的最终数据格式这个样子的,如此我们能知道每个目录的地址及标题
    /**
     * [{id:,title:}]
     */
    var chapterData=[];
    nodeChapter.each(function(item){
        // 获取每项的地址及标题
        var id=$(this).attr('href');
        var title=$(this).text();
        chapterData.push({
            id:id,
            title:title
        })
    })

    return chapterData;

}

//获取每个数据
function getChapterData(nodeChapter){
    nodeChapter.forEach(function(item){
        console.log(' 【 '+item.id+' 】'+item.title+'\n')
    });
}

http.get(url,function(res){
    var html='';

    // 这里将会触发data事件,不断触发不断跟新html直至完毕
    res.on('data',function(data){
        html +=data
    })

    // 当数据获取完成将会触发end事件,这里将会打印初node官网的html
    res.on('end',function(){
        //console.log(html)
        // 过滤出node.js的课程目录
       var nodeChapter= filerNodeChapter(html);

        //循环打印所获取的数据
        getChapterData(nodeChapter)


    })
}).on('error',function(){
    console.log('获取node官网相关数据出错')
})

极限履行结果及打字与印刷出课程目录

G:\node\node-http> node node-http-more.js
 【 /nodejs/nodejs-tutorial.html 】
Node.js 教程

 【 /nodejs/nodejs-install-setup.html 】
Node.js 安装配置

 【 /nodejs/nodejs-http-server.html 】
Node.js 创建第一个应用

 【 nodejs-npm.html 】 NPM 使用介绍

 【 nodejs-repl.html 】 Node.js REPL

 【 nodejs-callback.html 】 Node.js 回调函数

 【 nodejs-event-loop.html 】 Node.js 事件循环

 【 nodejs-event.html 】 Node.js EventEmitter

 【 nodejs-buffer.html 】 Node.js Buffer

 【 nodejs-stream.html 】 Node.js Stream

 【 /nodejs/nodejs-module-system.html 】
Node.js 模块系统
。。。。。。。。。。。
这里就不全部给出,你可以自己尝试着运行操作查看所有结果

到此1个简短的爬虫就写完了,赶紧本身入手试试啊

初稿地址

相关文章

网站地图xml地图