网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

node爬虫-创新互联

node是服务器端的语言,所以可以像python一样对网站进行爬取,下面就使用node对博客园进行爬取,得到其中所有的章节信息。

站在用户的角度思考问题,与客户深入沟通,找到瑞金网站设计与瑞金网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广、空间域名、虚拟空间、企业邮箱。业务覆盖瑞金地区。

第一步: 建立crawl文件,然后npm init。

第二步: 建立crawl.js文件,一个简单的爬取整个页面的代码如下所示:

node爬虫

var http = require("http");var url = "http://www.cnblogs.com";

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function () {
        console.log(html);
    });
}).on("error", function () {
    console.log("获取课程结果错误!");
});

node爬虫

即引入http模块,然后利用http对象的get请求,即一旦运行,相当于node服务器端发送了一个get请求请求这个页面,然后通过res返回,其中on绑定data事件用来不断地接受数据,最后end时我们就在后台打印出来。

这只是整个页面的一部分,我们可以在此页面审查元素,发现确实是一样的

我们只需要将其中的章节title和每一小节的信息爬到即可。

第三步: 引入cheerio模块,如下:(在gitbash中安装即可,cmd总是出问题)

cnpm install cheerio --save-dev

这个模块的引入,就是为了方便我们操作dom,就像jQuery一样。

第四步: 操作dom,获取有用信息。

node爬虫

var http = require("http");var cheerio = require("cheerio");var url = "http://www.cnblogs.com";

function filterData(html) {    var $ = cheerio.load(html); 
    var items = $(".post_item");    var result = [];
    items.each(function (item) {        var tit = $(this).find(".titlelnk").text();        var aut = $(this).find(".lightblue").text();        var one = {
            title: tit,
            author: aut
        };
        result.push(one);
    });    return result;
}

function printInfos(allInfos) {
    allInfos.forEach(function (item) {
        console.log("文章题目  " + item["title"] + '\n' + "文章作者  " + item["author"] + '\n'+ '\n');
    });
}

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function (data) {        var allInfos = filterData(html);
        printInfos(allInfos);
    });
}).on("error", function () {
    console.log("爬取博客园首页失败")
});

node爬虫

即上面的过程就是在爬取博客的题目和作者。

最终后台输出如下:

node爬虫

这和博客园首页的内容是一致的:

node爬虫

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文标题:node爬虫-创新互联
文章路径:http://bjjierui.cn/article/gpdcd.html

其他资讯