网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

HtmlParse:一款超轻量级的HTML文件解析和爬取工具

HtmlParse 是一款基于windwos平台的HTML文档解析工具,可快速构建DOM树,从而轻松实现网页元素的爬取工作。DOM树就是一个HTML文档的节点树,每个节点由:标签(Tag)、属性(Attribute)、文本(Text)三个值来描述。

所谓的HTML文档解析,指的就是如何构建一颗DOM树,只有成功构建出DOM树,才有可能进行后续的数据爬取和分析工作。显然,构建DOM树是比较复杂的过程,因为不是每一个HTML文档都会严格按照规范来书写,因此解析过程需要具有一定容错能力。此外,解析效率也是一个需要考虑的因素,也就是说最好通过一次文档扫描即可建立起DOM树,而不是反复扫描。

下面是HtmlParse介绍。

10年积累的成都做网站、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站策划后付款的网站建设流程,更有响水免费网站建设让你可以放心的选择与我们合作。

工具特点

1、绿色纯天然,无任何第三方依赖库,文件大小不到150K;
2、解析速度快,具有一定的HTML语法容错能力,可快速将HMTL文档解析为DOM树;
3、基于命令行参数,可通过不同参数获取指定TAG的属性值和文本内容,从而实现网页爬取功能;
4、可将爬取数据输出为json格式,方便第三方程序进一步分析和使用;
5、可爬取script脚本到指定的js文件中;

下载地址:http://softlee.cn/HtmlParse.zip

使用方法

HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]

解析指定的HTML文档,并将文档中指定的标签及属性输出到指定文件中。

HtmlPathFile:必选参数,要解析的HTML文档路径名,如果文件路径中有空格,可使用双引号将文件路径包含;

-tag:必选参数,用于指定要抓取的HTML标签名称;
-attr:可选参数,用于指定标签的属性值,如果不指定,则返回该标签的所有属性值;
-o:可选参数,用于指定抓取内容输出的文件,可将抓取的内容保存为json格式的文件。 如果该参数不指定,则进行控制台输出。 如果抓取的是script、style则会保存为js格式文件。

如果要抓取doctype,可使用-tag doctype,将整个doctype内容获取。此时将会忽略-attr指定的任何属性值。

举例说明

1、爬取网页中所有超链接

HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json

解析C盘下的sina.html文档,并提取该文档中的所有超链接到sina.json文件中。其中-tag a -attr href,用于指定获取超链接标签ahref属性。

2、爬取网页中所有图片链接

HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json

解析C盘下的sina.html文档,并提取该文档中的所有图片链接到sina.json文件中。

3、爬取网页中所有脚本

HtmlParse c:/sina.html -tag script -o c:/sina.js

解析C盘下的sina.html文档,并提取该文档中的所有脚本函数到sina.js文件中。

输出内容

如果通过-o参数指定输出文件,则会生成一个json格式的文档。
TagName为爬取的标签名称,比如超链接的a,其值是一个json数组,数组中的每个内容为Json对象,每个Json对象,有属性和文本构成。如果-attr 指定了要爬取的属性,则AttrName为指定的属性名称,比如href或src。text为该标签的文本内容,有些标签不存在文本内容,比如img、meta等,则该值为空。json格式如下:

{
  "TagName":
  [
     {"AttrName":"AttrValue1", "text":"text1"}
     {"AttrName":"AttrValue1", "text":"text2"}
  ]
}

下面是一个sina网页的所有超链接json

{
	"a": [{
		"href": "javascript:;",
		"text": "设为首页"
	}, {
		"href": "javascript:;",
		"text": "我的菜单"
	}, {
		"href": "https://sina.cn/",
		"text": "手机新浪网"
	}, {
		"href": "",
		"text": "移动客户端"
	}, {
		"href": "https://c.weibo.cn/client/guide/download",
		"text": "新浪微博"
	}, {
		"href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html",
		"text": "新浪新闻"
	}, {
		"href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml",
		"text": "新浪财经"
	}, {
		"href": "https://m.sina.com.cn/m/sinasports.shtml",
		"text": "新浪体育"
	}, {
		"href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc",
		"text": "黑猫投诉"
	}, {
		"href": "http://blog.sina.com.cn/lm/z/app/",
		"text": "新浪博客"
	}, {
		"href": "https://games.sina.com.cn/o/kb/.shtml",
		"text": "新浪游戏"
	}, {
		"href": "https://zhongce.sina.com.cn/about/app",
		"text": "新浪众测"
	}, {
		"href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login",
		"text": "新浪邮箱客户端"
	}, {
		"href": "javascript:;",
		"text": "关闭置顶"
	}, {

写在最后

网页下载可通过wincurl工具,这是一个windows平台下的curl程序。

下载地址:http://softlee.cn/wincurl.zip

介绍文章:《wincurl:一款基于HTTP协议的轻量级web资源抓取和上传工具》


分享题目:HtmlParse:一款超轻量级的HTML文件解析和爬取工具
文章链接:http://bjjierui.cn/article/dsojeoe.html

其他资讯