1、对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。
创新互联于2013年开始，是专业互联网技术服务公司，拥有项目成都做网站、成都网站制作、成都外贸网站建设网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元新安做网站,已为上家服务,为新安各地企业和个人服务,联系电话:13518219792
2、java实现网页源码获取的步骤：(1)新建URL对象，表示要访问的网址。如：url=new URL(http：//；)；(2)建立HTTP连接，返回连接对象urlConnection对象。
3、WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPHINX类包。
原理即是保存cookie数据保存登陆后的cookie.以后每次抓取页面把cookie在头部信息里面发送过去。系统是根据cookie来判断用户的。有了cookie就有了登录状态，以后的访问都是基于这个cookie对应的用户的。
普通的网页直接用httpclient封装的API就可以获取网页HTML了，然后 JSoup、正则 提取内容。若网站有反爬虫机制的，会需要构造User-Agent 伪装浏览器； 若有需要登录的，会传入cookie进去。
Java开源Web爬虫 Heritrix Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。更多Heritrix信息 WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。
1、我主要使用Jsoup解析，获取源码有时候使用Jsoup，比较复杂的时候比如需要换ip，改编码或者模拟登陆的时候使用HttpClient，以下是抓取开源中国新闻的一段代码，可以运行。
2、使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
3、普通的网页直接用httpclient封装的API就可以获取网页HTML了，然后 JSoup、正则 提取内容。若网站有反爬虫机制的，会需要构造User-Agent 伪装浏览器； 若有需要登录的，会传入cookie进去。
4、Java开源Web爬虫 Heritrix Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。更多Heritrix信息 WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。
5、原理即是保存cookie数据保存登陆后的cookie.以后每次抓取页面把cookie在头部信息里面发送过去。系统是根据cookie来判断用户的。有了cookie就有了登录状态，以后的访问都是基于这个cookie对应的用户的。
