如果代码能力不是很好的话可以借助一些软件去抓取新闻的字段
成都创新互联公司专业提供成都主机托管四川主机托管成都服务器托管四川服务器托管，支持按月付款！我们的承诺：贵族品质、平民价格，机房位于中国电信/网通/移动机房，内江机房主机托管服务有保障！
把数据抓取下来以后可以选择存入数据库当中
需要去重的话，在Java的集合框架中就有HashSet和HashMap可以对数据去重
使用带Hash的集合时一定要注意，如果是存放自定义的对象一定要重写equals方法和HashCode方法
火车头采集器采集内容之前是先采集网址的，所以你说的这个网址其实早就知道了，而采集内容的时候是不会采集到得，因为一般情况下一个网页的源代码里不会有这个网页的网址。 比如A是一个网页的网址，用火车头采集器的时候首先读取的就是这个网页地址A，然后再根据这个地址来请求数据，根据你的采集规则来采集内容，而这个网页的内容里没有这个网址A，那么你肯定是采集不到的。那么这个网址A在哪里呢?在生成的文件里。 比如你保存到本地之后生成一个CSV的文件，打开之后再最后一列(URL)就是采集的内容对应的这个网址。
可以使用HttpClient读取网页的内容
整个过程分为六步
创建 HttpClient 的实例
2. 创建某种连接方法的实例，在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址
3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例
4. 读 response
5. 释放连接。无论执行方法是否成功，都必须释放连接
6. 对得到后的内容进行处理
实现如下：
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
public class HttpClientTest...{
public static void main(String[] args) {
//构造HttpClient的实例
HttpClient httpClient = new HttpClient();
//创建GET方法的实例
GetMethod getMethod = new GetMethod("");
//使用系统提供的默认的恢复策略
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
try {
//执行getMethod
int statusCode = httpClient.executeMethod(getMethod);
if (statusCode != HttpStatus.SC_OK) {
System.err.println("Method failed: "
+ getMethod.getStatusLine());
}
//读取内容
byte[] responseBody = getMethod.getResponseBoy();
//处理内容
System.out.println(new String(responseBody));
} catch (HttpException e) {
//发生异常，可能是协议不对或者返回的内容有问题
System.out.println("Please check your provided http address!");
e.printStackTrace();
} catch (IOException e) {
//发生网络异常
e.printStackTrace();
} finally {
//释放连接
getMethod.releaseConnection();
}
}
}
这样得到的是页面的源代码，再进行处理
精通Java语言，熟练掌握了j2ee、jsp、servlet、struts、spring、hibernate技术，熟练数据库Oracle的数据库技术的管理与维护，熟练运用SQL语句,熟练运用struts、hibernate、spring轻量级三大框架技术进行项目开发。熟悉java开发工具Eclipse使用。熟练Tomcat容器的配置及使用。熟练使用HTML/XML标记语言和JS脚本语言、熟练UML统一建模语言，能运用SybasePowerDesigner进行模型建立。还有尽量不要说精通！！精通不符合实际，因为很对面试官自己都不敢谈精通！
