这么长居然是一个语句。。
创新互联秉承实现全网价值营销的理念，以专业定制企业官网，成都网站制作、成都网站设计，微信小程序开发，网页设计制作，手机网站制作，成都全网营销推广帮助传统企业实现“互联网+”转型升级专业定制企业官网,公司注重人才、技术和管理，汇聚了一批优秀的互联网技术人才,对客户都以感恩的心态奉献自己的专业和所长。
不应该图简便这么写吧
一个一个create然后add
这样用for循环就可以重复add了阿
1、 Checkstyle
Checkstyle 是SourceForge的开源项目，通过检查对代码编码格式，命名约定，Javadoc，类设计等方面进行代码规范和风格的检查，从而有效约束开发人员更好地遵循代码编写规范。Checkstyle 提供了支持大多数常见IDE的插件。
2、FindBugs
FindBugs 是由马里兰大学提供的一款开源 Java 静态代码分析工具。FindBugs 通过检查类文件或 JAR 文件，将字节码与一组缺陷模式进行对比从而发现代码缺陷，完成静态代码分析。FindBugs 既提供可视化 UI 界面，同时也可以作为 Eclipse 插件使用。
3、PMD
PMD 是由 DARPA 在 SourceForge 上发布的开源 Java 代码静态分析工具。PMD 通过其内置的编码规则对 Java 代码进行静态检查，主要包括对潜在的 bug，未使用的代码，重复的代码，循环体创建新对象等问题的检验。PMD 提供了和多种 Java IDE 的集成，例如 Eclipse，IDEA，NetBean 等。
4、Jtest
Jtest 是Parasoft 公司推出的一款针对Java语言的自动化代码优化和测试工具，Jtest 的静态代码分析功能能够按照其内置的超过800条的 Java 编码规范自动检查并纠正这些隐蔽且难以修复的编码错误。同时，还支持用户自定义编码规则，帮助用户预防一些特殊用法的错误。
java的，我已经测试可以使用。
但是单个文件很大的话可能算md5会比较慢
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.ArrayList;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.math.BigInteger;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class Main
{
ArrayListString md5List = new ArrayListString();
public String getMd5(File file){
String value = null;
FileInputStream in = null;
try {
in = new FileInputStream(file);
MappedByteBuffer byteBuffer = in.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, file.length());
MessageDigest md5 = MessageDigest.getInstance("MD5");
md5.update(byteBuffer);
BigInteger bi = new BigInteger(1, md5.digest());
value = bi.toString(16);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (NoSuchAlgorithmException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
if(null != in) {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
return value;
}
public void run(File file) {
if(file != null){
if(file.isDirectory()){
File f[] = file.listFiles();
if(f != null) {
for(int i = 0; i f.length; i++)
run(f[i]);
}
} else {
String md5 = getMd5(file);
if(md5List.contains(md5)) {
System.out.println(file.toString());
file.delete();
} else {
md5List.add(md5);
}
}
}
}
public static void main(String args[]) {
Main m = new Main();
String path = "D:\\test";
m.run(new File(path));
}
}
利用符集编码。
因为HDFS支持6种字符集编码，每个本地文件编码方式又是极可能不一样的，我们上传本地文件的时候其实就是把文件编码成字节流上传到文件系统存储。
