这篇文章主要介绍“如何使用eclipse spark ”，在日常操作中，相信很多人在如何使用eclipse spark 问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”如何使用eclipse spark ”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
创新互联建站服务项目包括霞山网站建设、霞山网站制作、霞山网页制作以及霞山网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，霞山网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到霞山省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
package my.test;
import java.io.IOException;
import org.apache.spark.deploy.SparkSubmit;
import com.huangyueran.spark.utils.Constant;
public class Main {
public static void main(String[] args) throws IOException {
System.setProperty("HADOOP_USER_NAME", "hadoop");
System.setProperty("user.name", "hadoop");
//System.setProperty("HADOOP_CONF_DIR", "C:\\eclipse-workspace\\SparkDemo\\src\\main\\resources");
//System.setProperty("HADOOP_CONF_DIR", "C:\\my\\soft\\hadoop\\hadoop-2.8.5\\hadoop-2.8.5\\etc\\hadoop");
System.out.println("------------"+System.getenv("HADOOP_CONF_DIR"));
System.out.println("------------"+System.getenv("HADOOP_HOME"));
String appName = "wordCount-yarn-cluster";
String className = "my.test.WordCount";
String path = "C:\\eclipse-workspace\\SparkDemo\\target\\SparkDemo-1.0-SNAPSHOT.jar";
path = Constant.HDFS_FILE_PREX +"/user/zzm/SparkDemo-1.0-SNAPSHOT.jar";
String [] arg0=new String[]{
// "--jars",Constant.HDFS_FILE_PREX +"/user/zzm/spark-lib",
"--master","yarn",//ip端口
"--deploy-mode","cluster",
"--name",appName,
"--class",className,//运行主类main
//"--spark.yarn.archive",Constant.HDFS_FILE_PREX + "/user/zzm/spark-lib",
"--executor-memory","2G",
"--total-executor-cores","10",
"--executor-cores","2",
path,//在linux上的包 可改为hdfs上面的路径
// "LR", "20180817111111", "66"//jar中的参数，注意这里的参数写法
};
SparkSubmit.main(arg0);
}
}
一直卡着：
spark-defaults.conf新增配置解决：
#spark.yarn.jar hdfs://udp02:8020/user//spark-lib/*.jar
到此，关于“如何使用eclipse spark ”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
