网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Ubuntu系统搭建单机Spark注意事项

 对于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的Spark,大致步骤如下(我使用VMWare下的Ubuntu 14.04,暂不考虑安全问题,在root下运行):

公司专注于为企业提供成都网站制作、网站建设、外贸网站建设、微信公众号开发、电子商务商城网站建设小程序定制开发,软件按需设计等一站式互联网企业服务。凭借多年丰富的经验,我们会仔细了解各客户的需求而做出多方面的分析、设计、整合,为客户设计出具风格及创意性的商业解决方案,创新互联公司更提供一系列网站制作和网站推广的服务。

 1、安装Ubuntu 14.04,注意装好后需要禁用防火墙(ufw disable),安装SSH 服务器,启用root用户

 2、下载安装JDK-1.8、scala 2.11.8(需要和spark的jar版本配合下,这个其实不是很必要,练习用)、spark、maven(build用,这里的scala版本需要和spark的一致,否则可能出现ClassNotDef异常)

 3、在.profile中配置环境变量,如:

 export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7

 export SPARK_LOCAL_HOST=192.168.162.132

 export SPARK_MASTER_HOST=192.168.162.132

 4、启动spark:

 $SPARK_HOME/sbin/start-master.sh

 # 在单机情况下也必须启动,否则没有worker

 $SPARK_HOME/sbin/start-slave.sh

 5、使用maven编译一个示例程序(当然sbt也可以)

 6、提交你的测试程序,如下:

 $SPARK_HOME/spark-submit --class "类名" --master spark://IP:Port 打包文件名

 另外,注意的一点是需要在/etc/hosts和/etc/hostname中正确配置主机名,否则可能出现IOException

 


当前名称:Ubuntu系统搭建单机Spark注意事项
网站URL:http://bjjierui.cn/article/jhihdh.html

其他资讯