网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Master上的Spark怎么安装

这篇文章主要讲解了“Master上的Spark怎么安装”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Master上的Spark怎么安装”吧!

成都创新互联专注于企业营销型网站建设、网站重做改版、克州网站定制设计、自适应品牌网站建设、H5技术商城网站制作、集团公司官网建设、成都外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为克州等各大城市提供网站开发制作服务。

安装Spark

Master、Slave1、Slave2这三台机器上均需要安装Spark。

首先在Master上安装Spark,具体步骤如下:

第一步:把Master上的Spark解压:

Master上的Spark怎么安装

我们直接解压到当前目录下:

Master上的Spark怎么安装

此时,我们创建Spark的目录“/usr/local/spark”:

Master上的Spark怎么安装

把解压后的“spark-1.0.0-bin-hadoop1”复制到/usr/local/spark”下面:

Master上的Spark怎么安装

第二步:配置环境变量

       进入配置文件:

Master上的Spark怎么安装

在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中:

Master上的Spark怎么安装

配置后保存退出,然后使配置生效:

Master上的Spark怎么安装

第三步:配置Spark

进入Spark的conf目录:

Master上的Spark怎么安装

在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中:

Master上的Spark怎么安装

把spark-env.sh.template 拷贝到spark-env.sh:

Master上的Spark怎么安装

在配置文件中添加如下配置信息:

Master上的Spark怎么安装

其中:

JAVA_HOME:指定的是Java的安装目录;

SCALA_HOME:指定的是Scala的安装目录;

SPARK_MASTER_IP:指定的是Spark集群的Master节点的IP地址;

SPARK_WORKER_MEMOERY:指定的Worker节点能够最大分配给Excutors的内存大小,因为我们的三台机器配置都是2g,为了最充分的使用内存,这里设置为了2g;

HADOOP_CONF_DIR:指定的是我们原来的Hadoop集群的配置文件的目录;

保存退出。

接下来配置Spark的conf下的slaves文件,把Worker节点都添加进去:

Master上的Spark怎么安装

打开后文件的内容:

Master上的Spark怎么安装

我们需要把内容修改为:

Master上的Spark怎么安装

可以看出我们把三台机器都设置为了Worker节点,也就是我们的主节点即是Master又是Worker节点。

保存退出。

感谢各位的阅读,以上就是“Master上的Spark怎么安装”的内容了,经过本文的学习后,相信大家对Master上的Spark怎么安装这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


名称栏目:Master上的Spark怎么安装
文章出自:http://bjjierui.cn/article/iijphj.html

其他资讯