网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

实战:利用KNIME建立SparkMachinelearning模型1:开发环境搭建

1、Knime Analytics 安装

创新互联建站于2013年成立,先为武江等服务建站,武江等地企业,进行企业商务咨询服务。为武江企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

从官方网站下载合适的版本 https://www.knime.com/downloads

将下载的安装包在安装路径解压 https://www.knime.com/installation-0

下图是knime启动后的欢迎页面

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

要与spark集×××互,需要在Knime中安装KNIME® Extension for Apache Spark。并在Hadoop集群边界节点或能够执行spark-submit的节点安装Spark Job Server。架构图如下:

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

2、KNIME® Extension for Apache Spark 安装

在KNIME Analytics 中点击File->Install KNIME extensions选中KNIME Big Data Extensions,点击Next安装。

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

3、SPARK JOB SERVER安装

以下步骤以Centos 6.5 + CDH 5.7 为例

3.1 下载spark job server

$ wget http://download.knime.org/store/3.5/spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz

3.2 login as root or su root

3.3 安装

# LINKNAME=spark-job-server

# useradd -d /opt/${LINKNAME}/ -M -r -s /bin/false spark-job-server

# su -l -c "hdfs dfs -mkdir -p /user/spark-job-server ; hdfs dfs -chown -R spark-job-server /user/spark-job-server" hdfs

# cp spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz /opt

# cd /opt

# tar -xvf spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz

# ln -s spark-job-server-0.6.2.3-KNIME_cdh-5.7 ${LINKNAME}

#  chown -R spark-job-server:spark-job-server ${LINKNAME} spark-job-server-0.6.2.3-KNIME_cdh-5.7

3.4  开机启动

# ln -s /opt/${LINKNAME}/spark-job-server-init.d /etc/init.d/${LINKNAME}

#chkconfig --levels 2345 ${LINKNAME} on

3.5 编辑environment.conf

设置master,例如

master = "spark://ifrebdplatform1:7077"

设置Default settings for Spark contexts: context-settings

3.6 编辑设置settings.sh

设置SPARK_HOME,本例默认正确,不做改变

设置LOG_DIR,如果不用默认设置的目录的话

3.7 根据喜好编辑log4j-server.properties

3.8 启动spark job server

/etc/init.d/${LINKNAME} start

3.9 在knime 添加create spark context 节点测试链接

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

右击create spark context 节点,点击Execute执行

右击create spark context 节点,点击Spark Context,查看结果

实战:利用KNIME建立Spark Machine learning 模型 1:开发环境搭建

未完待续......


分享文章:实战:利用KNIME建立SparkMachinelearning模型1:开发环境搭建
URL标题:http://bjjierui.cn/article/gpjehg.html

其他资讯