这篇文章主要介绍如何安装单机版hadoop相关套件，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
成都网络公司-成都网站建设公司创新互联公司10年经验成就非凡，专业从事成都网站制作、网站设计，成都网页设计，成都网页制作，软文发布平台，1元广告等。10年来已成功提供全面的成都网站建设方案，打造行业特色的成都网站建设案例，建站热线：13518219792，我们期待您的来电！
配置文件在 $HADOOP_HOME/etc/hadoop 目录下。
配置 hadoop-env.sh ，添加属性
# The java implementation to use. export JAVA_HOME=/home/java/jdk1.8.0_191 export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08"
配置 core-site.xml
fs.defaultFS hdfs://hadoop-standalone:9000 hadoop.tmp.dir /home/data/hadoop hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *
配置 hdfs-site.xml
dfs.replication 1 dfs.permissions.enabled false dfs.webhdfs.enabled true
配置 mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop-standalone:10020 mapreduce.jobhistory.webapp.address hadoop-standalone:19888 mapreduce.jobhistory.intermediate-done-dir /history/done_intermediate mapreduce.jobhistory.done-dir /history/done
配置 yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop-standalone yarn.log-aggregation-enable true yarn.nodemanager.log-aggregation.debug-enabled true yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds 3600 yarn.log.server.url http://hadoop-standalone:19888/jobhistory/logs
yarn-env.sh 配置中添加
YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08"
格式化namenode
hdfs namenode -format
分别启动 hdfs / yarn / jobhistory服务器
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
分别访问
http://hadoop-standalone:50070
http://hadoop-standalone:8088
先安装scala, 再在系统的环境变量中配置SPARK_HOME
然后配置 spark-env.sh
export JAVA_HOME=/home/java/jdk1.8.0_191 export SCALA_HOME=/home/scala2.11.12 export HADOOP_HOME=/home/hadoop-2.7.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_LOCAL_DIRS=/home/data/spark
配置 spark-defaults.conf
spark.yarn.jars hdfs://hadoop-standalone:9000/spark/share/lib/*.jar spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop-standalone:9000/spark/spark-events spark.history.ui.port 18080 spark.history.retainedApplications 10 spark.history.fs.logDirectory hdfs://hadoop-standalone:9000/spark/spark-events
spark的运行包上传到dfs
hdfs dfs -put $SPARK_HOME/jars/* /spark/share/lib
启动 spark history 服务器
$SPARK_HOME/sbin/start-history-server.sh
master和slave都是同一台机子, 即管理者和工人都是自己
启动 spark master 和 slaves服务
$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-slaves.sh
下面是默认的端口
SPARK_MASTER_PORT=7077 # 提交任务的端口 SPARK_MASTER_WEBUI_PORT=8080 # webui端口，查看任务进程
打开页面 http://hadoop-standalone:8080/ , 可以看到有worker已经加入到集群
用于一些组件的元数据 ，需要事先启动
添加环境变量
#hive export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin
复制mysql的驱动程序到hive/lib
配置hive.env.sh
export HADOOP_HOME=/opt/hadoop-2.6.5 # Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/opt/hive-2.3.5/conf
修改log生成的目录。配置文件hive-log4j.properties。修改到你所需的目录
property.hive.log.dir = /opt/hive-2.3.5/logs
配置 hive-site.xml
hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.cli.print.header true hive.cli.print.current.db true hive.metastore.port 9083 Hive metastore listener port hive.server2.thrift.port 10000 Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'. hive.metastore.local false hive.metastore.uris thrift://192.168.56.140:9083 hive.metastore.schema.verification false
初始化hive的meta数据库(mysql)
schematool -dbType mysql -initSchema
启动hive的命令行客户端，试运行
hive
创建个数据库测试下：
create database test_connect_hive;
使用jdbc客户端连接hiveserver2
在hadoop/core-site.xml 添加配置。其中 root 是现在用的用户名（报错那里有）
hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
修改hadoop要重启.
下面分别启动 metastore 访问服务和hiveserver2服务
nohup hive --service metastore >> /home/data/hive/metastore.log 2>&1 & nohup hive --service hiveserver2 >> /home/data/hive/hiveserver2.log 2>&1 &
通过 beelines 客户端连接 hiveserver2 测试。
beeline
输入连接的地址
!connect jdbc:hive2://localhost:10000
将hive的配置文件拷贝给spark
将 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/
dfs: http://hadoop-standalone:50070/explorer.html#/ spark master(standalone): http://hadoop-standalone:8080 spark history: http://hadoop-standalone:18080/
以上是“如何安装单机版hadoop相关套件”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
