闲来无事，突然看到关于Hadoop集群。以前也了解过，网上找过一些关于百度，谷歌等底层hadoop集群的文档，可是面对很多陌生的技术，看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。
目前创新互联建站已为1000+的企业提供了网站建设、域名、雅安服务器托管、网站托管运营、企业网站设计、西夏网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。Hadoop支持三种启动集群模式，分别是单机模式，wei分布式模式，安全分布式模式。下面我做的测试是单机模式。
我用的是阿里云ECS主机免费试用版，，，，，，
uname -a
Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
1，创建hadoop户和群组
回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。
如果不输入密码，回车后会重新提示输入密码，即密码不能为空。
最后确认信息是否正确，如果没问题，输入 Y，回车即可。
修改hadoop为root权限
vim /etc/sudoers
修改添加hadoop ALL=(ALL:ALL) ALL
2，安装ssh支持服务，实现免密登录
查询ssh包支持，并创建ssh免密登录服务器
用到的命令：su hadoop //切换用户
dpkg -l | grep openssh-server //查询ssh支持包
service ssh start //启动ssh远程连接服务
ssh-keygen -t rsa //生成ssh私/公钥密码文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //拷贝公钥认证文件
ssh localhost //本机ssh登录测试
3，安装JAVA环境
http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载jdk
java -version命令出现如下是因为没有正确设置环境变量
tar zxvf jdk-8u51-linux-x64.tar.gz
mv jdk1.8.0_51/ /usr/local/src/jdk1.8
修改环境变量，
vim ~/.bashrc
4，安装Hadoop2.7.1
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar zxvf hadoop-2.7.1.tar.gz
mv hadoop-2.7.1 /usr/local/hadoop
chown -R hadoop.hadoop hadoop
chmod 774 /usr/local/hadoop/
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc //修改hadoop用户环境变量，最下面添加
#HADOOP VARIABLES START
export JAVA_HOME=/usr/local/src/jdk1.8/
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh //修改handoop认证环境变量，最下面添加一行
5，WordCount测试
单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功
/usr/local/hadoop路径下创建input文件夹
mkdir input
cp README.txt input //拷贝README.txt到input
执行WordCount
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*，查看字符统计结果
到此，hadoop单机模式已经完成。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
