网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

hadoop一----我对hadoop的理解

大数据:海量数据

目前创新互联已为千余家的企业提供了网站建设、域名、虚拟主机绵阳服务器托管、企业网站设计、海勃湾网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

结构化数据:即行数据,能够存储在二维表中的数据

非结构化数据:无法使用数据的二维逻辑表示数据。如word,ppt,图片        

半结构化数据:在结构化与非结构化之间,自我描述,将结构与数据本身存储在一起的数据:xml、json、html

goole的论文:MapReduce:Simplified Date Processing On Large Clusters

                        Dynam

Map:把大数据映射为分割的多个节点处理的小数据

Reduce:折叠

            i1,i2 ==> o1,i3 ==>o2,i4==>o4

MapReduce:将大数据中映射为键值对

        数据的搜集,监控,分析,处理

hadoop: jobtracker、tasktracker,namenode,datanode

hadoop的的特性:

         (1)向外扩展

         (2)数据冗余

         (3)将程序移向数据

        (4)顺序处理数据,避免随机访问

        (5)向程序员隐藏系统级别的细节

        (6)平滑扩展

如何将大数据切割为多个可处理的小数据,如何将处理的结果合并

如何选择将任务移向多个不同的小数据所在的主机处理任务

如何获取被分割的小数据

如何保证个Map进程如何同步

Map如何将处理的结果传输给Reduce

如何在出现软件故障或硬件故障后保证任务的完整性


mapreduce:

    1.编程框架:API

    2.运行平台

    3.具体实现


hadoop:HDFS-->MapReduce(API,Java)


HDFS:

HDFS分布式集群 数据存储

1)HDFS

hadoop一 ---- 我对hadoop的理解

2)向HDFS分文件系统保存数据存储

hadoop一 ---- 我对hadoop的理解

MapReduce集群 数据处理  大文件

hadoop一 ---- 我对hadoop的理解

HBase,运行在HDFS之上  由zookeeper协调工作

                Hadoop DataBase

    通过zookeeper使hadoop能够存储单个小文件,实现随机存储

    NOSQL 

                    colum:列式存储

                    存储松散型数据,基于键值对的列式存储

                     将单个小文件合并为大文件

                       bigtable:大表

ETL

        数据的抽取、转换、加载

日志搜集:

                    flume 

                    scrible 

                    chukwa


网页标题:hadoop一----我对hadoop的理解
本文网址:http://bjjierui.cn/article/pggdds.html

其他资讯