网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

IMF前期知识储备-WhatisSpark详细讲解(四大特性)-创新互联

Spark 官方网站使用如下简洁的语言描述了Spark

创新互联是一家专业的成都网站建设公司,我们专注网站建设、网站设计、网络营销、企业网站建设,友情链接一元广告为企业客户提供一站式建站解决方案,能带给客户新的互联网理念。从网站结构的规划UI设计到用户体验提高,创新互联力求做到尽善尽美。

IMF前期知识储备-What is Spark详细讲解(四大特性)我们可以从中提取出如下信息:

Spark是一个引擎

  1. 快速

  2. 通用

Spark可以用来处理数据

  1. 数据是大规模的

Spark本身并不提供数据存储能力,它只是一个计算框架

它的快速体现在什么地方呢?

IMF前期知识储备-What is Spark详细讲解(四大特性)如果处理的数据在内存中,运行MapReduce比hadoop要快100倍以上,要是数据在磁盘中,也比Hadoop快10倍以上。

为什么会快呢,Spark在处理数据的时候,使用了一个高级的执行引擎:DAG - 有向无环图 。以及内存计算。

易于使用:

可以使用scala、java、Python等语言快速的开发应用程序。Spark提供了超过80个操作来简单的构建并行应用。只需几行代码,就可以完成wordcount的计算。

IMF前期知识储备-What is Spark详细讲解(四大特性)

通用性:

Spark 提供了大数据一栈式解决方案。包含了流计算、图计算、机器学习、SQL等。

IMF前期知识储备-What is Spark详细讲解(四大特性)

对于开发、维护、学习成本都是大大的降低。

运行在任何地方:

Spark可以运行在Hadoop的YARN、Mesos, standalone,或者运行在云上。

Spark 处理的数据,可以存储在HDFS, Cassandra, HBase,和S3等等。

IMF前期知识储备-What is Spark详细讲解(四大特性)

Spark的发展非常快速,TimeLine如下

IMF前期知识储备-What is Spark详细讲解(四大特性)

Spark进入Apache后,发展非常迅速。版本发布比较频繁。

Spark的生态体系(BDAS,中文:伯克利分析栈)

  • MapReduce属于Hadoop生态体系之一,Spark则属于BDAS生态体系之一

  • Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等

  • BDAS包含了Spark、Shark(相当于Hive)、BlinkDB、Spark Streaming(消息实时处理框架,类似Storm)等等

BDAS生态体系图:

IMF前期知识储备-What is Spark详细讲解(四大特性)

MapReduce和Spark比较

IMF前期知识储备-What is Spark详细讲解(四大特性)

异同点:

  1. 基本原理上

  • MapReduce 是基于磁盘的大数据批量处理

  • Spark 是基于RDD(弹性分布式数据集)数据处理,RDD可以存储在内存中,也可以存储在磁盘中。

2. 模型上

  • MapReduce 适合处理超大规模的数据集,用于批处理。适合处理较少迭代的长任务需求。

  • Spark 适合数据挖掘,迭代次数较多的,例如机器学习等多轮迭代任务。

3. 容错性

  • MapReduce的每一步迭代,都需要将结果写入硬盘,然后再从硬盘中读取数据计算。只要一步失败,则整个任务都失败。

  • Spark使用DAG将任务拆分成许多步骤,每个步骤迭代的过程中,数据写内存。而且Spark还提供容错功能。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文名称:IMF前期知识储备-WhatisSpark详细讲解(四大特性)-创新互联
URL地址:http://bjjierui.cn/article/djohji.html

其他资讯