网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Spark简介-创新互联

==> 什么是 Spark

成都创新互联公司成都网站建设专业公司,是成都网站建设公司,为成都餐厅设计提供网站建设服务,有成熟的网站定制合作流程,提供网站定制设计服务:原型图制作、网站创意设计、前端HTML5制作、后台程序开发等。成都网站改版热线:18982081108

    ---> Spark 是一个针对大规模数据处理的快速通用引擎


   ---> Spark 是 MapReduce 的替代方案,而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统,弥补 MapReduce 的不足

==> Spark 核心    RDD (Resilient Distributed Datasets 弹性分布式数据集)

   ---> RDD 可简单理解为: 一个提供了很多操作接口的数据集合,分布式存储于集群环境中的存储设备中(内存或硬盘),其中包括容错,并行处理等功能

==> Spark 特点

    ---> 快

        ---- 优点:与Mapreduce 相比,Spark 基于内存运算,运算速度要快100倍,基于硬盘计算,运算速度要快 10 倍


      ----缺点:没有对内存进行管理,把所有的内存管理都交给应用程序,以弥补MapReduce的不足,

                        容易出现 OOM(out of memory), 可使用 Java Heap Dump 工具分析 Java 程序的内存溢出

    ---> 易用

        ---- Spark 支持 Java ,Python, Scala 的 API

       ---- 支持80多种算法

       ---- 支持交互式,可以在shell 中使用Spark 验证解决问题的方法

    ---> 通用(生态圈)

       ---- 批处理

       ---- 交互式查询  (Spark SQL)

       ---- 实时流处理    (Spark Streaming)

       ----机器学习        ( Spark MLlib )

       ---- 图计算            ( GraphX )

       ---- 与 Hadoop 很好的融合, 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop(配置Hive on Spark 还不成熟)

    ---> 兼容性    可以非常方便的与其它开源产品进行融合

       ---- 可以使用 Hadoop 的 YARN 和 Apache Mesos 作为它的资源管理调度器

       ---- 可以处理所有 Hadoop 支持的数据:HDFS, HBase, Cassandra 等

       ----不需要做任何的数据迁移就可以使用 Spark 的强大处理能力

       ---- 可以不依赖第三方的资源管理和调度器,实现 Standalone 作为它的内置的资源管理和调试框架,降低部署的复杂性

       ---- 提供了在 EC2 上部署 Standalone 的Spark 集群工具

==> Spark 生太圈

    ---> Spark Core

    ---> Spark SQL

    ---> Spark Streaming

    ---> Spark MLLib: 机器学习

    ---> Spark GraphX: 图计算



另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页题目:Spark简介-创新互联
网站URL:http://bjjierui.cn/article/eihjs.html