网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

怎么实现SparkSchemaRDD隐式转换

今天就跟大家聊聊有关怎么实现Spark SchemaRDD隐式转换,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

十余年的阿合奇网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同,自动调整阿合奇建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联从事“阿合奇网站设计”,“阿合奇网站推广”以来,每个客户项目都认真落实执行。

SchemaRDD在Spark SQL中已经被我们使用到,这篇文章简单地介绍一下如果将标准的RDD(org.apache.spark.rdd.RDD)转换成SchemaRDD,并进行SQL相关的操作。

01/**  

这是因为people是普通的RDD,而registerTempTable函数不属于RDD类,只有通过SchemaRDD的实例才可以调用,所以这么调用会出现错误,解决办法有两个:
  (1)registerTempTable函数是SQLContext类中的,所以我们可以将people转换成SchemaRDD,如下:

02*User:过往记忆03*Date:14-12-1604*Time:下午10:1605*bolg:http://www.iteblog.com06*本文地址:http://www.iteblog.com/archives/122407*过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量的干货08*过往记忆博客微信公共帐号:iteblog_hadoop09*/10scala>valpeopleSchema=sqlContext.createSchemaRDD(people)11peopleSchema:org.apache.spark.sql.SchemaRDD=12SchemaRDD[29]atRDDatSchemaRDD.scala:10313==QueryPlan==14==PhysicalPlan==15ExistingRdd[name#4,age#5],MapPartitionsRDD[28]at16mapPartitionsatbasicOperators.scala:2171718scala>peopleSchema.registerTempTable("people")19warning:therewere1deprecationwarning(s);re-runwith-deprecationfordetails

  这么调用就可以将people转成SchemaRDD。
  (2)、上面的方法是通过显示地调用sqlContext.createSchemaRDD将普通的RDD转成SchemaRDD。其实我们还可以通过Scala的隐式语法来进行转换。我们先来看看createSchemaRDD函数的定义

1/**2*CreatesaSchemaRDDfromanRDDofcaseclasses.3*4*@groupuserf5*/6implicitdefcreateSchemaRDD[A<:Product:TypeTag](rdd:RDD[A])={7SparkPlan.currentContext.set(self)8newSchemaRDD(this,SparkLogicalPlan(ExistingRdd.fromProductRdd(rdd))(self))9}

  在定义createSchemaRDD的时候用到了implicit 关键字,所以我们在使用的时候可以通过下面语句使用

1scala>importsqlContext.createSchemaRDD2importsqlContext.createSchemaRDD34scala>people.registerAsTable("people")5warning:therewere1deprecationwarning(s);re-runwith-deprecationfordetails

  这样就隐身地将people转换成SchemaRDD了。这是因为Spark可以隐式地将包含case class的RDD转换成SchemaRDD。

看完上述内容,你们对怎么实现Spark SchemaRDD隐式转换有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


网页名称:怎么实现SparkSchemaRDD隐式转换
网站链接:http://bjjierui.cn/article/cpecoj.html

其他资讯