网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何进行sparkSQL编程动手实战

如何进行spark SQL编程动手实战,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

为周宁等地区用户提供了全套网页设计制作服务,及周宁网站建设行业解决方案。主营业务为成都网站设计、成都做网站、周宁网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

首先创建SparkContext上下文:

如何进行spark SQL编程动手实战

接着引入隐身转换,用于把RDD转成SchemaRDD:

如何进行spark SQL编程动手实战

接下来要加载数据,这里的测试数据是user.txt文件:

我们创建好use.txt增加内容并上传到hdfs中:

如何进行spark SQL编程动手实战

hdfs命令查询:

如何进行spark SQL编程动手实战

验证数据是否加载成功:

如何进行spark SQL编程动手实战

此刻user还是一个MappedRDD:

如何进行spark SQL编程动手实战

此刻的teenagers已经隐身转换成SchemaRDD

如何进行spark SQL编程动手实战

结果:

如何进行spark SQL编程动手实战

同样使用"user.txt"的数据:

如何进行spark SQL编程动手实战

我们这次直接使用SQL查询操作:

如何进行spark SQL编程动手实战

可以发现使用DSL的使用teenagers在内部已经被隐身转换了SchemaRDD的实例

可以发现与前面那张注册Table方式的结果是一样的

看完上述内容,你们掌握如何进行spark SQL编程动手实战的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


文章标题:如何进行sparkSQL编程动手实战
URL链接:http://bjjierui.cn/article/ggidjg.html

其他资讯