网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Spark-SQL的基本使用方法

这篇文章主要介绍“Spark-SQL的基本使用方法”,在日常操作中,相信很多人在Spark-SQL的基本使用方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spark-SQL的基本使用方法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

十载的邗江网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整邗江建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联公司从事“邗江网站设计”,“邗江网站推广”以来,每个客户项目都认真落实执行。

官方文档地址http://spark.apache.org/docs/latest/sql-getting-started.html
官方提供的测试数据文件http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
解压当前文件夹examples/src/main/resources
##SparkSession
通过SparkSession.builder()创建

import org.apache.spark.sql.SparkSessionval spark = SparkSession  .builder()  .appName("Spark SQL basic example")  .config("spark.some.config.option", "some-value")  .getOrCreate()// For implicit conversions like converting RDDs to DataFramesimport spark.implicits._

读取json文件

package cn.bx.sparkimport org.apache.spark.sql.{DataFrame, SparkSession}object SparkSessionApp {  def main(args: Array[String]): Unit = {    val spark: SparkSession = SparkSession.builder().appName("SparkSessionApp").master("local[*]").getOrCreate()    val people: DataFrame = spark.read.json("resources/people.json")    people.show()    spark.stop()  }}

打印结果

+----+-------+| age|   name|+----+-------+|null|Michael||  30|   Andy||  19| Justin|+----+-------+

到此,关于“Spark-SQL的基本使用方法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


标题名称:Spark-SQL的基本使用方法
网站路径:http://bjjierui.cn/article/jhjehi.html

其他资讯