网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

如何使用sbt打包scala写的spark项目

这篇文章主要介绍“如何使用sbt打包scala写的spark项目”,在日常操作中,相信很多人在如何使用sbt打包scala写的spark项目问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何使用sbt打包scala写的spark项目”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

创新互联建站于2013年开始,先为济源等服务建站,济源等地企业,进行企业商务咨询服务。为济源企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

项目根目录build.sbt

//项目名称 
  
name := "sparkScala"
 
 
//项目版本 
 
version := "1.0"

 
//scala版本

scalaVersion := "2.11.7"

 
//jdk版本

javacOptions ++= Seq("-source", "1.7", "-target", "1.7")

 
//依赖项,%%表示测试时需要,一般%; % "provided"表示此jar不打入最终的jar文件内

libraryDependencies += "com.alibaba" % "fastjson" % "1.2.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.4.1" % "provided"

 
//主函数

mainClass in Compile := Some("main.MergePartition")

 
//打包时,排除scala类库

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

项目根目录project/plugins.sbt添加assembly插件

 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

最终在项目根目录下执行

sbt clean assembly

 即可看到香喷喷的jar包文件

解压里面即可看到fastjson被打入jar包内,其它要排除的都已被排除

在META-INF/MANIFEST.MF文件也写入了Main-Class: main.MergePartition 这个主函数执行类

到此,关于“如何使用sbt打包scala写的spark项目”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


本文名称:如何使用sbt打包scala写的spark项目
网站网址:http://bjjierui.cn/article/geiied.html

其他资讯