• 1. Spark开发环境搭建—by 球哥
  • 2. 大数据学习网介绍我们的网址是:bigdatastudy.cn 我们提供专业的大数据学习视频,包括Hadoop,Spark,Storm,Mahout,机器学习等。 我们定价合理,让每个人都学得起大数据。
  • 3. 友情提示本系列课程主要由Learning.Spark这本书整理而来。 本系列课程主要目的,帮助想要学习Spark的同学入门。 本系列课程中的ppt可自由传播,无需任何授权,但不要用于商业用途哦。 本系列课程中的视频不要自由传播哦,如果同学们觉得课程价格不合理,欢迎在下面的群中反馈,我们会考虑调整价格的。 Spark学习交流群:368770186,371896553
  • 4. Spark开发环境搭建使用Scala+IntelliJ IDEA+Sbt搭建开发环境
  • 5. 搭建开发环境安装Scala scala下载地址:http://www.scala-lang.org/download/2.10.3.html 本系列课程中,相关软件下载网盘地址(链接:http://pan.baidu.com/s/1qWFSTze 密码:lszc) 默认安装选项会自动配置环境变量。 如果没有自动配置,进行环境变量配置 SCALA_HOME: C:\Program Files (x86)\scala\ Path后面加上 ;%SCALA_HOME%\bin
  • 6. 搭建开发环境IntelliJ IDEA的下载,安装 下载地址:https://www.jetbrains.com/idea/ 激活码如下: key:tommy value:49164-YPNVL-OXUZL-XIWM4-Z9OHC-LF053 key:itey value:91758-T1CLA-C64F3-T7X5R-A7YDO-CRSN1
  • 7. 搭建开发环境IntelliJ IDEA常用的设置 在IntellJ/bin/idea64.exe.vmoptions(64位,物理内存大,建议增大),加大IDEA的启动内存: -Xms512m -Xmx1024m -XX:MaxPermSize=512m
  • 8. 搭建开发环境IntelliJ IDEA常用的设置 主题和颜色: Settings – IDE Settings – Appearance – Theme:Darcula 然后把下面override font选项勾上,选择Yahei 14号字体。 编辑器界面字体设置: 可以在Editor – Colors&Fonts – Fonts另存为一个新的主题,并在这个新主题中修改配置。 光标所在行背景颜色: Editor – Colors&Fonts – General – Caret row,选择蓝色背景,以便具有较大色差。
  • 9. 搭建开发环境插件安装 File>Settings>Plugins,搜索Scala直接安装,安装完后会提示重新启动。这个插件中有scala和sbt。 无需再单独下载sbt插件。
  • 10. 搭建开发环境IntelliJ IDEA常用的设置 IDEA可以为每个项目指定不同版本的JDK,并且需要开发者手动配置项目的所使用的JDK版本。配置方法如下: 单击File | Project Structure菜单项,打开ProjectStructure对话框; 在左侧列表框中,选择SDKs列表项,进入SDK配置页面; 若中间的SDK列表框没有选项,则单击“+”号创建一个JDK列表项; 选择JDK列表项,在SDK ’JDK’选项卡页面中,单击JDK home path项目的浏览按钮,定位JDK安装路径并保存
  • 11. 搭建开发环境build.sbt文件 使用bt 0.13进行编译 //导入支持编译成jar包的一些函数(这些函数是sbt-assembly插件中的) import AssemblyKeys._ name := "SparkApp" version := "1.0" scalaVersion := "2.10.3" libraryDependencies ++= Seq(// Spark dependency "org.apache.spark" % "spark-core_2.10" % "1.2.0" % "provided", "net.sf.jopt-simple" % "jopt-simple" % "4.3", "joda-time" % "joda-time" % "2.0")
  • 12. 搭建开发环境 //该声明包括assembly plug-in功能 assemblySettings // 使用 assembly plug-in配置jar jarName in assembly := "my-project-assembly.jar" // 从我们的assembly JAR中排除Scala, 因为Spark已经绑定了Scala assemblyOption in assembly :=(assemblyOption in assembly).value.copy(includeScala = false)
  • 13. 搭建开发环境要使sbt-assembly插件生效,在project/目录下新建一个文件,列出这个插件的依赖。新建project/assembly.sbt 增加如下的配置 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")
  • 14. 搭建开发环境搭建开发环境常遇到的问题: 网络问题,导致sbt插件下载失败,解决方法,找到一个好的网络环境,或者预先从我提供的网盘中下载jar。 版本匹配问题,版本不匹配会遇到各种问题,解决方法,按照如下版本搭建,scala(2.10.3),sbt(0.13),sbt-assembly(0.11.2),spark(1.2.0)
  • 15. 小结搭建开发环境