Spark开发环境搭建


Spark开发环境搭建 准备⼯作 1. 下载JDK7或者JDK8 下载地址 2. 下载Scala2.10.4 下载地址 (对应不同的操作系统均有安装版和免安装版,根据需要下载即可) 3. 下载Intellij Idea 下载地址 安装和配置 - JDK安装和配置 略 - Scala 安装 安装版的直接安装即可。 免安装版的解压下载的Scala压缩包到D:\scala-2.10.4(可⾃由指定⽬录) 配置环境变量 SCALA_HOME = D:\scala-2.10.4 PATH = %SCALA_HOME%\bin;$PATH 到这⾥Scala就算安装完成. 执⾏scala 出现如下窗⼜则说明安装成功 - Intellij Idea Scala插件安装 安装运⾏Intellij Idea,依次选择 Conigure –> Plugins-> Browse repositories 输⼊scala 查询安装,安装完成会提⽰重启,重启即可。 编写的Hello Scala 1)启动 Intellij Idea,选择 Create New Project 2)项⺫类型选择 Scala,点击下⼀步 3)选择 Java JDK 版本和 Scala JDK 版本 点击 Finish 完成项⽬创建,⾃动跳转到⼯程视图 4) 在 src⺫录上右键, New –> Scala Class 5)输⼊ Name HelloScala, 选择 Kind 为 Object 6)输⼊如下代码 在编辑区域右键弹出菜单即可看到运⾏和调试菜单项 ⾄此,本地的Scala开发环境搭建完成,接着我们来构建Spark的项⽬,因为Spark项⽬依赖的jar⽐较多,为了 ⽅便我们选择Maven来管理项⽬,Intellij Idea 天⽣集成Maven(又做⼴告了~~)。 构建Spark项⽬ 1)在⼯程⺫录右键,弹出菜单选择 Add Framework Support 在弹出的众多⽀持框架中,勾选Maven 点击确定。将如下配置信息添加到pom.xml中 UTF-81.3.02.10.42.4.21.7.72.10
 
 org.apache.sparkspark-core_2.10${spark.version}
 
 org.apache.sparkspark-streaming_2.10${spark.version}
 
 org.apache.sparkspark-streaming-flume_2.10${spark.version}
 
 org.apache.sparkspark-sql_2.10${spark.version}
 
 com.cupid.bdsexamples${project.version}
 
 
 
 bds-1.0src/main/javasrc/main/resources${project.build.directory}
 
 
 
 org.apache.maven.pluginsmaven-jar-plugin2.4truelib/
 
 net.alchim31.mavenscala-maven-plugin3.1.6${scala.binary.version}${scala.version}compile-scalacompileadd-sourcecompiletest-compile-scalatest-compileadd-sourcetestCompile
 
 
 
 maven-sparkHadoop Releaseshttps://repository.cloudera.com/content/repositories/ releases/maven-hadoopHadoop Releaseshttps://repository.cloudera.com/content/repositories/ releases/cloudera-reposCloudera Reposhttps://repository.cloudera.com/artifactory/cloudera-repos/ 新建⼀个Scala object ⽂件,编写如下代码 1. object SparkPi {   2.   def main(args: Array[String]) {   3.     val conf = new SparkConf().setAppName("Spark Pi")   4.     val spark = new SparkContext(conf)   5.     val slices = if (args.length > 0) args(0).toInt else 2   6.     val n = 100000 * slices   7.     val count = spark.parallelize(1 to n, slices).map { i =>   8.       val x = random * 2 - 1   9.       val y = random * 2 - 1   10.       if (x*x + y*y < 1) 1 else 0   11.     }.reduce(_ + _)   12.     println("Pi is roughly " + 4.0 * count / n)   13.     spark.stop()   14.   }   15. }  右键运⾏,得到如下结果 ⾄此Spark本地开发环境已经搭建完毕~
还剩11页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享pdf获得金币 ] 1 人已下载

下载pdf

pdf贡献者

dedw

贡献于2016-01-04

下载需要 8 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf