Scala是基于JVM的编程语言。Java是运行在jvm上的编程语言，java源代码通过jvm被编译成class文件，然后在os上运行class文件。Scala是运行在jvm上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件

Hadoop分享: 1、云计算概念 2、Google的云计算 3、Hadoop 4、HDFS 5、Map/Reduce 6、日志框架的Hadoop尝试 7、路在何方

提纲电子商务推荐系统简介电子商务推荐系统技术介绍基于关联规则的推荐算法基于最近邻居的协同过滤算法基于项目的协同过滤算法电子商务推荐系统简介Harvard商学院的JoePing在大规模定制一文中认为现代企业应该从大规模生产(以标准化的产品和均匀的市场为特征)向大规模定制(为不同客户的不同需求提供不同的商品)转化电子商务推荐系统(RecommendationSystem)向客户提供商品信息和建议，模拟销售人员帮助客户完成购买过程电子商务推荐系统简介电子商务推荐系统的作用：将电子商务网站的浏览者转变为购买者(Converting Browsersinto Buyers)提高电子商务网站的交叉销售能力(Cross-Sell)提高客户对电子商务网站的忠诚度(Building Loyalty)电子商务推荐系统简介电子商务推荐系统的界面表现形式分类：Browsing：客户提出对特定商品的查询要求，推荐系统根据查询要求返回高质量的推荐

Thanks for coming – today will talk about Docker based Hadoop provisioning. Quick introduction of who we are - Young startup, from Budapest, Hungary. Janos Matyas – CTO, open source contributor, Hadoop YARN evangelist. Ease Hadoop provisioning – everywhere Automate and unify the process Arbitrary cluster size Same process through a cluster lifecycle (Dev, QA, UAT, Prod) (Auto) scaling Hadoop

scala介绍Scala完全面向对象相对于Java而言，Scala的代码更为精简（减低犯错），而且功能更为广泛（Scala其实是ScalableLanguage的简称，意为可扩展的语言），许多Scala的特性和语法都是针对Java的不足和弱点来设计的。Scala的特点是有很多函数程式语言的特性（例如ML，Miranda,Scheme，Haskell），譬如惰性求值，listcomprehension,typeinference,anonymousfunction,patternmatching等等，同时也包含Object-Oriented的特性（OO能与FP混合使用是Scala的亮点）。此外，许多相似于高级编程语言的语法也渗入其中（例如Python），不仅提高了Scala代码的可读性，维护、修改起来也较为省时省力。Scala与Java语法上的明显差异有：不需要分号结尾类型定义开头需大写（与Haskell相同）函数定义需 def 开头（与Python、Ruby相同）return 可以省略scala安装解压设置PATH即可,前提是需要先安装JDK,不在过多描述。

第七章：分类和预测7.1什么是分类？什么是预测7.2关于分类和预测的一些问题7.3使用决策树进行分类7.4贝叶斯分类7.5（向后传播分类）带回馈的分类7.6基于关联规则的分类7.7其他分类方法7.8预测7.9分类法的准确性7.10总结DataMining:ConceptsandTechniques分类和预测分类：预测种类字段基于训练集形成一个模型，训练集中的类标签是已知的。使用该模型对新的数据进行分类预测:对连续性字段进行建模和预测。

第七章：分类和预测什么是分类？什么是预测关于分类和预测的一些问题使用决策树进行分类贝叶斯分类带回馈的分类基于关联规则的分类其他分类方法预测分类的准确率总结

Effective Scala格式化代码格式化的规范并不重要，只要它们实用。它的定义形式没有先天的好与坏，几乎每个人都有自己的偏好。然而，对于一贯地采用同一格式化规则的总会增加可读性。已经熟悉某种特定风格的读者不必非要去掌握另一套当地习惯，或译解另一个角落里的语言语法。这对Scala来说也特别重要，因为它的语法高度的重叠。一个例子是方法调用：方法调用可以用“.”后边跟圆括号，或不使用“.”，后边用空格加不带圆括号(针对空元或一元方法)方式调用。此外，不同风格的方法调用揭露了它们在语法上不同的分歧(ambiguities)。

MySQL学习笔记数据库比较数据库需求1)可伸缩性（Scalability），当服务的负载增长时，系统能被扩展来满足需求，且不降低服务质量。2)高可用性（Availability），尽管部分硬件和软件会发生故障，整个系统的服务必须是每天24小时每星期7天可用的。3)可管理性（Manageability），整个系统可能在物理上很大，但应该容易管理。4)价格有效性（Cost-effectiveness），整个系统实现是经济的、易支付的。MySQL数据库系统的优缺点优点1.源码公开，免费2.跨平台3.为多种开发语言和包提供了API4.支持多线程5.小巧、灵活、速度较快6.支持各种字符集7.提供各种连接、优化的工具包缺点1.不完善，很多数据库特性不支持

Extends Spark for doing large scale stream processing。 Scales to 100s of nodes and achieves second scale latencies。 Efficient and fault-tolerant stateful stream processing。 Integrates with Spark’s batch and interactive processing。 Provides a simple batch-like API for implementing complex algorithms

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。 如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。 目前Spark(1.2.0版本) 与Python 3不兼容。

Spark维护着RDDs之间的依赖关系和创建关系, 叫做 血统关系图（lineage graph）。 Spark使用血统关系图来计算每个RDD的需求和恢复丢失的数据(当一些存储的RDD丢失的时候)。

RDDs Resilient distributed datasets(弹性分布式数据集，简写RDDs)。 一个RDD就是一个不可改变的分布式集合对象，内部由许多partitions(分片)组成，每个partition都包括一部分数据，这些partitions可以在集群的不同节点上计算 Partitions是Spark中的并行处理的单元。Spark顺序的，并行的处理partitions。 RDDs 是 Spark的分发数据和计算的基础抽象类，是Spark的核心概念。 RDD可以包含 Python, Java, 或者 Scala中的任何数据类型，包括用户自定义的类。 在Spark中，所有的计算都是通过RDDs的创建，转换，操作完成的。 RDD具有lineage graph(血统关系图)。

Spark程序的开发和运行。创建SparkContext、WordCount程序。

使用Scala+IntelliJ IDEA+Sbt搭建开发环境