前雅虎首席技术官Raymie Stata去年6月创立公司Altiscale提供“Hadoop即服务”，近日Altiscale宣布面向公众推出大数据云计算平台，类似亚马逊的Elastic Map Reduce,与其产品极为接近的另一家创业公司是Qubole（以云计算的方式提供Facebook开源的Hadoop互动查询架构——Presto）。

Zettaset近日控告英特尔抄袭其大数据软件，Zettaset在起诉书中指出，英特尔的Hadoop管理软件与Zettaset的旗舰产品Orchestrator极为相似，英特尔不仅严重侵犯Zettaset的知识产权，而是“鸠占鹊巢”，赤裸裸地争抢其客户。

Hadoop不再仅仅是一个时髦词，它已成为业务需求。数据总是大量涌入，但是在最近，我们可能已经在解锁这种指数级增长的数据。大数据分析中的 现代技术提供了新的方法来识别和纠正故障、帮助数据挖掘、提供优化反馈，这些方法是无穷无尽的。现代的Hadoop生态系统不仅提供了可靠的分布式聚合系 统，无缝地提供数据的并行处理，同时也通过分析来提供大数据的见解。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。

最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算 算法。

HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。与其他分布式文件系统显著不同的特点是：

大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。

上次见到（膜拜）Hadoop之父Doug Cutting是在 2年前 ，2014中国大数据技术大会上。今年Hadoop10岁，刚看到他的 Hadoop十周年贺词 ，感觉时间飞逝。最近CSDN和InfoQ都在制作Hadoop选题。云栖社区也找到不少阿里Hadoop生态高手，2-3月会做多场实时在线培训。大家想听什么，告诉我们。

由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL（Structured Query Language）出现一样，Hadoop正带来了新一轮的数据革命。如今Hadoop已从初出茅庐的小象变成了行业的巨人，但Hadoop仍需继续完善。基于Java语言构建的Hadoop框架实际上一种分布式处理大数据平台，其包括软件和众多子项目。在近十年中Hadoop已成为大数据革命的中心。MapReduce作为Hadoop的核心是一种处理大型及超大型数据集（TB级别的数据。包括网络点击产生的流数据、日志文件、社交网络等所带来的数据）并生成相关的执行的编程模型。

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好 的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。

十八款Hadoop工具帮你驯服大数据：Hadoop已经通过自身的蓬勃发展证明，它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不，...

量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用 户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按 照央行最新数据，目前央行征信中心的数据覆盖人口达到8亿人[1]，但其中有实际征信记录的只有3亿人左右，有5亿人在征信系统中只是一个身份证号码。

Dataguise最近发布了Hadoop十大数据安全措施，内容涵盖隐私风险、数据管理和信息安全等，可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险，对于那些考虑部署Hadoop的企业来说非常值得参考。

MySQL 复制操作可以将数据从一个 MySQL 服务器（主）复制到其他的一个或多个 MySQL 服务器（从）。试想一下，如果从服务器不再局限为一个 MySQL 服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢？

拖了5天终于看完了两篇论文，对相关数据分析平台搭建技术也有了进一步的了解。对自己这几天的笔记做了一个整理，既是为了方便自己以后查看，也是为以后的实际平台搭建建立依据。其实感觉还是挺苦逼的，这大过年的亲戚都坐在旁边包饺子，而我……还在为自己的拖延症买单。