Orchestration的预测看来非常正确。我还想补充的一点是，微服务仍将很重要，以及Apache Spark将会如同星星之火燎原。我觉得Scala、Go、Python将急剧上升，Java将保持稳定。很多很

Riak Cassandra Elasticsearch HDFS Spark Storm Chronos Security Manage Linux user accounts

互联网公司的重要性。大数据处理平 台其实包含了整个大数据处理过程，它承载了从数据采集、传输、存储、分析挖掘（离线 OR、实时 OR、即席查询）、可视化、价值体现的整体流程。这些在大的互联网公司，尤其以

确定使用后，许多新的软件也开始被创建出来进一步补充 Hadoop。比如 Twitter 使用 Spark 用来实时处理数据；雅虎使用 Spark 用来处理存储的数据。Cloudera 创建了 Impala 提高了查询 Hadoop

都有自研的机器学习系统，但都没有对外公开。二是机器学习技术平台有很广泛的应用，不管是面对企业提供API或者数据分析服务的公司，还是面对消费者提供 智能服务的公司，都需要一个高效的机器学习技术平台。因此这种提供基础

因为它们在121个数据集上的179多种算法测试中平均精度占优；小心准备数据；最终确定前用抽查的方法对比多种算法 《Tutorials and Winners' Interviews: Learning

are: PredictionIO is built on technologies Apache Spark , Apache HBase and Spray . It is a machine learning

原文 http://www.infoq.com/cn/news/2015/06/Java-Spark-Jodd-Ninja 任何语言都有优缺点。对Java而言，它安全、经过严格测试、向后兼容，但却

发布，有如下几个优点。 提高并发：实现多实验并行迭代，加快迭代的速度。 公平对比：做到实验效果公平、准确对比评估，即时停止不符预期的实验；随时扩大效果良好的实验的流量。 降低门槛：提供实验

论；Paxos算法；ZooKeeper框架；Hadoop YARN；MapReduce；Storm；Spark 数据 数据访问：Hibernate；iBatis 事务的ACID、隔离级别；脏读可重复读幻读

。 3. 国内Spark氛围渐浓，欲与Hadoop试比高 2014年Spark是个爆发年，这一年里Spark社区快速发布了多个版本，最高发布版本已经到了1.2.0。Spark Core之外的部

据估计，数据中心的绝大多数任务将在不久的将来成为机器学习任务。 于是我们决定从分布式系统的角度研究这些 ML 平台，分析这些平台的通信和控制瓶颈。 我们还研究了这些平台的容错性和是否易于编程。 我们根据 3 种基本设计方法对分布式

weixin.qq.com/s%3F__ ... ecac0 很多人在搞ELK，很多人也在搞STORM。更多人在用传统的Nagios，Zabbix等监控工具。Jason Dixon在2012就意识到

效率会降低，时间会延长。 总结：有人问Fourinone为什么不设计成Hadoop,Spark,Storm这样的动态任务投放方式，实际上Fourinone现在的方式要更灵活，如果要事先定义好DAG

MyCat技术原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

效率 大数据 《深入对比数据科学工具箱：Python 和 R 之争》 ：本文从应用场景、数据流编程、数据可视化、速度等多个方面对Python和R做了对比 《Spark在美团的实践》 ：大数据处

HIVE-8858 ] -         Visualize generated Spark plan [Spark Branch] [ HIVE-9139 ] -         Clean up

法,使开发新的ML算法不用直接处理复杂的底层分布式流处理引擎(DSPEe, 如 Apache Storm, Apache S4, 和 Apache Samza)。它的用户可以一次开发分布式流媒体ML算法，并执行多个DSPEs。

DNN（深度神经网络）、CNN（卷积神经网络）、 RNN（递归神经网络），以及 NTM 这样的复杂记忆模型。 基于 Spark，与它的整合程度很高。 支持 Python 和 C++ 语言。 支持分布式计算。作为它的设计初衷，这使得

Pivotal最近发布了 Spring XD 1.1 GA 新功能包括使用Reactor、RxJava、Spark Streaming和Python进行流处理。此外，支持 Kafka 、批量处理和RabbitMQ压缩,