jopen 解读2015之大数据篇：大数据的黄金时代 资讯
些进展，了解下数据科学家这个职业的火热。 在关键技术进展部分我们在大数据生态圈众多技术中选取了Hadoop、Spark、Elasticsearch和Apache Kylin四个点，分别请了四位专家：Hulu的董西成、明略数据的梁堰波、
P9 
songyl525 Spark在美团的实践 经验
重要数据报表的生成。 基于以上原因，美团在2014年的时候引入了Spark。为了充分利用现有Hadoop集群的资源，我们采用了Spark on Yarn模式，所有的Spark app以及MapRed
概念，算法,应用全部有，迄今为止对大数据研究最透彻的文章…… 经验
从数十TB到十几PB级的数据规模 (TB«PB«EB«ZB) 处理大数据的可等待的合理时间依赖任务的目标： 地震数据预测要求在几分钟内才有效、气象数据应该在小时级别、失联飞机数据处理要在7天之内、数据挖掘一般要求在12小时内
Java程序员使用的20几个大数据工具 资讯
Java 分布式缓存，用于通用缓存、Java EE 和轻量级容器。 Ehcache 相关介绍 Hadoop ——用 Java 编写的一个开源软件框架，用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。
大数据应用？你先搞定数据获取再说 经验
大数据不再像过去几年一样，受限于工具缺乏的问题。那时候搞大数据意味着团队里必须有数据科学家，还会被R和Hadoop之类的开源工具搞得心烦意乱。现在许多公司在大数据分析中最头疼的问题，其实是如何获取数据。
Hortonworks进军物联网，发布基于Apache NiFi项目的DataFlow产品 资讯
works公司的说法，HDF产品是对 HDP 产品的补充，前者主要处理移动中的数据，而后者基于Hadoop技术，主要负责从静止的数据中获取洞察。 NiFi项目在创建过程中遵循了一些理念：1）精细化
Facebook官方详解：使用Apache Spark进行大型语言模型训练 经验
Apache Spark 是用于大规模数据处理的快速和通用引擎，它运行在 Hadoop，Mesos，可以离线或云端运行，具有高速、可扩展等特点。近年来，在 IBM 等大公司和众多社区贡献者的推动下，Spark
微软：推开窗户，我看到了云 资讯
emises）软件已死的结论还 是晚点下吧。根据 IDC 的预测，到 2016 年，只有 20% 的软件收入来自于云。大多数 CIO 对预测背后的这些数据并无怨言。 当然，云的前景无限风光，但是企
大数据也有西大荒——这个行业有点乱 资讯
这些“错误”其实是发现正确解析结果的必要过程，它为各行各业创造了可观的机会，如精准推荐、风险管理、设备故障预测和简化物流管理流程等等。 在一些乐观的案例中，这些企业正在利用大数据得出的判断开发新产品，开辟
Apache Spark 1.5新特性介绍 资讯
class参数选择不同的output committer类，默认是org.apache.parquet.hadoop.ParquetOutputCommitter，用户可以继承这个类 实现自己的output c
微软开始提供Azure机器学习服务 资讯
微软于近期发布了 Azure ML 。这是一个基于云的机器学习平台，旨在帮助基于过去的行为对未来事件进行预测。微软已经将机器学习应用于 Bing、Xbox 和其他产品多年。但是，这是微软首次将内部技术以云服务的方式提供给外界使用。
新调查结果表明：NoSQL采用呈上升趋势 资讯
Market Research Media 在 1 月份发布的 2013-2018年《 NoSQL 市场预测 》预计全球 NoSQL 市场“在 2013 年至 2018 年间以 21% 的复合年均增长率增长，到
fmms Mahout推荐算法API详解 经验
Mahout推荐算法介绍 Mahoutt推荐算法，从数据处理能力上，可以划分为2类： 单机内存算法实现 基于Hadoop的分步式算法实现 1). 单机内存算法实现 单机内存算法实现：就是在单机下运行的算法，是由cf
图灵访谈 ： IBM美女工程师Holden Karau：寻找友善的人一起共事 资讯
问：很多人认为Spark会凭借优秀的性能推翻Hadoop的统治，你同意吗？大数据处理技术（如Hadoop, Pig, Tez, Hive，以及Spark）的生态系统在未来将会怎样？ 随着时间推移，很难预测大数据系统在未来将
IBM如何拥抱Spark 资讯
Spark 是目前相当火热的开源计算框架，相对于 Hadoop ，Spark优势是高性能和易用性。Spark的高性能源于其采用内存储存数据，应用可以以内存的速度进行运算；Spark的易用性在于通用的A
21 个编程的热门/冷门趋势 经验
CoffeeScript，一个让程序员编程时不用纠结那些复杂的标点的预处理器。它有几十种以不同的方式预测语法的变体。 这些喜欢动态输入的家伙创造了 Groovy ，Groory 是一个没有过于纠结标点的
推荐！国外程序员整理的机器学习资源大全 资讯
—提供一个简单的大规模实时机器学习/预测分析基础架构。 数据分析/数据可视化 Hadoop —大数据分析平台 Spark —快速通用的大规模数据处理引擎。 Impala —为 Hadoop 实现实时查询 Javascript