Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

摘要在大数据到来的今天，本文首先介绍了Hadoop及其核心技术MapReduce的工作原理。详细讨论了Hadoop推测执行算法和SALS推测执行算法并对它们的性能进行分析。最后，分析了MapReduce框架的通用二路连接算法RSJ。为了提高性能，提出了一种基于DistributedCache的改进算法，通过减少mapper输出的数据来达到优化的目的。

近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像 Kafka 、 Storm 或 Samza 这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《 流数据平台构建实战指南 》。他结合自己过去五年中在LinkedIn构建Apache Kafka的经验，介绍了如何构建一个公司范围的实时流数据中心。

在 《流数据平台构建实战指南》第一部分 中，Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心。InfoQ前期对此进行过报道。本文是根据 第二部分 整理而成。在这一部分中，Jay给出了一些构建数据流平台的具体建议。

基于Spark/hbase的数据分析平台及SparkSQl使用经验分享

在使用Pandas之前，大多数数据分析师已经掌握了Excel和SQL，并且在刚上手Pandas时会经常习惯性想到“老办法”。＂如果谁能把常用的数据查询语法做个对比就好了 ＂，我也曾不止一次地想享受前人的成果，无奈发现网上的文章侧重不同且深浅不一，还涉及到一些Pandas新老版本的问题，于是决定自己动手。

Pulsar 是 eBay 开源的实时大数据分析平台。 作为全球性的商务平台和支付行业领先者，拥有海量的用户行为数据。 基于现有的hadoop大数据处理，已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对最新技术的运用，探索出一个对海量的数据流进行 实时的收集，处理，分发和分析的平台。并于2015年2月底开源此平台: Pulsar。

城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。

Cube 是一个开源的基于 MongoDB 的数据分析工具

我们的数据量没有新浪那么大，一天正常水平在6千万条左右，多的时候有一个亿条记录，受到新浪案例的启发我们基于ELK搭建自己的简单数据分析系统，刚开始选择这个的原因：(1)就我一个人折腾东西， (2)我不会前端，但是ELK中的kibana可以直接利用，(3)Hadoop/Hbase、Storm等大数据栈需要学习成本，短期内上手难度太大。(4)可用的机器数也是相当屌丝。

J2EE/XML开发者通常都是使用文档对象模型(DOM)API或简单的APIforXML(SAX)API来分析XML文档。然而，这些API都有其缺点。其中，DOMAPI的缺点之一是消耗大量的内存，因为在该XML文档可以被导航之前，必须创建一个完整的XML文档的内存结构。而SAXAPI的缺点在于，它实例了一种推分析模型API，其中分析事件是由分析器生成的。比较之下，StAX则是基于一种拉分析模型。在本文中，你将首先创建你自己的XML文档，然后学习使用各种不同方法来对之进行分析；最后，我们使用事件生成的StAX拉方法。

随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。作为一家互联网数据分析公司，我们在海量数据的分析领域那真是被“逼上梁山”。

这是一个能够根据源数据（比如说用csv格式表示的矩阵，或者中文文档）使用多种多样的算法去得到结果的一个平台。 算法能够通过xml配置文件去一个一个的运行，比如在开始的时候，我们可以先运行一下主成分分析算法去做特种选择，然后我们再运行随机森林算法来做分类。

本文深入介绍了去哪儿网利用Mesos和Docker构建私有云服务的全过程，分享了从无状态应用向有状态应用逐步过度的经验与心得。

关注沉淀的数据和实体来源的数据案例分享乘法效应+外部效应健康医疗肿瘤研究云服务ERPSaaS实体行业推广的问题小结基础设施人才技术数据困境数据的困境局部全局隐私统计特征价值定向瞄准基础设施的困境集中vs.分散拥有权和使用权回报效益的决定性因素、渐进式研究基于去隐私化的技术对数据分析算法和平台的重构数据服务稳定持续的数据服务提供平台工作分享——DataCoffeehouse可信任云平台建设数据分享和数据分析平台建设可信任云平台的目标问题安全信任问题是

随着“互联网+”时代的到来，越来越多人的衣食住行都开始依赖于互联网。火车、汽车作为普通民众出行主要选择的两大交通方式，其购票方式也在不断发生改变，从传统的人工售票窗口排队购票到互联网购票和自动售票机购票。

是为了政策补贴的狙击动作，还是想真心实意地做一票？ 　　一股风潮正在涌动，网络大亨们都已经开始或者宣称开始涉足制造手机。 　　此间，有关政府将对自有手机操作系统开发进行补贴的消息在坊间流传，电信业内直言：互联网公司此举和政府可能提供的补贴有关。

MaxScale 是 SkySQL 开发的一个数据库智能代理服务，允许根据数据库 SQL 语句将请求转向目标一个到多个服务器，可设定各种复杂成都的转向规则。

摘要：随着Android技术的迅猛发展和日趋成熟，Android操作系统在手持终端中所占比例正逐步上升，其开放性、便携性、良好的兼容性、无缝结合网络通信等特点将使Android操作系统在未来工业领域中也有着广泛的应用。本文提出一种基于Android平台的桥梁监测终端的开发设计方案，该方案的终端设计基于S3C6410处理器的硬件平台和Android1.5版本的软件平台，通过Socket编程使终端利用Wi-Fi无线通信技术接收桥梁数据，通过分析数据并将其保存到终端SQLite数据库中。终端应用程序的界面显示能够读出数据获取信息，通过调用数据库中的历史数据与当前数据进行比较而达到对桥梁监测的目的。该方案重点研究接收终端的平台结构，系统架构和应用程序的设计与实现。