大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢?

提纲大数据回顾Batch Analytics传统的结构化数据依然是最常见的数据非结构化的情绪表达和客户行为快速增长企业现存的非结构化数据蕴含大量开放文本视频音频在业务操作中被使用博客，论坛以及评论反映了客户的声音volume30%组织需要每天处理>100GB数据批处理更新从每天提升到每小时，每分钟，甚至实时复杂事件处理能够即时产生信息发送给分析系统实时流数据处理大数据：信息驱动力3v海量数据规模高时效性多样化50%组织拥有和处理>10TB数据10%已经处理>1PB电子商务和Web日志可产生每分钟上万的数据项社交媒体应用每分钟产生百万交互活动Hadoop与NoSQL–解决BigData的核武器Hadoop

这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面，盲目偏信只会将大家引入歧途。

在过去三年，Hadoop生态系统已经大范围扩展，很多主要IT供应商都推出了Hadoop连接器，以增强Hadoop的顶层架构或是供应商自 己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长，以及其生态系统不断地深入而广泛地发展，我们很想知道Hadoop的崛起是否会导 致传统数据仓库解决方案的终结呢。

提 到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。

HDFS：分布式存储系统（Hadoop Distributed File System）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月 )，是GFS克隆版 YARN：资源管理系统（Yet Another Resource Negotiator）：负责集群资源的统一管理和调度，Hadoop 2.0新增系统，使得 多种计算框架可以运行在一个集群中

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。

Cascalog 是 Hadoop 上的数据处理解决方案，无需 hassle。

在西雅图举行的 PASS 峰会上，微软副总裁 Ted Kumert宣布，Hadoop 分布式计算平台将整合到下一个版本的关系数据库 SQL Server 2012、Windows Server 和 Azure 中。Hadoop 是一个顶级 Apache 开源项目，雅虎是最主要的贡献者，主要被应用于分析大容量数据集。整合 Hadoop 将让微软的客户能分析和处理大数量的非结构化数据。SQL Server 总经理 Doug Leland 称，微软与 Hortonworks 建立了战略合作关系，帮助微软将 Hadoop 移植到 Windows Server 和 Azure。Hortonworks 是雅虎的多位核心开发者成立的 Hadoop 支持咨询团队。

Google强大的搜寻引擎每天处理庞大的搜寻数据，靠的是数十万的伺服器同时作工。然而一般企业并无法使用Google所用的内部搜寻引擎工具，所以，拥有处理大数据工具的分散式运算平台Hadoop应运而生。

Cascading API的核心概念是管道和流。所谓管道，就是一系列处理步骤（解析、循环、过滤等等），这些步骤定义了将要进行的数据处理，而流就是带有数据源与数据接收 器（data-sink）的管道的联合。 Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现力的API来构建复杂的处理工作流，而不是直接实现Hadoop MapReduce的 算法。 该 处

大数据分析的流程浅析之一：大数据采集过程分析数据采集，就是使用某种技术或手段，将数据收集起来并存储在某种设备上，这种设备可以是磁盘或磁带。区别于普通的数据分析，大数据分析的数据采集在数据收集和存储技术上都是不同的。具体情况如下：1.大数据收集过程在收集阶段，大数据分析在时空两个方面都有显著的不同。在时间维度上，为了获取更多的数据，大数据收集的时间频度大一些，有时也叫数据采集的深度。在空间维度上，为了获取更准确的数据，数据采集点设置得会更密一些。以收集一个面积为100平方米的葡萄园的平均温度为例。小数据时代，由于成本的原因，葡萄园主只能在葡萄园的中央设置一个温度计用来计算温度，而且每一小时观测一次，这样一天就只有24个数据。而在大数据时代，在空间维度上，可以设置100个温度计，即每个1平方米一个温度计；

用Toad for Oracle创建数据库_数据库表空间

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第二篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。

　　　为对本系统的正常编写提供规范、正确、统一的要求和对本系更透彻的了解，达到项目的正常制作，按照文档说明而实现功能。

Stado 提供一个强大而且灵活的分析环境，允许用户处理大量的数据而无需商业的数据仓库解决方案。大并行处理的体系结构用在常规硬件上进行商业智能分析处理。 收录时间：2011-11-27 23:08:27

从2012年618订单中心使用MySQL，到2013年618大促中MySQL数据库已经支撑起了京东交易系统的半壁江山。目前京东的核心数据库都已基本运行在MySQL上，规模十分庞大，日常的PV已达千亿级别。这些年来，618、双11大促数据库的准备越来越精细，本文以最近4次大促为基点，从智能化、自动化、平台化三个方面来谈一谈京东在MySQL数据库方面的探索和实践。

0.上传日志文件到linux中，通过flume将文件收集到hdfs中。

CSDN 这次数据泄漏，同时也给了我们一些有趣的分析数据。我们可以轻松地统计挨踢人士的邮箱使用情况，以及通常的密码长度等信息： 大家通常最关心密码