软件认为，呼叫中心员工最重要的素质不是经验而是性格，实际结果也证实了软件的判断。如今，有越来越多的公司把招聘职责交给某个程序。以往根据工作经历和面试来招聘的岗位现在依据的是性格测试和数据分析。

京东商城招聘了~~ 岗位职责: 1、 负责风险控制系统、管理系统、大数据系统等设计、研发以及维护、优化工作； 2、 协助业务方梳理业务需求，提供业务规划方案、架构设计方案，并能根据方案展开研发工作；（高级及以上） 3、 带领团队攻克高并发、高稳定性，业务模型复杂等带来的各种挑战及技术难关；（高级及以上） 4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师； （高级及以上）

经过无数权威媒体的反复轰炸，我们大致已经相信，数据科学家是21世纪最神秘最性感最多金的职业，他们是大数据时代数据炸弹的拆弹专家，企业数字化经营的发动机，他们的身价堪比NFL四分卫，而且，他们比昆仑山上的雪豹数量还少。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

Sqoop是一个Hadoop的周边工具，它的主要作用是在结构化数据存储与Hadoop之间进行数据交换，通过Sqoop，你可以批量将你关系型数据库中的数据导入到Hadoop中，也可以将Hadoop中的数据导出到其它结构化存储中。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

说到处理大数据的工具，普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年，市场产值会超过10亿美 元。IBM更是非常看好开源大数据工具，派出了3500名研究人员开发Apache Spark，这个工具是Hadoop生态系统的一部分。

Sqoop是一个用于将Hadoop与关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Hadoop 并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 Hadoop相关文档 。 收录时间：

这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，

  HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节)字节，都会创建一个单独的校验和。 数据节点负责在存储数据及其校验和之前验证它们收到的数据。 从客户端和其它数据节点复制过来的数据。客户端写入数据并且将它发送到一个数据节点管线中，在管线的最后一个数据节点验证校验和。

趣文：如果像招聘程序员那样招聘木匠

一．Hadoop核心角色hadoop框架Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker组成。其中NameNode，secondaryNameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。 1，NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。<br> Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

一、安装sun的jdk和hadoop，不要使用open-jdk本人安装的jdk1.7.0.rpm包（默认安装路劲为/usr/java/jdk1.7.0）解压hadoop-0.20.2到：/home/hadoop/。

Hadoop是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。

Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。<br> Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。MapReduce是Google的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce的名字源于这个模型中的两项核心操作：Map和Reduce。Map是把一组数据一对一的映射为另外的一组数据，Reduce是对一组数据进行归约，映射和归约的规则都由一个函数指定。

上就出现了一个类似的解决方案，目前它们都属于Apache的Hadoop项目，对应的分别是：Chubby-->ZooKeeperGFS-->HDFSBigTable-->HBaseMapReduce-->Hadoop目前，基于类似思想的OpenSource项目还很多，如Facebook用于用户分析的Hive。HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。下图是MapReduce整个项目的顶层包图和他们的依赖关系。Hadoop包之间的依赖关系比较复杂，原因是HDFS提供了一个分布式文件系统，该系统提供API，可以屏蔽本地文件系统和分布式文件系统，甚至象AmazonS3这样的在线存储系统。这就造成了分布式文件系统的实现，或者是分布式文件系统的底层的实现，依赖于某些貌似高层的功能。功能的相互引用，造成了蜘蛛网型的依赖关系。一个典型的例子就是包conf，conf用于读取系统配置，它依赖于fs，主要是读取配置文件的时候，需要使用文件系统，而部分的文件系统的功能，在包fs中被抽象了。

Hadoop集群搭建机器规格CPU：2个四核2~2.5GHzCPU内存：8~16GBECCRAM(非ECC会产生校验和错误)存储器：4*1TSATA硬盘（硬盘大小一般是数据量的3—5倍）网络：千兆以太网PS：namenode一般采用64位硬件，避免32位机java堆3g限制具体规格情况跟数据量有关。

在输入数据的“逻辑”记录上应用Map操作得出一个中间Key/value pair集合。在所有具有相同key值的value值上应用Reduce操作，从而达到合并中间的数据，得到一个想要的结果的目的

Google的十个核心技术，而且可以分为四大类： 分布式基础设施：GFS、Chubby 和 Protocol Buffer。 分布式大规模数据处理：MapReduce 和 Sawzall。 分布式数据库技术：BigTable 和数据库 Sharding。 数据中心优化技术：数据中心高温化、12V电池和服务器整合。