“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。

从企业的技术选型角度，hadoop能满足大数据场景下绝打多数需求，同时在技术可行性与成本上，具有无可比拟额优势。

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameNode作为master服，它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息，包括文件信息、 文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说，HDFS通过NameNode对用户提供 了一个单一的命名空间。DataNode作为slave服务，在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataNode负责管理节点上它们拥有 的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。

城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。

在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。

Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架，Hadoop集群是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上，它是一种计算集群，即将数据分析的工作分配到多个集群节点上，从而并行处理数据。Hadoop框架中最核心设计就是：HDFS和MapReduce.

本教程使用Ubuntu12.0464位作为系统环境（Ubuntu14.04也行，32位、64位均可），请自行安装系统装好了Ubuntu系统之后，在安装Hadoop前还需要做一些必备工作。

 在云计算环境中，很多时候需要用它其他机器的计算资源，我们有可能会在接收到Message进行处理时，会把一部分计算任务分配到其他节点来完成。那么，RabbitMQ如何使用RPC呢？在本篇文章中，我们将会通过其它节点求来斐波纳契完成示例。

从本篇文章开始，我们将结合更加实际的应用场景来讲解更多的高级用法。  

在这篇文章中，我们将会将同一个Messagedeliver到多个Consumer中。这个模式也被成为"publish/subscribe"。  

  上篇文章中，我们构建了一个简单的日志系统。接下来，我们将丰富它：能够使用不同的severity来监听不同等级的log。比如我们希望只有error的log才保存到磁盘上。 1. Bindings绑定     上篇文章中我们是这么做的绑定： [python]view plaincopy 1. channel.queue_bind(exchange=exchange_name,   2.     

本文将使用Python（pika0.9.8）实现从Producer到Consumer传递数据”Hello,World“。    

 RabbitMQ是一个由erlang开发的AMQP（AdvancedMessageQueue）的开源实现。AMQP的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如COBAR的IIOP，或者是SOAP等），但是在异步消息处理中却不是这样，只有大企业有一些商业实现（如微软的MSMQ，IBM的WebsphereMQ等），因此，在2006年的6月，Cisco、Redhat、iMatix等联合制定了AMQP的公开标准。