Sqoop是一个Hadoop的周边工具，它的主要作用是在结构化数据存储与Hadoop之间进行数据交换，通过Sqoop，你可以批量将你关系型数据库中的数据导入到Hadoop中，也可以将Hadoop中的数据导出到其它结构化存储中。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

说到处理大数据的工具，普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年，市场产值会超过10亿美 元。IBM更是非常看好开源大数据工具，派出了3500名研究人员开发Apache Spark，这个工具是Hadoop生态系统的一部分。

Sqoop是一个用于将Hadoop与关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Hadoop 并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 Hadoop相关文档 。 收录时间：

这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，

hadoop一个用 于在普通硬件构成 的大集群上运行应用程序的框架。Hadoop框架透明地为应用程序提供可靠性与数据移动保障。Hadoop实现了一个被称为 mapReduce的 计算模型，在这个计算模型中应用程序被分为很多的小块，每一块都能在集群中的任意节点上执行或重新执行。另外，它还提供了一个分布式文件系统（HDFS） 来在计算节 点上存储数据，为集群提供了非常高的聚合带宽。在本框架中无论是Map/Reduce还是分布式文件系统都被设计为能够自动地处理节点上的错误。

NebulaDB 这个项目开始是准备做一个逻辑编程语言的，但我决定还是把它变成一个数据库，因为我觉得自己更适合干这个事。

Orient DB 是一个可伸缩的文档数据库，支持 ACID 事务处理。使用 Java 5 实现。

我们一直在寻求一个好的工具，这个工具可以将业务数据库的表数据进行导出，并且支持灵活的数据导入要求，以便进行测试数据库搭建和紧急故障恢复。 本文就plsqldev工具提供的“PL/SQL Developer”导出表的工具做一个比较详细的介绍。并且专门针对“PL/SQL Developer”无法导出的CLOB和BLOB数据类型的操作方法做了细致的描述。

【编者的话】本文属于基础入门类文章，作者介绍了如何备份基于Docker的PostgreSQL数据库。通过本文你可以学习到Docker容器的构建以及运行命令，并带你复习Docker容器的基本原理。

DebOps 是基于 Debian 的数据中心。 DebOps 是 Ansible 方案集合，可伸缩，从一个容器到一个条目数据中心。

利用Python语言实现Grib数据可视化主要依靠三个库——pygrib、numpy和matplotlib。pygrib是欧洲中期天气预报中心(ECMWF)的GRIG API C库的Python接口，通过这个库可以将Grib数据读取出来；numpy是Python的一种开源的数值计算扩展，这种工具可用来存储和处理大型矩阵；matplotlib是python著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图；在数据可视化过程中，我们常需要将数据在地图上画出来，所以还需要matplotlib的一个子包basemap，负责地图绘制。

【android数据备份恢复】引言随着3G时代的到来，移动互联网的发展，手机的功能越来越强大，手机里的数据对每个用户来说都非常的重要，特别是通讯录、日程、短信息、邮件等数据，一旦手机丢失、误删或其他意外使得数据无法正常使用，会给用户带来麻烦，数据备份与恢复这个应用可以帮助用户解决这个问题。<br><br>本文主要论述了基于Android平台所提供的开发框架和应用组件，并给出了一种数据备份恢复的设计与实现。

UDT 是一个可靠的基于UDP的数据传输协议，主要为应用程序间提供高效高速的广域网数据传输功能。UDT 使用 UDP 协议来传输大数据块，通过它的可靠性控制和拥塞控制机制。

CitusDB 是一个基于最新 PostgreSQL 构建的分布式数据库。CitusDB 可对 PostgreSQL 数据库进行伸缩以适合大数据的处理。可在集群中进行自动分片和碎片复制，运行在云端或者混合系统中。数据库的查询可在集群中进行分布式处理，充分利用集群中每个节点的计算能力。CitusDB 可提升 PostgreSQL 的高并发性和 JSON 支持，可用作事务以及分析数据库场景。

数据集成常见的方法联邦数据库联邦数据库是早期采用的是一种模式集成方法。模式集成过程需要将原来异构的数据模式作适当的转换，消除数据源间的异构性，映射成全局模式。在联邦数据库中，数据源之间共享自己的一部分数据模式，形成一个联邦模式。

新的大数据开源技术和工具往往来自互联网公司，除了Facebook、Google和Twitter这样的巨头外，一些甚至是你想不到的互联网公司，例如Netflix和Spotify（音乐流媒体服务）也会贡献一些优秀的大数据分析开源工具（Suro和Luigi）。

在日常的使用过程中，可能经常需要将一个集群中hbase的数据迁移到或者拷贝到另外一个集群中，这时候，可能会出很多问题

HIVE介绍简介，是什么hive是一个基于hadoop的数据仓库。使用hadoop-hdfs作为数据存储层；提供类似SQL的语言（HQL），通过hadoop-mapreduce完成数据计算；通过HQL语言提供使用者部分传统RDBMS一样的表格查询特性和分布式存储计算特性。

大数据相关技术、Hadoop生态、LinkedIn内部实战