基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口 经验

对于hadoop HDFS 中的所有命令进行解析 接口名称 功能 操作流程 get 将文件复制到本地文件系统 。如果指定了多个源文件,本地目的端必须是一个目录。 (1 )按照上述机制,在Config

jopen 2014-07-10   14097   0

云平台hadoop搭建以及wordcount实例运行 经验

hadoop是大数据处理的平台,是基于linux系统下的,在windows安装hadoop,很是费劲,连平台搭建都那么难在上面运行代码就更难了,这不是windows的强项,你们都懂得!!hadoop

jopen 2016-01-04   22817   0

十八款Hadoop工具帮你驯服大数据 经验

Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这 套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建

jopen 2016-01-05   23769   0

Hadoop分布式文件系统HDFS的工作原理详述 经验

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的

jopen 2015-09-12   12038   0

量化派基于Hadoop、Spark、Storm的大数据风控架构 经验

到新的leader上。 多维度的征信大数据可以使得量化派可以融合多源信息,采用了先进机器学习的预测模型和集成学习的策略,进行大数据挖掘。不完全依赖于传统的征信体 系,即可对个人消费者从不同的角度进

jopen 2015-10-06   52802   0

KUDU - Cloudera开发的又一个Hadoop系存储系统 经验

HDFS 和 HBase 的性能特点之间的一个系统,在随机读写和批量扫描之间找到一个平衡点,并保障稳定可预测的响应延迟 那为什么不能想办法改进HBase呢?Todd自己做为HBase的重要贡献者之一

RuthieNatio 2016-03-04   16578   0

hadoop 2.7.1 】动态添加节点、删除节点 经验

) [hadoop@hftest0001 hadoop]$ pwd /home/hadoop/hadoop-2.7.1/etc/hadoop [hadoop@hftest0001 hadoop]$ cat masters 

SharonHarde 2016-01-28   11070   0

Hadoop2.2.0单节点安装和配置环境图文详解 经验

摘要:最近也是刚刚入门hadoop,配置环境就折腾了很久,在网上也查看了给位大神的帖子,从中也学到 了很多东西,但是很多都是比较杂,在这里我就贴出我配置的一些心得,望各位指教。 一、简介 二、

jopen 2016-01-18   8458   0

Hadoop与数据库数据迁移工具,Sqoop 成为 Apache 顶级项目 资讯

Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过 Sqoop ,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中。

fmms 2012-04-04   12801   0
Sqoop   Hadoop  

IT企业利用云计算平台Hadoop的10种方式 资讯

如果你是世界上广大 Hadoop 用户的一员,你肯定知道 Google 曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的 Hadoop 不仅是当年的老二 Yahoo

openkk 2012-06-06   13144   0
Hadoop  

保障 Hadoop 数据安全的十大措施 资讯

Dataguise最近发布了Hadoop十大数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。

jopen 2013-04-07   6904   0
Hadoop  

MySQL推出Applier,可实时复制数据到Hadoop 资讯

以实现呢? MySQL 团队最新推出的 MySQL Applier for Hadoop (以下简称 Hadoop Applier)旨在解决这一问题。 用途 例如,复制事件中的从服务器可能是一个数据仓库系统,如

jopen 2013-04-23   17156   0
Hadoop  

基于Hadoop MapReduce模型的数据分析平台研究设计 经验

年的亲戚都坐在旁边包饺子,而我……还在为自己的拖延症买单。 本笔记主要记录以下两个方面: Hadoop MapReduce与Hive技术研究 数据分析平台框架设计与环境配置 Google三大核心技

d3fw 2015-04-28   48832   0

使用hadoop平台进行小型网站日志分析 经验

#对数据进行清理,保存到cleaned文件夹,按照当前日期进行保存 /home/cloud/hadoop/bin/hadoop jar /home/cloud/cleaner.jar /flume/$CURRENT

jopen 2015-04-13   13454   0

十八款Hadoop工具帮你驯服大数据 资讯

http://www.itongji.cn/article/031J30R015.html Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。

jopen 2015-03-17   24523   1
Hadoop  

Hadoop 与关系数据库相互迁移,Apache Sqoop 1.99.4 发布 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

jopen 2014-11-27   8376   0
Hadoop  

为什么如此难用?Hadoop 的 12 个技术痛点 资讯

Software Integrators的总裁和创始人。长时间的使用Hadoop,他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造,但它发展过快而表现出一些瑕疵。我爱大象

jopen 2014-10-27   8709   0
Hadoop  

Hadoop遭遇瓶颈的七大危险信号 资讯

环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。 部署和扩展Hadoop系统是一件高度复杂的事情,如果用户能提前对Hadoop扩展可能

jopen 2014-09-23   6890   0
Hadoop  

Apache Sqoop 1.99.5 发布,Hadoop 数据迁移 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

jopen 2015-02-28   14190   0

基于Hadoop的数据仓库平台,Apache Hive 1.2.1 发布 资讯

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

jopen 2015-06-29   9747   0
1 2 3 4 5 6 7 8 9 10