大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm 经验

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师

jopen 2014-11-22   190566   0

Hadoop 2.3.0 分布式集群搭建图文 经验

安装配置 1 )名称类型 名称最后具有说明意义。版本根据个人情况。 2 )内存 在下物理机系统 Win7x64 ,处理器 i53210 ,内存 8G 。 3 )磁盘选择 4 )磁盘文件

jopen 2014-03-14   61471   0

基于Hadoop Yarn的DAG(有向无环图)计算框架:Apache Tez 经验

Apache Tez是基于Hadoop Yarn之上的DAG(有向无环图,Directed Acyclic Graph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/

jopen 2014-05-21   40860   0

Hadoop YARN中内存和CPU两种资源的调度和隔离 经验

同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍Hadoop YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由ResourceMa

jopen 2014-07-09   14872   0

云平台hadoop搭建以及wordcount实例运行 经验

hadoop是大数据处理的平台,是基于linux系统下的,在windows安装hadoop,很是费劲,连平台搭建都那么难在上面运行代码就更难了,这不是windows的强项,你们都懂得!!hadoop

jopen 2016-01-04   22817   0

十八款Hadoop工具帮你驯服大数据 经验

Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这 套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建

jopen 2016-01-05   23769   0

量化派基于Hadoop、Spark、Storm的大数据风控架构 经验

照央行最新数据,目前央行征信中心的数据覆盖人口达到8亿人[1],但其中有实际征信记录的只有3亿人左右,有5亿人在征信系统中只是一个身份证号码。此 外,我国还有5亿人跟银行从来没有信贷交易关系,这5亿人对金融部门来说是陌

jopen 2015-10-06   52802   0

hadoop 2.7.1 】动态添加节点、删除节点 经验

) [hadoop@hftest0001 hadoop]$ pwd /home/hadoop/hadoop-2.7.1/etc/hadoop [hadoop@hftest0001 hadoop]$ cat masters 

SharonHarde 2016-01-28   11070   0

Hadoop2.2.0单节点安装和配置环境图文详解 经验

摘要:最近也是刚刚入门hadoop,配置环境就折腾了很久,在网上也查看了给位大神的帖子,从中也学到 了很多东西,但是很多都是比较杂,在这里我就贴出我配置的一些心得,望各位指教。 一、简介 二、

jopen 2016-01-18   8458   0

Hadoop与数据库数据迁移工具,Sqoop 成为 Apache 顶级项目 资讯

Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过 Sqoop ,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中。

fmms 2012-04-04   12801   0
Sqoop   Hadoop  

IT企业利用云计算平台Hadoop的10种方式 资讯

如果你是世界上广大 Hadoop 用户的一员,你肯定知道 Google 曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的 Hadoop 不仅是当年的老二 Yahoo

openkk 2012-06-06   13144   0
Hadoop  

保障 Hadoop 数据安全的十大措施 资讯

Dataguise最近发布了Hadoop十大数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。

jopen 2013-04-07   6904   0
Hadoop  

MySQL推出Applier,可实时复制数据到Hadoop 资讯

MySQL Applier for Hadoop (以下简称 Hadoop Applier)旨在解决这一问题。 用途 例如,复制事件中的从服务器可能是一个数据仓库系统,如 Apache Hive ,它使用

jopen 2013-04-23   17156   0
Hadoop  

基于Hadoop MapReduce模型的数据分析平台研究设计 经验

年的亲戚都坐在旁边包饺子,而我……还在为自己的拖延症买单。 本笔记主要记录以下两个方面: Hadoop MapReduce与Hive技术研究 数据分析平台框架设计与环境配置 Google三大核心技

d3fw 2015-04-28   48832   0

使用hadoop平台进行小型网站日志分析 经验

#对数据进行清理,保存到cleaned文件夹,按照当前日期进行保存 /home/cloud/hadoop/bin/hadoop jar /home/cloud/cleaner.jar /flume/$CURRENT

jopen 2015-04-13   13454   0

十八款Hadoop工具帮你驯服大数据 资讯

http://www.itongji.cn/article/031J30R015.html Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。

jopen 2015-03-17   24523   1
Hadoop  

Hadoop 与关系数据库相互迁移,Apache Sqoop 1.99.4 发布 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

jopen 2014-11-27   8376   0
Hadoop  

为什么如此难用?Hadoop 的 12 个技术痛点 资讯

Software Integrators的总裁和创始人。长时间的使用Hadoop,他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造,但它发展过快而表现出一些瑕疵。我爱大象

jopen 2014-10-27   8709   0
Hadoop  

Hadoop遭遇瓶颈的七大危险信号 资讯

环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。 部署和扩展Hadoop系统是一件高度复杂的事情,如果用户能提前对Hadoop扩展可能

jopen 2014-09-23   6890   0
Hadoop  

Apache Sqoop 1.99.5 发布,Hadoop 数据迁移 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

jopen 2015-02-28   14190   0
1 2 3 4 5 6 7 8 9 10