P22

  MapReduce详解及Eclipse远程连接Hadoop开发MapReduce程序 文档

、MapReduce详解及Eclipse连接Hadoop开发MapReduce讲师:Cloudy[www.langsin.com]浪曦网版权所有 2. 第2页2018年10月23日Hadoop 命令类Linux shell

li270606338 2013-08-28   7576   0

Hadoop十岁!Doug Cutting成长史+他眼中大数据技术的未来 资讯

上次见到(膜拜)Hadoop之父Doug Cutting是在 2年前 ,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的 Hadoop十周年贺词 ,感觉时间飞逝。最近CSDN和Info

jopen 2016-02-15   25367   0
P13

  Hadoop:分布式大数据处理架构 文档

Hadoop:分布式大数据处理架构   由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL(Structured Query Language)出

xcxc 2015-08-24   614   0

Hadoop HDFS分布式文件系统设计要点与架构 经验

Hadoop 简介 :一个分布式系统基础架构,由 Apache 基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop

openkk 2012-02-15   57210   0

Spring hadoop之发散之Storm云计算学习摘录总结 经验

Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),

jopen 2013-11-13   35568   0

Hadoop和数据库数据迁移工具 Sqoop 经验

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

openkk 2012-06-09   25475   0

利用Mahout实现在Hadoop上运行K-Means算法 经验

在一台机器上运行时,就 可以选择使用Mahout,让你的数据在Hadoop集群的进行分析。Mahout某些部分的实现直接创建在Hadoop之上,这就使得其具有进行大数据 处理的能力,也是Mahout最大的优势所在。相比较于

jopen 2013-12-06   71565   0
Mahout   Hadoop   算法  

大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm 经验

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师

jopen 2014-11-22   190566   0

基于Hadoop Yarn的DAG(有向无环图)计算框架:Apache Tez 经验

Apache Tez是基于Hadoop Yarn之上的DAG(有向无环图,Directed Acyclic Graph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/

jopen 2014-05-21   40860   0

Hadoop YARN中内存和CPU两种资源的调度和隔离 经验

同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍Hadoop YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由ResourceMa

jopen 2014-07-09   14872   0

基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口 经验

对于hadoop HDFS 中的所有命令进行解析 接口名称 功能 操作流程 get 将文件复制到本地文件系统 。如果指定了多个源文件,本地目的端必须是一个目录。 (1 )按照上述机制,在Config

jopen 2014-07-10   14097   0

十八款Hadoop工具帮你驯服大数据 经验

Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这 套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建

jopen 2016-01-05   23769   0

Hadoop分布式文件系统HDFS的工作原理详述 经验

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的

jopen 2015-09-12   12038   0

量化派基于Hadoop、Spark、Storm的大数据风控架构 经验

用标准SQL语句来存储或者调用数据资源。Mysql很快就遇到了性能瓶颈,虽然可以通过不停地优化整个Mysql集群以应对数据的快速增长,但是面对复 杂的数据业务需求,Mysql显然无法提供最优的解决方案。所以我司

jopen 2015-10-06   52802   0

KUDU - Cloudera开发的又一个Hadoop系存储系统 经验

个主键进行,而Scan检索类型的操作则支持条件过滤和投影等能力。 ### 集群架构: Kudu 的集群架构基本和HBase类似,采用主从结构,Master节点管理元数据,Tablet节点负责分片管理数据,

RuthieNatio 2016-03-04   16578   0

hadoop 2.7.1 】动态添加节点、删除节点 经验

) [hadoop@hftest0001 hadoop]$ pwd /home/hadoop/hadoop-2.7.1/etc/hadoop [hadoop@hftest0001 hadoop]$ cat masters 

SharonHarde 2016-01-28   11070   0

Hadoop2.2.0单节点安装和配置环境图文详解 经验

摘要:最近也是刚刚入门hadoop,配置环境就折腾了很久,在网上也查看了给位大神的帖子,从中也学到 了很多东西,但是很多都是比较杂,在这里我就贴出我配置的一些心得,望各位指教。 一、简介 二、

jopen 2016-01-18   8458   0

Hadoop与数据库数据迁移工具,Sqoop 成为 Apache 顶级项目 资讯

Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过 Sqoop ,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中。

fmms 2012-04-04   12801   0
Sqoop   Hadoop  

IT企业利用云计算平台Hadoop的10种方式 资讯

如果你是世界上广大 Hadoop 用户的一员,你肯定知道 Google 曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的 Hadoop 不仅是当年的老二 Yahoo

openkk 2012-06-06   13144   0
Hadoop  

保障 Hadoop 数据安全的十大措施 资讯

Dataguise最近发布了Hadoop十大数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。

jopen 2013-04-07   6904   0
Hadoop  
1 2 3 4 5 6 7 8 9 10