百度的Hadoop分布式文件系统图解:4000节点集群 经验

供了C++版的MapReduce接口。 百度HCE语言的有关内容,HCE是基于C++的Hadoop环境,是一个全功能C++环境,可以避开Java语言对于释放内存和资源申请的弊端,并在调用数据时

openkk 2012-08-25   23315   0

最详细的hadoop2.2.0集群的HA高可靠的最简单配置 经验

简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不

jopen 2014-01-26   107199   0

Hadoop老矣,为什么腾讯还要花精力在其开源发布上? 资讯

前些日子,腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起,已经走过了 10 来个年头,这期间,尤其是近年来,由华人作为

jopen 2018-07-11   15687   0
Hadoop   腾讯  

测试hadoop集群是否安装成功:网页监控页面和提交job运行 经验

1.hadoop2.6.0版本, 提交mapreduce程序 mkdir input cd input echo hello world >> file1 echo hello hadoop >> file2

RosCPG 2016-03-02   20889   0

2016年大数据领域预测:Spark淘汰MapReduce,拯救Hadoop 资讯

学家,但数据驱动的决策不会是这样。在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业 Hadoop 集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们。 “大数据”会消亡

jopen 2016-01-05   26776   0

专访王峰:Hadoop生态下一代计算引擎-streaming和batch的统一 资讯

编者按:Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Ha

jopen 2016-03-02   33897   0
Hadoop  

Apache Knox v0.9.1发布,一个访问hadoop集群的restapi网关 资讯

Apache knox是一个访问hadoop集群的restapi网关,它为所有rest访问提供了一个简单的访问接口点,能完成3A认证(Authentication,Authorization,Auditing)和SSO(单点登录)等。

有容云 2016-08-04   12012   0

还不懂Hadoop分布式文件系统HDFS的工作原理? - 快来扫扫盲吧 资讯

原文 http://www.jizhuomi.com/software/455.html Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价

jopen 2015-11-02   19493   0
HDFS  

大数据技术的回顾与展望 ——写在Hadoop十周年纪念 资讯

编者按 今天是Hadoop十岁生日。于2006年1月28日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。InfoQ策

jopen 2016-01-28   56044   0

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎 经验

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,

jopen 2014-09-01   86773   0

针对Hadoop数据处理应用程序的新分布式执行框架: Apache Tez 经验

你可能听说过 Apache Tez ,它是一个针对 Hadoop 数据处理应用程序的新分布式执行框架。但是它到底是什么呢?它的工作原理是什么?哪些人应该使用它,为什么?如果你有这些疑问,那么可以看一下

jopen 2014-10-13   30952   0

hadoop2.5.2HA高可靠性集群搭建(zookeeper3.4.6+hbase0.98.11) 经验

hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。 一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的N

xmnx 2015-03-23   22084   0
P6

  大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 文档

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 2014-07-16 13:51 大 数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm

tony2007 2015-06-19   2795   0
P5

  10分钟内理解云计算分布式大数据处理框架Hadoop 文档

家林会带您在10分钟内理解云计算分布式大数据处理框架Hadoop并开始动手实践,倒计时开始…… 第1分钟: Hadoop要解决的问题是什么? 答:Hadoop核心要解决长期IT界乃至人类社会的两大主题: 1,

xcxc 2015-08-23   651   0
P25

  Apache Hadoop2.0 下一代数据处理框架介绍 文档

Apache Hadoop 2.0 下一代数据处理框架介绍 2. 主要内容Hadoop 1.0 的局限性 Hadoop 2.0 新特性介绍 Hadoop现状及最新进展 3. Hadoop1.0的局限-

pnx8 2014-08-17   3282   0

容器和微服务在Hadoop生态系统中找到一席之地 经验

容器和微服务凭借构架上的灵活优势,已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。 最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现

jsho1213 2016-11-10   11218   0
P6

  用Hadoop搭建分布式存储和分布式运算集群 文档

用Hadoop搭建分布式存储和分布式运算集群 用Hadoop搭建分布式存储和分布式运算集群 1. 列出使用的机器 普通PC,要求: cpu: 750M-1G mem: >128M disk: >10G

daibiao 2012-06-13   5156   0
P5

  开发者必须知道的几件事myeclipse快捷键 文档

Eclipse本身很快的,但是加上了myeclipse后,就狂占内存,而且速度狂慢,那如何让Eclipse拖着myeclipse狂飚呢?这里提供一个:技巧:取消自动validationvalidation有一堆,什么xml、jsp、jsf、js等等,我们没有必要全部都去自动校验一下,只是需要的时候才会手工校验一下,速度立马提升好几个档次!

1206769201 2012-08-26   4375   0

大多数应用开发者如同街头毒贩收入微薄 资讯

会面。不过,那些通过销售应用所获得的收入,并未改变他 们的生活。苹果收取分成后,这两名高中生应用开发者共获得了 3 万美元收益,虽然其中有一部分被用在业务支出上,但这个数字还是不错的,只不过无法跟当年的扎克伯格同日而语。

jopen 2014-04-01   4773   0

上市在即的Box推出开源计划 多项技术通过GitHub与开发者共享 资讯

上公布的消息,该公司已正式推出一项名为“Box Open Source”的开源计划。该计划基于一套授权协议,允许取得授权的外部开发者获取 Box 的某些内部技术和工具源码,并协助 Box 进行改进。所有被开源的项目都托管在了 GitHub

jopen 2014-04-12   5360   0
Github  
1 2 3 4 5 6 7 8 9 10