Myriad项目: Mesos和YARN 协同工作 资讯

第一个集群是Apache Hadoop,它相当于一个岛,它的资源全部用于Hadoop平台和它的进程。第二个集群就是除了Hadoop之外其它所有资源所在的集群。 之所以产生这种情况是由于Hadoop是用 Apache

n7w77 2015-03-19   6531   0
YARN  

Airbnb架构要点分享 经验

原文 http://www.infoq.com/cn/news/2015/09/Airbnb-Hadoop Airbnb 成立于2008年8月,总部位于加利福尼亚州旧金山市。Airbnb是一个值得

jopen 2015-09-22   22226   0

21 个最好的免费开源数据库 资讯

writing complex JavaScript code. 4. Hadoop (HBase) Hadoop is the name brand in big data. It is also

jopen 2013-12-26   33330   0
P96

  MapReduce 算法设计 文档

完成了基于MapReduce的并行化比对算法研究。 14. 课程项目设计梁亚澜,李杰,钮鑫涛:Hadoop平台下覆盖表生成遗传算法参数配置启发式演化工具 李袁奎,刘文杰,王姜: 使用Mapreduce框架进行软件代码分析

bxunzhao 2013-05-18   999   0

MapReduce数据流 经验

Hadoop的核心组件在一起工作时如下图所示: 图 4.4 高层 MapReduce 工作流水线 MapReduce 的输入一般来自 HDFS 中的文件,这些文件分布存储在集群内的节点上。运行一个

openkk 2012-02-16   49209   0

前员工追忆百度乱象:上下异心 极客精神缺位 资讯

度宣称自己的 Hadoop 集群在规模、负载和利用率上是世界前三的。可是这又有什么用呢?第一,Hadoop 不是百度开发的,百度只是打了点补丁做了些定制而已;第二,百度的 Hadoop 集群数量只有 10+

jopen 2013-02-04   11184   0
百度  

用Apache Spark进行大数据处理——第一部分:入门介绍 经验

由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spa

jopen 2015-04-02   62295   0

大数据处理框架Apache Spark入门 经验

由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spa

jopen 2015-11-16   61047   0
P3

  K-Means聚类示例 文档

Mahout_examples_Data_Set中 (2) 将testdata放在hdfs的用户根目录下 user@hadoop:$hadoop dfs -cp /share/data/Mahout_examples_Data_Set/testdata

songyl525 2013-12-11   672   0

基于模糊K-Means算法的新闻聚类 经验

apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

MamieH92 2016-02-28   18878   0
算法  

MapReduce单元测试框架 MRUnit 经验

MRUnit是由Couldera公司开发的专门针对 Hadoop中编写MapReduce单元测试的框架,基本原理是JUnit4和 EasyMock。MR就是Map和Reduce的缩写。MRUnit框架

jopen 2012-02-02   44233   0

思科安全大数据分析框架:OpenSOC 经验

与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC

jopen 2014-12-19   45317   0

Apache Nutch 2.3.1 发布,搜索引擎 资讯

- Apache Avro 1.7.6    - Apache Hadoop 1.2.1 and 2.5.2    - Apache HBase 0.98.8-hadoop2 (although also tested with 1

jopen 2016-01-22   8172   0
P8

  云存储平台搭建 文档

且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。 5. Apache Hadoop 是一个软件框架(平台),它可以分布式地操纵大量数据。它于 2006 年出现,由 Google、Yahoo

hlking 2012-05-31   8583   0
P9

  HBase 技术介绍简介 NOSQL数据库 入门 文档

 HBase技术介绍简介 NOSQL数据库 入门 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC

fyhbbs 2013-05-30   489   0
P8

  HBase 简介 文档

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google

songyl525 2013-12-11   3157   0

HBase技术详细介绍 经验

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

fmms 2012-02-08   128579   0
P8

  HBase 技术介绍 文档

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google

duchengli 2012-09-12   438   0
P16

  hive1.2.1安装部署说明书 文档

command卡住 可能原因:多个select命令同时排队而mapreduce只能依次执行命令 解决方法:重启hadoop或等待 16.问题:节点worker进程缺失 解决方法:进入该节点的spark的sbin目录下启动worker进程

shenxxPH 2016-12-26   680   0
数据挖掘   x86   SQL  
P8

  HBase分布式数据库 文档

HBase--分布式数据库 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

tony2007 2015-06-19   3862   0
1 2 3 4 5 6 7 8 9 10