zookeeper安装 经验

用户为hadoop,安装目录为/opt/app下面 上传安装文件到/opt下面 root用户解压 [root@master opt]$ tar -zxvf zookeeper-3.4.7.tar

jopen 2016-01-06   10233   0

Hive HBase 整合 经验

环境说明: l hadoop : 2.4.0 l Zookeeper : 3.4.6 l Hbase : 0.96 l Hive : 0.13.1 1. Hive 整合 HBase

jopen 2014-10-29   65358   0

Github上关于大数据的开源项目、论文等合集 资讯

Papers Other Awesome Lists Frameworks Apache Hadoop - framework for distributed processing. Integrates MapReduce

jopen 2014-08-20   57775   0
Github  

大数据相关资源集合:Awesome Big Data 经验

Papers Other Awesome Lists 框架Frameworks Apache Hadoop - framework for distributed processing. Integrates MapReduce

jopen 2014-10-11   79484   0
P15

  Spark 初识入门 文档

n编写应用 通用的:兼备SQL/Streaming/复杂的分析 Run Everywhere Hadoop Ecosystem BDAS: Berkeley Data Analytics Stack MapReduce

因为一哥 2018-01-17   536   0

数据挖掘(5):使用mahout做海量数据关联规则挖掘 经验

数据集,因为内存放不下,给它再多的时间也是无用,因此需要进行分布式计算,mahout是一个基于hadoop的分布式数据挖掘开源项目(mahout本来是指一个骑在大象上的人)。掌握了关联规则的基本算法和

jopen 2015-08-30   18481   0

大数据时代 微软被迫接受开源 资讯

谷歌、Facebook等早期采用并使用Hadoop来存储和分析PB级别的非结构化数据。IBM也在 SmartCloud 平台上新增基于 Apache Hadoop 的服务 InfoSphere BigInsights

fmms 2012-04-01   18994   0

Shark简介、部署及编译小结 经验

at scale 总结来说,Shark是一个插件式的东西,在我现有的Spark和Hive及hadoop-client之间,在这两套都可用的情况下,Shark只要获取Hive的配置(还有metast

jopen 2013-09-25   56857   0
Shark  
P8

  hbase分页查询实现 文档

StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

Swear_Max 2013-01-15   5343   0

Pig安装及简单实例 经验

Pig的安装 Pig作为客户端程序运行,即使你准备在Hadoop集群上使用Pig,你也不需要在集群上做任何安装。Pig从本地提交作业,并和Hadoop进行交互。 1)下载Pig 前往http://mirror

jopen 2014-01-28   19738   0

MapReduce初级案例 经验

据的key为数据,而在这个实例中每个数据代表输入文件中的一行内容,所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后,将 value设置为key,并直接输出(输出中的value任意)。ma

jopen 2013-12-25   16798   0

使用mapreduce计算环比的实例 经验

import java.io.IOException; import org.apache.hadoop.io.Text; // 使用输入为object,text,输出为Text,Text的数据结构

Smith 2016-02-21   16578   0

浅谈开源大数据平台的演变 经验

开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于 MapReduce框架的易用性和容错性

b77m 2015-04-22   37643   0

浅谈开源大数据平台的演变 经验

开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于 MapReduce框架的易用性和容错性

jopen 2015-11-21   25453   0
P21

  hbase 文档

Bigtable利用GFS作为其文件存储系统,HBASE利用Hadoop HDFS作为其文件存储系统;Google运行MAPREDUCE来处理Bigtable中的海量数据,HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据;Google

q943768628 2018-04-02   1512   0

MapReduce朝不保夕的江湖地位 资讯

可怜的MapReduce,直到2013年末,都是Hadoop系统中的关键一环,在这个开源大数据处理框架中,它既是集群的资源管理器,又作为主要编程手段和处理环境存在。但如今看来,情况正在发生变化。 Apache

jopen 2016-02-24   11693   0
Hadoop  
P6

  大数据集群环境搭建-02 文档

to start moving to Java 1.8 (see HIVE-8607).   l Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0

Stone1985 2016-07-28   566   0

HBase集群搭建 经验

apt-get install rsync 4.hadoop 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 5.hbase 下载地址:http://www

fmms 2012-02-07   28700   0

大众点评的大数据实践 资讯

我们使用的版本是当时最新的稳定版,Hadoop 0.20.203 和 Hive 0.7.1。此后经历过多次升级与 Bugfix。现在使用的是 Hadoop 1.0.3+ 自有 Patch 与 Hive 0

jopen 2013-12-18   46925   1
大众  

MapReduce原理与设计思想 经验

– 也就是说把牌分发出去并不是MapReduce的一步。(事实上,在计算机集群中如何存储文件是Hadoop的真正核心。) 通过把牌分给多个玩家并且让他们各自数数,你就在 并行 执行运算,因为每个玩家都在同时计数。这同时把这项工作变成了

jopen 2014-12-04   32865   0
1 2 3 4 5 6 7 8 9 10