P15

  Spark 初识入门 文档

n编写应用 通用的:兼备SQL/Streaming/复杂的分析 Run Everywhere Hadoop Ecosystem BDAS: Berkeley Data Analytics Stack MapReduce

因为一哥 2018-01-17   536   0

数据挖掘(5):使用mahout做海量数据关联规则挖掘 经验

数据集,因为内存放不下,给它再多的时间也是无用,因此需要进行分布式计算,mahout是一个基于hadoop的分布式数据挖掘开源项目(mahout本来是指一个骑在大象上的人)。掌握了关联规则的基本算法和

jopen 2015-08-30   18481   0

大数据时代 微软被迫接受开源 资讯

谷歌、Facebook等早期采用并使用Hadoop来存储和分析PB级别的非结构化数据。IBM也在 SmartCloud 平台上新增基于 Apache Hadoop 的服务 InfoSphere BigInsights

fmms 2012-04-01   18994   0

Shark简介、部署及编译小结 经验

at scale 总结来说,Shark是一个插件式的东西,在我现有的Spark和Hive及hadoop-client之间,在这两套都可用的情况下,Shark只要获取Hive的配置(还有metast

jopen 2013-09-25   56857   0
Shark  
P8

  hbase分页查询实现 文档

StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

Swear_Max 2013-01-15   5343   0

Pig安装及简单实例 经验

Pig的安装 Pig作为客户端程序运行,即使你准备在Hadoop集群上使用Pig,你也不需要在集群上做任何安装。Pig从本地提交作业,并和Hadoop进行交互。 1)下载Pig 前往http://mirror

jopen 2014-01-28   19738   0

MapReduce初级案例 经验

据的key为数据,而在这个实例中每个数据代表输入文件中的一行内容,所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后,将 value设置为key,并直接输出(输出中的value任意)。ma

jopen 2013-12-25   16798   0

使用mapreduce计算环比的实例 经验

import java.io.IOException; import org.apache.hadoop.io.Text; // 使用输入为object,text,输出为Text,Text的数据结构

Smith 2016-02-21   16578   0

浅谈开源大数据平台的演变 经验

开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于 MapReduce框架的易用性和容错性

b77m 2015-04-22   37643   0

浅谈开源大数据平台的演变 经验

开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于 MapReduce框架的易用性和容错性

jopen 2015-11-21   25453   0
P21

  hbase 文档

Bigtable利用GFS作为其文件存储系统,HBASE利用Hadoop HDFS作为其文件存储系统;Google运行MAPREDUCE来处理Bigtable中的海量数据,HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据;Google

q943768628 2018-04-02   1512   0

MapReduce朝不保夕的江湖地位 资讯

可怜的MapReduce,直到2013年末,都是Hadoop系统中的关键一环,在这个开源大数据处理框架中,它既是集群的资源管理器,又作为主要编程手段和处理环境存在。但如今看来,情况正在发生变化。 Apache

jopen 2016-02-24   11693   0
Hadoop  
P6

  大数据集群环境搭建-02 文档

to start moving to Java 1.8 (see HIVE-8607).   l Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0

Stone1985 2016-07-28   566   0

HBase集群搭建 经验

apt-get install rsync 4.hadoop 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 5.hbase 下载地址:http://www

fmms 2012-02-07   28700   0

大众点评的大数据实践 资讯

我们使用的版本是当时最新的稳定版,Hadoop 0.20.203 和 Hive 0.7.1。此后经历过多次升级与 Bugfix。现在使用的是 Hadoop 1.0.3+ 自有 Patch 与 Hive 0

jopen 2013-12-18   46925   1
大众  

你应该知道的大数据领域12大动向 经验

,以及达成战略性关系。 行业观察人士表示,许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后,将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。

axcu9192 2016-07-05   27761   0

sqoop的安装与使用 经验

以下操作就是使用sqoop在mysql和hdfs之间转换数据。 1.安装 我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/usr/local目录下。 首先就是解压缩,重命名

jopen 2014-05-29   284329   0

Cloudera Manager安装部署 经验

yum install avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hb

BettieDanne 2016-01-28   21166   0

来自 eBay 的 OLAP 分析引擎:Kylin 经验

Kylin 是一个来自 eBay 公司开发的开源分布式OLAP 分析引擎,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。 - 超级快的 OLAP 引擎,具备可伸缩性:

jopen 2014-10-09   73265   0
P79

  Introduction to cloud computing 文档

Using Hadoop in an Academic Environment Performance tips and other tools 3. Google calls it:Hadoop equ

zts2014 2014-10-16   2250   0
1 2 3 4 5 6 7 8 9 10