基于 Hive 的文件格式:RCFile 简介及其应用 经验

Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序列化的成本过高。

jopen 2014-06-18   75753   0
P12

  Trafodion Technical Whitepaper 文档

................................... 2 Targeted Hadoop workload profile .............................

zyang1989 2014-10-23   3074   0
P9

  基于HDFS的Fedora的分布式存储实现研究--小论文 文档

分布式存储 HDFS Hadoop Key Words:Long term preservation; Fedora; distributed file system; HDFS;Hadoop 引言 随着信息

li4li5li6 2012-09-11   3028   0

谷歌大数据工具衍生新开源平台Drill 资讯

日消息,《连线》杂志编辑凯德·梅茨(Cade Metz)近日在这份杂志的网络版上撰文称,谷歌的大数据工具 Hadoop 已经衍生出了两个开源平台,这两个平台分别是由硅谷创业公司 Cloudera 和 MapR 所构建的。其中,MapR

openkk 2012-08-23   18925   0
谷歌  

Hive安装手册 经验

把 apache-hive-0.14.0.bin.tar 复制到 /usr/hadoop/ #cd /home/hadoop/ #tar -xvf apache-hive-0.14.0.bin.tar

jopen 2015-05-27   16076   0

LinkedIn开源Dr. Elephant 资讯

能够很好地帮助用户理解、分析和优化 Hadoop 和 Spark 的工作流。LinkedIn 在去年第八届 Hadoop Summit 上第一次在社区呈现。 动机 Hadoop 是一个分布式数据存储和大

jopen 2016-04-18   7457   0
P23

  Hbase 分析报告白皮书 文档

Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。

xnbw 2016-01-11   338   0
P23

  Hbase 分析报告白皮书 文档

Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。

yzgang76 2012-12-02   2220   0
P23

  Hbase分析报告白皮书 文档

Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。

gonow86 2013-01-30   2732   0

Hbase常用操作(增删改查) 经验

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

jopen 2015-12-31   10035   0
P16

  cpu并行计算集群设计方案 文档

CPU/GPU并行计算集群设计方案2016.8.17 2. Hadoop简介 Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架,Hadoop集群是一种专门为存储和

勇敢勒小虎 2017-01-10   2568   0

使用 Apache Pig 处理数据 经验

是一个高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,Pig 可以简化 Hadoop 的使用。本文将探索 Pig

openkk 2012-03-30   25820   0

MapReduce的数据流程、执行流程 经验

同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。 具体的例子: 是hadoop mapreduce example中的例子,自己改写了一下并加入的注释 import java

jopen 2013-11-27   19471   0

60款顶级大数据开源工具 经验

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Researc

jopen 2015-11-14   179651   0

部署Spark 0.9集群 经验

预编译好的二进制包 如果你需要用到HDFS,则要针对Hadoop 1.x 和Hadoop 2.x 选择不同的版本。这里我选择 Hadoop 2.x 版。 spark@master $ wget h

jopen 2016-01-03   15823   0

开源大数据利器汇总 经验

edu/ Spark上的SQL执行引擎 Pig http://pig.apache.org/ 基于Hadoop MapReduce的脚本语言 Cloudera Impala http://www.cloudera

dgy7 2015-05-21   56121   0
P6

  无线音乐俱乐部wap门户日志系统云计算应用解决方案 文档

。 Ø hadoopHadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分布式文件系统,与MapReduce和Google档案系统的概念类似。 Ø HDFS(Hadoop Distributed

iloveyepp 2012-11-07   436   0
P11

  迅捷英翔-12530云计算平台解决方案 文档

",和他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。 Ø hadoopHadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分布式文件系统,与MapRed

iloveyepp 2012-11-07   4390   0

MapReduce业务 - 图片关联计算 经验

write(key, new Text(common)); } } 完整示例 package cn.hadoop.hdfs.example; import java.io.IOException; import

jopen 2015-09-02   13564   0

推荐引擎mahout安装与配置 经验

04-desktop-i386 jdk安装版本 :jdk-7u51-linux-i586 Hadoop版本 :Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在

mx3y 2015-06-30   14524   0
1 2 3 4 5 6 7 8 9 10