每天TB级数据处理,携程大数据高并发应用架构涅槃 经验

是基于Lucene实现的分布式搜索引擎,用于索引用户画像的数据,支持离线精准营销的用户筛选,同时支持线上应用推荐系统的选品功能 。Hbase 基于Hadoop的Hdfs 上的列存储Nosql数据库,用于后台报表可视化系统和线上服务的数据存储。

P54

  NoSQL 应用视角扩展性,可用性与可靠性的抉择 文档

When 性能vs扩展性,响应时间vs吞吐量,一致性vs可用性 NoSQL @pwrd 我们的工作:HBase性能指标、适用场景和应用范例 总结2 3. 关于 NoSQL 一种数据库 不是文件 (通常)OLTP

noblemoon 2012-03-16   4383   0

七牛首席架构师李道兵:分布式存储的元数据设计 资讯

无中心的存储设计,如GlusterFS。 有中心的存储设计,如Hadoop。 基于数据库的存储设计,如GridFS和HBase。 绕过元数据的存储设计,如FastDFS。 下面我们来逐一进行讲述。 无中心的存储设计:GlusterFS

pjp 2015-05-10   21784   0

Hadoop 管理监控工具:Apache Ambari 经验

Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、S

jopen 2012-12-25   77765   0

来自 eBay 的 OLAP 分析引擎:Kylin 经验

其它亮点: 作业管理和监控 压缩和编码的支持 Cube 的增量更新 Leverage HBase Coprocessor for query latency Approximate Query

jopen 2014-10-09   73265   0

Java 持久层框架 DataNucleus Access Platform 资讯

use standard only now HBase : fix reuse of HTable so we can use HBase 0.90.1+ HBase : dont allow table creation/validation

fmms 2012-01-29   11204   0
Java  

Hadoop家族学习路线图 经验

主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN

jopen 2013-11-10   199151   0
P26

  Hadoop实用指南 文档

方便管理大量任务 支持任务依赖关系、监控报警 Hadoop/Hbase工具类库 MapReduce InputFormat: Spider Pages/HBase数据/ComposeInputFormat Hdfs

yudian 2014-10-29   1898   0
P32

  基于hadoop的数据仓库技术 文档

成,主要包括:HDFS、MapReduce、HBase、Hive、Pig 和 ZooKeeper, 其中HDFS是Google的GFS开源版本, HBase 是Google的 BigTable开源版本

xcxc 2015-08-24   524   0
P5

  MapR 初体验 文档

高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区的许多流行的工具和功能,例如Hbase、Hive。它还100%和Apache Hadoop的API兼容。它能够为客户节约一半的硬件资源

sweetbaybe 2012-12-24   2387   0
P32

  基于hadoop的数据仓库技术 文档

成,主要包括:HDFS、MapReduce、HBase、Hive、Pig 和 ZooKeeper, 其中HDFS是Google的GFS开源版本, HBase 是Google的 BigTable开源版本

cqn1512 2013-05-02   3410   0

Hadoop生态系统学习路线 经验

主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN

jopen 2014-10-29   43441   0

spark用程序提交任务到yarn 经验

注意,如果引入了hbase依赖,需要这样配置 org.apache.hbase hbase-thrift

jopen 2014-04-11   186436   0
P7

  大规模日志收集处理项目的技术总结 文档

有动作都在这个线程完成:收集一批增量日志;使用不同的解析器把日志解析成结构化对象;持久化(入 HBase或者云梯或者消息中间件)。这样的划分方式使得线程之间没有任何通信(也就没有锁的竞争),有因为整个处理任务的两头有大量的IO动作(拉取日

tony2007 2015-06-19   618   0

如何编写一个分布式数据库 经验

因为上述原因,有些业务就抛弃了 RDBMS,直接上 NoSQL,常见的选型方案是:HBase,MongoDB, Cassandra 等,简单介绍一下: HBase 来自 Google 的 Big Table 的论文,底层存储依赖

jopen 2015-09-24   193269   0

解读2015之大数据篇:大数据的黄金时代 资讯

建议在生产环境中使用。 HBase 在 2015 年,HBase 迎来了一个里程碑——HBase 1.0 release,这也代表着 HBase 走向了稳定。 HBase新增特性包括:更加清晰的接

jopen 2016-01-08   53926   0

类Google MegaStore & F1的分布式关系数据库:Wasp 经验

MegaStore & F1的分布式关系数据库。 最近几年随之Bigtable和NoSQL的兴起,社区产品HBase逐步走向NoSQL系统的主流产品,优势明显然而缺点也明显,大数据平台下的业务由 SQL向NoSQ

jopen 2014-06-19   18154   0

Hadoop与关系数据库数据相互迁移工具 Apache Sqoop 1.4.5 发布 资讯

- Add the --bulk-load-dir option to support the HBase doBulkLoad function [ SQOOP-1107 ] - Further improve

jopen 2014-08-13   13701   0

Hadoop 数据迁移工具,Apache Sqoop 1.4.6 发布 资讯

DataDrivenImportJob [ SQOOP-1519 ] - Enable HCat/HBase/Accumulo operations with OraOop connection manager

pjp 2015-05-10   21332   0
P2

  big资料 文档

HDFS是一种数据分布式保存机制,数据被保存在计算机集群上。数据写入一次,读取多次。HDFS为HBase等工具提供了基础。 2) MapReduce:Hadoop的主要执行框架是MapReduce,它

fangunun 2016-12-22   643   0
1 2 3 4 5 6 7 8 9 10