P20

  海量数据处理之大跃进 文档

接口的快速响应要求 9. BI系统的突破 10. 计算框架主体采用storm。 指标存储主体采用Hbase。 多维分析,以及一些自定义分析采用Phoenix查询引擎 各模块之间的解耦,采用了kafka

nd7b 2015-12-09   2250   0

nutch2.0初体验------三大亮点 资讯

抽象存储层 把存储层抽象出来,不仅像之前那样可以存放在hdfs上,也可以存在其它nosql中,如:hbase,cassandra,或关系数据库。 2.精简插件 之前是差不多是一种文件使用一个插件来

jopen 2012-06-02   17048   0
nutch  

Hadoop工具在其不断进化中披荆斩棘 资讯

adoop的简单数据管理需求用HDFS就可以做到,但是更复杂的应用需要HBase和Hive。 HBase是一种列数据存储类型的NoSQL数据库。它被设计成可以支持十亿级别的行和列的超大数据表。HBase擅长包括快速查找和更新超过几百万行数据集的数据管理需求。

jopen 2014-12-17   9930   0
Hadoop  

大数据(九) - Hive 经验

task分解成多个task,再合并结果(TODO) Hive On HBase 使用 HQL处理HBase中的数据 比直接通过HBase API存取数据方便; 但性能更低,相当于把在线处理转为批处理 存在问题

jopen 2016-01-20   14258   0

大数据(八) - Sqoop 经验

传统关系型数据库 和 Hadoop 的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 利用MapReduce加快数据传输速度

jopen 2016-01-20   13746   0

Lily - 基于NoSQL技术的内容仓库 资讯

Lily以NoSQL技术为主题,是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索),并提供了大型内容集合存储与检索的解决方案。可运用在门户网站,内

fmms 2011-08-23   15855   1
NOSQL  

大数据(七) - Flume 经验

出到存储文件系统,数据库,或远程服务器 多种实现方式如Avro sink、HDFS Sink、HBase Sink、Logger Sink(测试用,后台打印) 小数据可以存储在文件或数据库中,海量数据

jopen 2016-01-20   13661   0

微博“异地多活”部署经验谈 经验

稳定性也很难保障,基本上每个月都会有或大或小的问题; 数据同步问题:MySQL如何做数据同步?HBase如何做数据同步?还有各种自研的组件,这些统统要做多机房数据同步。几十毫秒的延时,加上路途遥远导致

n342 2015-04-29   22765   0
微博  

移动大数据平台架构思想以及实践经验 经验

迁移到Spark,大量的数据通 过计算之后,存储在HDFS上,最后存储在HBase里面,通过ES来提供多级索引,以弥补HBase二级索引的缺失…… 友盟从 2010 年成立开始就专注移动大数据, 5

jopen 2015-10-26   39870   0

十八款Hadoop工具帮你驯服大数据 资讯

迁移成本更低"的座右铭。HDFS同样遵循 Apache许可。 HBase 当数据被汇总成一套规模庞大的列表时,HBase将负责对其进行保存、搜索并自动在不同节点之间共享该列表,从而保证Ma

jopen 2015-03-17   24523   1
Hadoop  
P43

  企业大数据解决方案v1.3 文档

Corporation第 14 页泽佳大数据解决方案体系数据 多样性 模式动态模式HDFS分布式文件系统Hbase分布式列存储系统Sybase ESP事件流处理器Hdoop MapReduceBig Data ConnectorsYoung

guet_lee 2017-01-12   711   0

云计算8项核心技术全解读 经验

Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。 BT(BigTable)数据管理技术:BigTable

jopen 2015-01-13   43225   0

十八款Hadoop工具帮你驯服大数据 经验

据迁移成本更低"的座右铭。HDFS同样遵循Apache许可。 HBase 当数据被汇总成一套规模庞大的列表时,HBase将负责对其进行保存、搜索并自动在不同节点之间共享该列表,从而保证Ma

jopen 2015-03-19   29675   0

云计算的核心技术 经验

Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。 BT(BigTable)数据管理技术:BigTable

jopen 2015-01-09   46200   0

构建大数据生态需要哪些核心技术? 经验

(如上图)这个存储实现框架的底层都是基于一些开源的技术,最底层是基于HDFS,数据库存储用的是HBase,数据仓库用的是Hive,图形数据库用的是开源的Titan。之所以用开源的Titan,原因在于其索引分析系统是Elastic

ozhc1633 2016-04-23   39175   0
P28

  大数据分析技术架构解决方案 文档

在最短的时间内形成最多样的模型大数据挖掘,速度快 10. 关系型数据库数据挖掘模型算法库/语义分析 Hbase/Hive/Hdfs 可视化数据 挖掘平台 多维自助分析调 度 管 理SQL接口 JDBC/ODBC内存计算服务

guet_lee 2017-01-12   2620   0

2004至今 微软开源大事记 资讯

Hadoop HBase 项目 Microsoft 收购了一个 San-Francisco 启动的 Powerset,对 Apache Hadoop 的 HBase 有重度依赖。Hbase 是一个开源的,使用

jopen 2016-04-17   18776   0
微软  

浅析Apache Storm 0.10.0-beta发布:剑指Heron 资讯

other Hadoop Projects (such as ZooKeeper, HDFS, HBase, etc.) User isolation (Storm topologies run as

jopen 2015-06-17   19186   0

一篇文看懂Hadoop:风雨十年,未来何去何从 资讯

现在Hadoop在一月发布了2.7.2的稳定版, 已经从 传统的Hadoop三驾马车HDFS,MapReduce和HBase社区发展为60多个相关组件组成的庞大生态 ,其中包含在各大发行版中的组件就有25个以上,包括数据存储、执行引擎、编程和数据访问框架等。

jopen 2016-03-10   25303   1
Hadoop  

数据统一访问平台 Spring Data MongoDB 1.0.0 M4 发布 资讯

such as Rackspace and Azure. Column Stores HBase (planned) HBase is an open-source, distributed, versioned

webphp 2011-09-04   20527   0
Java  
1 2 3 4 5 6 7 8 9 10