Spark1.2新特性概述 资讯

部分数据。现在加上一层WAL(write ahead log),好多地方都在用这玩意儿,还记得HBase的write path吗?每次写到memstore之前都会写到一个叫HLog的地方,以防止数据丢

jopen 2014-12-19   8121   0
Spark  
P20

  海量数据处理之大跃进 文档

接口的快速响应要求 9. BI系统的突破 10. 计算框架主体采用storm。 指标存储主体采用Hbase。 多维分析,以及一些自定义分析采用Phoenix查询引擎 各模块之间的解耦,采用了kafka

nd7b 2015-12-09   2250   0

nutch2.0初体验------三大亮点 资讯

抽象存储层 把存储层抽象出来,不仅像之前那样可以存放在hdfs上,也可以存在其它nosql中,如:hbase,cassandra,或关系数据库。 2.精简插件 之前是差不多是一种文件使用一个插件来

jopen 2012-06-02   17048   0
nutch  

Hadoop工具在其不断进化中披荆斩棘 资讯

adoop的简单数据管理需求用HDFS就可以做到,但是更复杂的应用需要HBase和Hive。 HBase是一种列数据存储类型的NoSQL数据库。它被设计成可以支持十亿级别的行和列的超大数据表。HBase擅长包括快速查找和更新超过几百万行数据集的数据管理需求。

jopen 2014-12-17   9930   0
Hadoop  

大数据(九) - Hive 经验

task分解成多个task,再合并结果(TODO) Hive On HBase 使用 HQL处理HBase中的数据 比直接通过HBase API存取数据方便; 但性能更低,相当于把在线处理转为批处理 存在问题

jopen 2016-01-20   14258   0

大数据(八) - Sqoop 经验

传统关系型数据库 和 Hadoop 的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 利用MapReduce加快数据传输速度

jopen 2016-01-20   13746   0

Lily - 基于NoSQL技术的内容仓库 资讯

Lily以NoSQL技术为主题,是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索),并提供了大型内容集合存储与检索的解决方案。可运用在门户网站,内

fmms 2011-08-23   15855   1
NOSQL  

微博“异地多活”部署经验谈 经验

稳定性也很难保障,基本上每个月都会有或大或小的问题; 数据同步问题:MySQL如何做数据同步?HBase如何做数据同步?还有各种自研的组件,这些统统要做多机房数据同步。几十毫秒的延时,加上路途遥远导致

n342 2015-04-29   22765   0
微博  

十八款Hadoop工具帮你驯服大数据 资讯

迁移成本更低"的座右铭。HDFS同样遵循 Apache许可。 HBase 当数据被汇总成一套规模庞大的列表时,HBase将负责对其进行保存、搜索并自动在不同节点之间共享该列表,从而保证Ma

jopen 2015-03-17   24523   1
Hadoop  
P43

  企业大数据解决方案v1.3 文档

Corporation第 14 页泽佳大数据解决方案体系数据 多样性 模式动态模式HDFS分布式文件系统Hbase分布式列存储系统Sybase ESP事件流处理器Hdoop MapReduceBig Data ConnectorsYoung

guet_lee 2017-01-12   711   0

云计算8项核心技术全解读 经验

Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。 BT(BigTable)数据管理技术:BigTable

jopen 2015-01-13   43225   0

十八款Hadoop工具帮你驯服大数据 经验

据迁移成本更低"的座右铭。HDFS同样遵循Apache许可。 HBase 当数据被汇总成一套规模庞大的列表时,HBase将负责对其进行保存、搜索并自动在不同节点之间共享该列表,从而保证Ma

jopen 2015-03-19   29675   0

云计算的核心技术 经验

Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。 BT(BigTable)数据管理技术:BigTable

jopen 2015-01-09   46200   0

构建大数据生态需要哪些核心技术? 经验

(如上图)这个存储实现框架的底层都是基于一些开源的技术,最底层是基于HDFS,数据库存储用的是HBase,数据仓库用的是Hive,图形数据库用的是开源的Titan。之所以用开源的Titan,原因在于其索引分析系统是Elastic

ozhc1633 2016-04-23   39175   0
P28

  大数据分析技术架构解决方案 文档

在最短的时间内形成最多样的模型大数据挖掘,速度快 10. 关系型数据库数据挖掘模型算法库/语义分析 Hbase/Hive/Hdfs 可视化数据 挖掘平台 多维自助分析调 度 管 理SQL接口 JDBC/ODBC内存计算服务

guet_lee 2017-01-12   2620   0

2004至今 微软开源大事记 资讯

Hadoop HBase 项目 Microsoft 收购了一个 San-Francisco 启动的 Powerset,对 Apache Hadoop 的 HBase 有重度依赖。Hbase 是一个开源的,使用

jopen 2016-04-17   18776   0
微软  

浅析Apache Storm 0.10.0-beta发布:剑指Heron 资讯

other Hadoop Projects (such as ZooKeeper, HDFS, HBase, etc.) User isolation (Storm topologies run as

jopen 2015-06-17   19186   0

饿了么分布式服务治理及优化经验 经验

,我们的 RPC 有两种:Thrift 和 JSON。Python 使用 Thrift,Java 使用 JSON。为什么 Java 框架重新选择一套 RPC 协议? 主要是觉得 Thrift 对 Java 不太友好。举个例子,用

Mal24L 2016-08-18   48427   0

RPC原理与实现 经验

。 我所使用过的一些跨语言平台 RPC 框架如 CORBAR、WebService、ICE、Thrift 均是此类方式。 代码生成的方式对跨语言平台 RPC 框架而言是必然的选择,而对于同一语言平台的

WendiStelze 2016-06-15   24622   0

一篇文看懂Hadoop:风雨十年,未来何去何从 资讯

现在Hadoop在一月发布了2.7.2的稳定版, 已经从 传统的Hadoop三驾马车HDFS,MapReduce和HBase社区发展为60多个相关组件组成的庞大生态 ,其中包含在各大发行版中的组件就有25个以上,包括数据存储、执行引擎、编程和数据访问框架等。

jopen 2016-03-10   25303   1
Hadoop  
1 2 3 4 5 6 7 8 9 10