P26

  深入分析JavaI/O的工作机制 文档

这种组合方式用起来比较复杂,只有在一些非常复杂的分布式情况下使用,像集群之间的消息同步机制一般用这种 I/O 组合方式。如 Cassandra 的 Gossip 通信机制就是采用异步非阻塞的方式。 塞 它适合同时要传多份相同的数据到集

xue3633 2015-10-17   1856   0
P59

  Storm高级原语 文档

提供了功能来实现batch之间的聚合并可以将这些聚合的结果存储到内存、Memcached、Cassandra或者是一些其他的存储中。同时,Trident还提供了非常好的功能来查询实时状态,这些实时状态

nd7b 2015-12-09   1781   0

从业务驱动和技术实现角度谈腾讯大数据 资讯

离线计算平台和 TRC 实时计算平台。除了 TDW 和 TRC 两大基础平台,我们还有 tPG、HBase、Hermes 这些平台来满足业务多样化的数据处理需求。整个平台还包含统一的集成开发环境,用来进行

jopen 2014-11-25   33331   0

Flink 原理与实现:内存管理 经验

响。 所以目前,越来越多的大数据项目开始自己管理JVM内存了,像 Spark、Flink、HBase,为的就是获得像 C 一样的性能以及避免 OOM 的发生。本文将会讨论 Flink 是如何解决上

ui521q7p 2017-06-04   31952   0

基于 Node.js 的声明式可监控爬虫网络 经验

等离线或者流式计算引擎来处理海量数据,使用词嵌入、主题模型、LSTM 等等机器学习技术来分析文本,可以使用 HBase、ElasticSearch 来存储或者对文本建立索引。 笔者本意并非想重新造个轮子,不过在

WerPicton 2017-04-19   21081   0

构建大型云计算平台分布式技术的实践 经验

就是跑满的状态需要消耗6颗HT CPU,这一部分还有待优化。 另外,对于Hadoop、HBase、MongoDB这样本身已经考虑了3副本的系统,阿里云还提供了SATA本地磁盘和SSD本地磁盘的ECS,减少不必要的冗余以降低成本。

jopen 2014-07-29   42020   0

如何挑选合适的大数据或Hadoop平台? 经验

语言,可以方便地进行数据汇总,特定查询以及分析存放在Hadoop兼容文件系统中的大数据。 Hbase :一种分布的、可伸缩的、大数据储存库,支持随机、实时读/写访问。 Sqoop :为高效传输

jopen 2015-02-19   45764   0

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 经验

'/opt/hadoop/sbin/start-yarn.sh' 用浏览器访问 http://hbase84:8088 [X] 附录: [X] HA的问题: 大家都知道在hadoop2中对HDFS的改进很大

jopen 2015-01-08   56311   0

docker资源汇总 经验

build a data acqusition pipeline with kafka and hbase How to use MongoDB & NodeJS with Docker Wrapping

jopen 2015-09-24   75737   0
Docker  

专访阿里云高级专家赵林:从0到1,中间件的研发运维之路 经验

存储方式:对数据库类型的选择,是常见关系型数据库(如MySQL),还是NoSQL非关系型数据库(如HBase)?数据是否可以采用高压缩存储以降低存储成本?(如日志数据、历史数据、物联网数据等,便可以采用高

LorSantana 2016-07-06   37556   0

阿里巴巴73款开源产品全向图 经验

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 Reliable :Reliable

ZacheryWUN 2016-11-21   11229   0

使用微服务架构重构支付网关 经验

是前者。后者可以走elastic,确保数据库专用。风控,信用和统计所需要的数据,通过MQ同步到Hbase里面。作为支付系统最有价值的数据,在存储上做到专库专用,无可厚非,毕竟存储成本还是廉价的。 风控模块

gollyhu 2016-11-22   16345   0

Hadoop十岁!Doug Cutting成长史+他眼中大数据技术的未来 资讯

op之上也很快建立了其他项目,例如Apache Pig、Apache Hive、Apache HBase等等。同时,学术研究人员也开始使用Hadoop。这样就已经达到了我们最初设想的目标:即构建一个能

jopen 2016-02-15   25367   0
P40

  Zookeeper 介绍-v1.0 文档

Hadoop集群管理的一个必不可少的模块,它主要用来控制 集群中的数据,如它管理Hadoop集群中的NameNode,还有 Hbase中Master Election、Server 之间状态同步等。 Zoopkeeper提供了一套很好的分布式集群管理的机制

meigx_2013 2013-09-26   5677   0
P10

  Hadoop 知识总结(最终总结) 文档

2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。 · 2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。 · 2010年5月,IBM提供了基于Hadoop

sweetbaybe 2012-03-14   3088   0

MySQL在大型网站的应用架构演变 经验

这样才能推算出再哪个cluster进而进行查询,假设我需要按 username进行检索用户信息,需要引入额外的反向索引机制(类似HBASE二级索引),如在redis上存储 username->userid的映射,以username查询

jopen 2014-06-11   28090   0

创业型小公司如何做好日常的监控运维 经验

筋: 1.前公司用的是类opentsdb的系统,在使用便捷性和性能上没的说,但后端强依赖于hbase,对于我们并不合适。 2.当时也看了其他针对这种Time-series data的开源方案,目前其实没有什么特别好的方案。

jopen 2016-01-13   43129   0

服务化框架技术选型实践 经验

列化、调用压缩等 注册中心:Zookeeper,RPC框架直接接入数据源 监控中心:监控服务+HBase 管理平台:读取Zookeeper做管理平台,提供基本的上下线、黑白名单等功能 于2012年

zpxy2488 2017-02-08   8997   0

为什么Google用Apache Beam彻底替换掉MapReduce 经验

数据。分布式数据处理要处理的数据类型一般可以分为两类,有限的数据集和无限的数据流。有限的数据集,比如一个HDFS中的文件,一个HBase表等,特点是数据提前已经存在,一般也已经持久化,不会突然消失,不会再改变。而无限的数据流,比如k

专访阿里云高级专家赵林:从0到1,中间件的研发运维之路 经验

存储方式:对数据库类型的选择,是常见关系型数据库(如MySQL),还是NoSQL非关系型数据库(如HBase)?数据是否可以采用高压缩存储以降低存储成本?(如日志数据、历史数据、物联网数据等,便可以采用高

thirdsmile 2016-06-29   38643   0
1 2 3 4 5 6 7 8 9 10