消息总线重构之简化客户端 经验

RPC从后端获取授权信息,而让后端去跟pubsuber交互。之前就曾有过 这个想法,后来在使用HBase时,发现其java client内部也有通过RPC跟Master节点交互,于是这次就确定用这种方

jopen 2015-11-01   12019   0

浅谈Spark应用程序的性能调优 经验

默认值是3s。 除了HDFS,Spark能够支持的数据源越来越多,如Cassandra, HBase,MongoDB等知名的NoSQL数据库,随着Elasticsearch的日渐兴起,spark和

jopen 2016-01-19   22460   0

大数据和区块链之间的比较分析 经验

储技术提出的另一个挑战是多种数据格式的适应能力,因此现在大数据底层的存储层不只是HDFS,还有HBase和Kudu等存储架构。 区块链,是比特币的底层技术架构,它在本质上是一种去中心化的分布式账本

avalon6884 2017-03-08   40607   0

MongoDB的正确使用姿势 经验

目前开源数据库众多,大家可选的余地很大,就会出现这样的问题:MySQL、MongoDB、Redis、Hbase等这些数据库哪个更好?其实这是一个伪命题,脱离了具体的业务场景来讨论好坏是纸上谈兵,没有最好的,

kvsh8744 2016-12-12   35641   0

52 个有用的机器学习与预测接口盘点 经验

能够通过预测分析与大数据技术提供市场营销的效用与收益。 PredictionIO : 基于 Apache Spark、HBase 以及 Spray 这些著名的开源项目搭建的开源机器学习服务。典型的 API 包括了创建与管理用

zsw19923 2017-03-05   15954   0

Redis 集群方案介绍了 经验

emproxy的缺点。 ZooKeeper:分布式的、开源的应用程序协调服务,是Hadoop和Hbase的重要组件,其为分布式应用提供一致性服务,提供的功能包括:配置维护、名字服务、分布式同步、组服务

520300 2016-06-09   29384   0

分布式存储系统事务时序 经验

系统 (Oracle,MySQL,OceanBase,Spanner,CockRoachDB,HBase)几乎无一例外的使用MVCC技术来达到这个目的。说白了,就是数据有多个版本,每次写产生新的更大的

yne7 2015-03-30   17517   0

优秀大数据GitHub项目一览 资讯

doop YARN、EC2和Apache Mesos。Apache Spark也能从Hive、HBase、Tachyon、Cassandra和HDFS等数据源读取数据。 Apache Spark GitHub地址:

jopen 2016-01-18   31229   0

关于知识管理和语义搜索的一些思考 经验

驱的失败,我的感觉还是他们想做的事情太大,超越了时代。比如Powerset为了搞语义,先发明了HBase,但是语义分析速度实在是太慢。被微软收购后,很长一段时间里Powerset其实是被抛弃了,没法满足微软要求的规模。还是要

jopen 2015-03-04   25356   0

Hadoop 中利用 mapreduce 读写 mysql 数据 经验

数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些是 hbase 或者 hive 目前亟待改进的地方。 好了言归正传,简单的说说背景、原理以及需要注意的地方:

jopen 2013-07-29   35351   0

关系型数据库和NoSQL数据库 经验

。 不需要定义表结构 可以利用复杂的查询条件 面向列的数据库 Cassandra、Hbase、HyperTable属于这种类型。由于近年来数据量出现爆发性增长,这种类型的NoSQL数据库尤其引人注目。

jopen 2014-03-11   32210   0

在大规模系统中使用Scala 经验

它数据库所不支持的,也很难对其进行改进。主流的TSDB都是在其它数据库系统的基础上创建的(例如HBase),它们的复杂性已经超出了我们的用例的需求。通过使用一种更简化的、量身订做的存储机制,并利用分布

jopen 2015-06-16   65458   0

nginx+tomcat+memcached负载均衡集群搭建详细笔记(下) 经验

export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$PATH export CATALINA_H

jopen 2015-06-24   131109   0

Hadoop中新型大数据查询引擎:Apache Calcite 经验

同时,Calcite也不涉及物理规划层,它通过扩展适配器来连接多种后端的数据源和处理引擎,如Spark、Splunk、HBase、Cassandra或者MangoDB。简单的说,这种架构就是“一种查询引擎, 连接多种前端和后端

jopen 2015-09-17   48869   0

不同的瑞士军刀:对比 Spark 和 MapReduce 经验

像是最终的赢家,问题在于我们永远不会单独使用它—我们需要 HDFS 存储数据,或许还会需要用到 HBase,Hive,Pig,Impala 或其他 Hadoop 项目。这意味着在处理非常大的数据的时候,Spark

jopen 2016-01-14   21447   0

0x0F 大数据职位,数据场技能(下) 经验

扩展的,还会有内存型数据库Redis,图数据库Neo4j,还有全文索引的ElasticSearch和Solr,还有Hbase和Cassandra,这些根据具体的业务,选择性的掌握其中一部分。 学到什么程度并无定论,重

ersm3365 2016-01-29   41293   0

SparkSQL-从DataFrame说起 经验

够及时记录下来,以免遗忘!另外,不可避免会有一些纰漏,还忘客官能够批判性阅读,讨论交流!当然,HBase相关博客还会继续更新; SparkSQL 历史回顾 对SparkSQL了解的童鞋或多或少听说

MarthaRagan 2017-02-16   27679   0

携程实时用户行为系统实践 经验

MySQL: 作为基础系统,稳定性和性能也是系统的两大指标,对比nosql的主要选项,比如hbase和elasticsearch,十亿数据级别上mysql在这两方面有更好的表现,并且经过设计能够有不错的水平扩展能力。

guananfang 2017-04-13   31000   0

11月数据库管理系统流行程度排行榜 资讯

Memcached Key-value store 28.50 +0.38 16. 16. HBase Wide column store 27.58 -0.74 17. 15. Informix Relational

jopen 2013-11-11   20207   0

彦伟:京东实时数据平台架构设计与实现思路 资讯

如下几个问题: 异构数据源适配(要支持MySQL、SQLServer、Oracle、Hive、Hbase、文件MongoDB等之间相互数据搬运),各种数据库日志 协议的解析,格式的统一,分表数据的合并

jopen 2015-12-18   33498   0
架构  
1 2 3 4 5 6 7 8 9 10