Docker资源汇总 经验

build a data acqusition pipeline with kafka and hbase How to use MongoDB & NodeJS with Docker Wrapping

jopen 2015-03-09   147907   0
Docker  

Storm笔记 经验

比如External目录里的一堆, storm-contrib 里也有一堆,目前支持Jdbc,Redis,HBase,HDFS,Hive,甚至还有 Esper ,目标都是通过配置(比如SQL及Input/Output

jopen 2015-03-29   37998   0

Zookeeper简单概念介绍 经验

他释放了,其他人才有机会争取。 Zookeeper目前的应用已经很广泛,例如Apache HBase、Apache Kaflka、Apache Solr等,当我们的程序用zookeeper来协调管

jopen 2016-01-17   8581   0

Apache Spark介绍及案例展示 经验

较好地整合了Hadoop生态系统和数据储存系统(HDFS, Amazon S3, HIVE, HBase, Cassandra等) 既可以在Hadoop YARN或者Apache Mesos等集群上运行,也可以单机运行。

Ros62P 2016-02-02   54213   0
P58

  大数据的十个技术前沿 文档

数据的安全26静态数据安全 加密:HADOOP-10150 访问控制:Apache Accumulo,Hbase 动态数据安全 动态审计能力:数据泄露防护(Data Leakage Prevention) 数据脱敏/匿名化

cpp45 2015-01-18   4260   0
P13

  Hadoop:分布式大数据处理架构 文档

任务,例如:Apache Mahout、Flume、Sqoop、Pig、Oozie、Hive、HBase、ZooKeeper、Whirr等。同时Cloudera也是目前最大的提供企业Hadoop技术支

xcxc 2015-08-24   614   0
P6

  关系型数据库和NoSQL数据库 文档

库。  · 不需要定义表结构 · 可以利用复杂的查询条件 面向列的数据库 Cassandra、Hbase、HyperTable属于这种类型。由于近年来数据量出现爆发性增长,这种类型的NoSQL数据库尤其引人注目。 

353174268 2014-11-23   586   0
SQL  

豌豆荚邓草原:如何实现实时响应式平台 经验

社区对性能进行更多的剖析,以了解和解决实际应用中的性能瓶颈。 持久化的最佳实践指引。我们也在尝试各种持久化技术,包括 HBase 和 Cassandra 等等,想好好了解对于 Journal Store 和 Snapshot

jopen 2014-12-08   32170   0

消息总线重构之简化客户端 经验

RPC从后端获取授权信息,而让后端去跟pubsuber交互。之前就曾有过 这个想法,后来在使用HBase时,发现其java client内部也有通过RPC跟Master节点交互,于是这次就确定用这种方

jopen 2015-11-01   12019   0

浅谈Spark应用程序的性能调优 经验

默认值是3s。 除了HDFS,Spark能够支持的数据源越来越多,如Cassandra, HBase,MongoDB等知名的NoSQL数据库,随着Elasticsearch的日渐兴起,spark和

jopen 2016-01-19   22460   0

大数据和区块链之间的比较分析 经验

储技术提出的另一个挑战是多种数据格式的适应能力,因此现在大数据底层的存储层不只是HDFS,还有HBase和Kudu等存储架构。 区块链,是比特币的底层技术架构,它在本质上是一种去中心化的分布式账本

avalon6884 2017-03-08   40607   0

MongoDB的正确使用姿势 经验

目前开源数据库众多,大家可选的余地很大,就会出现这样的问题:MySQL、MongoDB、Redis、Hbase等这些数据库哪个更好?其实这是一个伪命题,脱离了具体的业务场景来讨论好坏是纸上谈兵,没有最好的,

kvsh8744 2016-12-12   35641   0

52 个有用的机器学习与预测接口盘点 经验

能够通过预测分析与大数据技术提供市场营销的效用与收益。 PredictionIO : 基于 Apache Spark、HBase 以及 Spray 这些著名的开源项目搭建的开源机器学习服务。典型的 API 包括了创建与管理用

zsw19923 2017-03-05   15954   0

Redis 集群方案介绍了 经验

emproxy的缺点。 ZooKeeper:分布式的、开源的应用程序协调服务,是Hadoop和Hbase的重要组件,其为分布式应用提供一致性服务,提供的功能包括:配置维护、名字服务、分布式同步、组服务

520300 2016-06-09   29384   0

分布式存储系统事务时序 经验

系统 (Oracle,MySQL,OceanBase,Spanner,CockRoachDB,HBase)几乎无一例外的使用MVCC技术来达到这个目的。说白了,就是数据有多个版本,每次写产生新的更大的

yne7 2015-03-30   17517   0

优秀大数据GitHub项目一览 资讯

doop YARN、EC2和Apache Mesos。Apache Spark也能从Hive、HBase、Tachyon、Cassandra和HDFS等数据源读取数据。 Apache Spark GitHub地址:

jopen 2016-01-18   31229   0

关于知识管理和语义搜索的一些思考 经验

驱的失败,我的感觉还是他们想做的事情太大,超越了时代。比如Powerset为了搞语义,先发明了HBase,但是语义分析速度实在是太慢。被微软收购后,很长一段时间里Powerset其实是被抛弃了,没法满足微软要求的规模。还是要

jopen 2015-03-04   25356   0

Hadoop 中利用 mapreduce 读写 mysql 数据 经验

数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些是 hbase 或者 hive 目前亟待改进的地方。 好了言归正传,简单的说说背景、原理以及需要注意的地方:

jopen 2013-07-29   35351   0

关系型数据库和NoSQL数据库 经验

。 不需要定义表结构 可以利用复杂的查询条件 面向列的数据库 Cassandra、Hbase、HyperTable属于这种类型。由于近年来数据量出现爆发性增长,这种类型的NoSQL数据库尤其引人注目。

jopen 2014-03-11   32210   0

在大规模系统中使用Scala 经验

它数据库所不支持的,也很难对其进行改进。主流的TSDB都是在其它数据库系统的基础上创建的(例如HBase),它们的复杂性已经超出了我们的用例的需求。通过使用一种更简化的、量身订做的存储机制,并利用分布

jopen 2015-06-16   65458   0
1 2 3 4 5 6 7 8 9 10