开源分布式存储系统:katta 经验

servers very similar to Hadoop MapReduce, Hadoop DFS, HBase, Bigtable or Hypertable Overview master负责管理节点

jopen 2014-05-20   19271   0

时间戳服务器:XiaoMi Chronos 经验

failover也能保证服务的正确性。 原理 Chronos依赖ZooKeeper实现与HBase类 似的Leader Election机制,ChronosServer启动时将自己的信息写到Zo

jopen 2014-06-27   12313   0
Chronos  

Apache Kylin (Incubating) 0.7.1 发布 资讯

[KYLIN-168] 支持多个ZooKeeper 2. [KYLIN-217] 改进并增强了HBase Coprocessor的使用 3. [KYLIN-563] 提供了启动和停止脚本 4.

jopen 2015-06-14   12337   0

Aragog:Pinterest的爬虫框架 资讯

考虑到URL元数据访问要求低延迟,而URL入链/出链非常适合用图模型表示,他们选择使用 Zen (基于Hbase)作为底层存储系统。Zen是Pinterest的图存储服务,允许定义节点及连接这些节点的边。Ze

jopen 2015-11-30   10609   0
Aragog  

Apache Storm v1.0.2发布,一个分布式实时计算系统 资讯

blobstore to command-line-client.md STORM-1899: Release HBase connection when topology shutdown STORM-1844: Some

jopen 2016-08-10   22866   0

IT屌丝如何成为数据科学家? 资讯

Hadoop 开发者,你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉 Pig、Hive、HBase 并有丰富的 Java 经验。 第一步,你需要深入了解机器学习和统计,以及这些算法面向大数据集的高效实现方法。Mahout

jopen 2013-09-26   22708   0

2014 年八大最热门的大数据工作 资讯

断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如 Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。

jopen 2014-01-16   13983   0
P13

  Hadoop 介绍与实践 文档

Hadoop是由Apache软件基金会支持; Hadoop中的MapReduce,HDFS,HBASE是基于Google发布的MapReduce,GFS,Bigtable设计实现; 2004年,最初版本的由

szx85307 2012-05-28   622   0

大数据架构和模式(四) - 了解用于大数据解决方案的原子模式和复合模式 经验

BigInsights 等工具提供了这类功能。这些工具访问存储在大数据存储系统(比如 BigTable、HBase,等等)中的非结构化数据和结构化数据(例如,JSON 数据)。 预处理原始数据模式 大数据解决方案主要由基于

jopen 2015-02-01   27853   0

Docker发布编排工具包 资讯

Swarm应用以及其它应用,那就只能选择Mesosphere的技术。例如,你可以在一台Mesosphere集群上相互运行Cassandra、 Kafka、Storm、Hadoop和Docker Swarm应用,他们都共享相同的资源

jopen 2015-02-28   11459   0
Docker  

Node.js ORM 数据操作中间件 Waterline 经验

Oracle / SQL Server / OrientDB / ArangoDB / Apache Cassandra 的支持 基本上实现了对主流数据库的支持。 配置中的适配器与连接 Waterline

jopen 2015-10-28   16089   0

使用Akka、Kafka和ElasticSearch等构建分析引擎 经验

,可以提供全文检索功能。尽管我们也把它当成数据存储来用,但数据持久化并不是它的强项(比如与Cassandra相比)。 Kafka非常适合于流处理和日志汇聚。它的架构设计就已经支持可扩展、分布式、容错等功能。

开源ETL工具:Kettle 经验

PostgreSQL Bulk Loader 支持分区表和集群 支持大数据对接 Avro Input Cassandra Input & Kettle作业功能介绍 可以执行操作系统命令和操作: Ping 主机

jopen 2014-12-03   149357   0

Meson:支持Netflix的机器学习工作流 经验

Submit Step, Hive Query Step、Netflix的微服务或者其它像Cassandra的系统。 Artifacts 在Meson里,工作流的每步输出都作为“一等公民”对待

Scala开发资源集合:Awesome Scala 经验

Phantom — Async type safe Scala DSL for Apache Cassandra. ReactiveCouchbase — Reactive Scala Driver for

jopen 2014-10-11   83020   0

Pivotal Cloud Foundry 支持 Docker/Netflix OSS 服务 资讯

态、以及其它的支持如启动它们、拥有Docker的编排和管理。举例来说,是不可以部署官方的 Cassandra Docker镜像 的,也无法做到开发者绑定的应用作为一个服务抛给PCF。相反,Pivota

jopen 2015-11-09   22337   0
Docker  

想使用 MongoDB ,你应该了解这8个方面! 资讯

会授予写锁,所以如果写锁发生的过于频繁,那么你应用的性能出现文件也就不奇怪了。当然如果你的应用中真的有大量的写操作,可以考虑 Cassandra 数据库。 6,复制集 MongoDB 复制集通过将数据部署在多个不同的服务器上,防止因

jopen 2016-02-29   20977   0

MySQL 作为新的 NoSQL 解决方案: 轻松应对亿级数据 经验

近年来,NoSQL引擎已成为主流。许多开发者将NoSQL引擎(包括: MongoDB, Cassandra, Redis, 和 Hadoop等)视为最优解,同时不赞成使用旧的 SQL 引擎。 选择NoSQL数据库通常是因为炒作

ArletteIsab 2016-02-18   23144   0

用Apache Kafka构建流数据平台的建议 经验

明确语义:模式中每个字段的doc属性明确定义了字段的语义。 兼容性:模式处理数据格式变化,使像Hadoop或Cassandra这样的系统可以跟踪上游数据变化,只将有变化的数据传给它们自己的存储,而不必进行重新处理。 减

yne7 2015-03-30   20451   0

通过Mesos、Docker和Go,使用300行代码创建一个分布式系统 经验

文件系统(HDFS)来达到高吞吐量。 在之前,每一个新的分布式系统,例如Hadoop和Cassandra,都需要构建自己的底层架构,包括消息处理、存储、网络、容错性和可伸缩性。庆幸的是,像Apac

pm45e 2015-08-03   18827   0
1 2 3 4 5 6 7 8 9 10