私有云之迷思:未来是什么? 资讯

在许多情况下开源它们。这在很大程度上要归功于这些公司,使我们可以使用例如 Hadoop (和 Hive )、 Cassandra 、 Mesos 和 Kafka ,以及其它数十项重要开源技术。即使他们不总是很容易使用,但他们确实总是强大。

jopen 2015-05-12   17437   0

是什么使得容器扩容那么难? 资讯

些通常是做交互、对延迟敏感的例如面向终端用户的网络应用这样的任务;或者是底层的服务,类似于Cassandra, ArangoDB, HDFS, 或者 Quobyte。 2) 然后,就有一些批量任务

jopen 2015-11-16   8003   0
容器  

DCOS到底是啥?看完这篇你就懂了~ 资讯

phere DCOS在其公有仓库上已提供了40多种服务组件,比如Hadoop,Spark,Cassandra, Jenkins, Kafka, MemSQL等等。 浙江移动与天玑联合研发的DCOS 下图为该DCOS内部架构示意

jopen 2016-03-03   38387   0

Reddit如何使用Memcached来存储3TB的缓存数据 经验

读-改-写(read-modify-write) 的模式。例如,在用户新增一个评论时,他们会同时更新缓存和后端的数据库(Cassandra),而不是简单地让缓存失效,这样就避免了需要再次从数据库加载数据。 非缓存对象池 之

mgvf9874 2017-01-25   9113   0

用Spark进行大数据处理之机器学习篇 经验

5); 在终端显示推荐结果。 如果你想对输出的数据做进一步分析,你可以把预测的结果存储到Cassandra或者MongoDB等数据库。 7.使用到的技术 这里采用Java开发Spark MLli

co880591 2016-06-01   148422   0

从LinkedIn的数据处理机制学习数据架构 资讯

统之上: Lucene 索引 NoSQL 数据存储,例如:Voldemart、Redis、Cassandra、MongoDB 等。 对于用户的读操作,应该尽量从主可信源数据库系统创建索引或者基于 key-value

jopen 2014-06-05   9673   0

Strata+Hadoop World 2015见闻 资讯

大数据架构加强对NoSQL的支持 NoSQL在数据库领域的影响力日渐壮大,领头羊MongoDB、Cassandra和Redis已在DB-Engine的数据库排名上进入了前十。大数据架构、平台也都在越来越强化对于NoSQL数据库的支持。

n7w77 2015-03-19   20792   0
Hadoop  

Kubernetes -Mesos 0.7.0:Kubernetes向生产环境迈出的一大步 资讯

务都能够立即对当前可用资源加以利用,并以无缝化方式同Marathon任务、Spark任务、Cassandra数据库或者其它任何DCOS服务进行资源共享。 需要注意的是,由于目前Kubernetes

jopen 2015-12-06   17125   0

使用Thrift RPC编写程序 经验

由于thrift开源时间很早,经受了时间的验证,因而许多系统更愿意采用thrift,如Hadoop,Cassandra等。 附:thrift与protocal buffer比较 从上面的比较可以看出

jopen 2014-01-18   21186   0
P58

  互联网构架 文档

数据库Database:MySQL,Postgres,Oracle NoSQL:MongoDB,Cassandra 39. 数据库/存储结构 40. 数据库/分表 41. 数据库/分表http://blog

ncnf 2015-11-27   797   0
软件架构   方案   Apache   C#   C/C++  

你应该知道的大数据领域12大动向 经验

分布式查询引擎可以针对各个数据源运行交互式查询,包括Apache Hive、Apache Cassandra、 Hadoop分布式文件系统、关系数据库,甚至专有的数据存储系统。Teradata的Pre

axcu9192 2016-07-05   27761   0

用 Node + MySQL 处理 100G 数据 经验

。 大多数人认为,如果有数百万的数十亿行,他们应该使用一个 NoSQL 解决方案,如 Cassandra 或 Mongo。 不幸的是,这些解决方案不 符合ACID ,当数据一致性非常重要时,这些解决方案就难以使用。

GeoMosher 2017-06-11   89750   0

Opentack和私有云的困惑 资讯

在许多情况下开源它们。这在很大程度上要归功于这些公司,使我们可以使用例如Hadoop(和Hive),Cassandra,Mesos和kafka,以及其他数十项重要开源技术。即使他们不总是很容易使用,但他们确实总是强大。

y3c5 2015-05-11   18412   0

Spring Boot 1.3发布,包含DevTools和ASCII Art特性 资讯

之上添加一个图形化的界面。 一个很好的例子就是Spring Boot 1.3所提供的对Cassandra的支持,来自JHipster的代码也包含在了Spring Boot中。显然,我们需要删除掉所

jopen 2015-12-10   31344   0

开源大数据处理工具汇总(下) 经验

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

jopen 2016-01-05   77527   0
P48

  大数据(离线/实时)计算架构 文档

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase. Flume的简介 6. Flume常用架构之一

sum154346 2017-07-25   1698   0
P33

  Hadoop中HDFS源代码分析 文档

统中一致性问题,是Chubby的开源实现。 4. HBase:是一个开源的、基于列存储模型的分布式数据库,是Bigtable 的开源实现。HBase 使用HDFS 作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。

gps2012 2013-01-14   519   0

现实世界中哪些地方用到了Java? 资讯

Hadoop 以及其他大数据处理技术都是用 Java 或者其他,例如 Apache 的基于 Java 的 HBase 和 Accumulo 以及 ElasticSearchas。但是 Java 在此领域并未占太大空间,如

jopen 2014-12-10   23140   0
Java  

大数据存取的选择:行存储还是列存储? 资讯

不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase 采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。在这里,我不讨论这些

jopen 2012-07-02   15981   0

谈谈分布式计算的算子层 经验

achitecture里,Storm的定位在流式处理,而做类似ad-hoc的service layer是HBase。如果换做是我们目前的增量计算框架的愿景的话,我认为,流式和ad-hoc这层有望被增量计算引擎统一。为什么?

jopen 2015-01-16   18290   0
1 2 3 4 5 6 7 8 9 10