Coursera数据工程师董飞:硅谷大数据的过去与未来 资讯

大致可以把大数据公司分成基础架构类和应用类,而底层都是会用到一些通用技术,如 Hadoop、Mahout、HBase、Cassandra 等等;在分析领域,Cloudera、Hortonworks、MapR 是 Hadoop

jopen 2015-01-27   53601   0

全方位对比Mesos、Omega和Borg 资讯

的系统,并且可以向他们的内部用户咆哮。他们的应用大致只分为两种优先级:高优先级的服务性作业(如HBase、web服务器、长住服务等)和低优先级的批处理作业(MapReduce和类似技术)。应用程序可以

jopen 2015-07-06   9823   0
Mesos  
P28

  基于协同过滤的商品推荐引擎 文档

syncTTHiveHadoop Map ReduceHadoop HDFSDatax报表需求Hbase即席查询(adhoc)数据分析数据产品底层平台数据开发平台数据应用商品推荐引擎并行挖掘Logdata

hellokitty 2013-01-18   868   0
方案   Apache   HTTP   SQL   Go  

Hadoop Outputformat浅析(转) 博客

索引。之后使用某个服务加载BerkeleyDB文件,可以提供低延滞的任意键查找。类似的系统还有HBase和Voldemort,它们可以存储Hadoop生成的键值数据。ElephantDB重点关注的是怎

cnzebra 2013-06-27   473   0

大数据架构和模式(五) - 对大数据问题应用解决方案模式并选择实现它的产品 经验

对于处理图像很有用。最广泛使用的技术是 JSON。经过预处理的数据随后被存储在结构化数据存储中,如 HBase。 此模式的核心组件是欺诈检测引擎,由高级分析功能构成,可以帮助预测欺诈。被明确定义并经常更

jopen 2015-02-01   26109   0

开源的系统管理资源集合 经验

NoSQL NoSQL databases. Column-Family Apache HBase - Hadoop database, a distributed, big data store

jopen 2014-06-29   84654   0

基于 Hive 的文件格式:RCFile 简介及其应用 经验

Writer和RecordReader即可。其中数据库格式也是会经常储存在Hadoop中,比如Hbase,Mysql,Cassandra,MongoDB。 这些格式一般是为了避免大量的数据移动和快速装

jopen 2014-06-18   75753   0

下一代分布式消息系统:Apache Kafka 经验

arrier)和锁存器(Latch)。许多知名且成功的项目依赖于 ZooKeeper,其中包括HBase、Hadoop 2.0、Solr Cloud、Neo4J、 Apache Blur (Incubating)和Accumulo。

jopen 2015-06-13   34066   0

在YARN上运行Spark 经验

run. Currently supported services are: hive , hbase 来自: http://www.cnblogs.com/yourarebest/p/5115512

jopen 2016-01-08   22741   0

MySQL在大型网站的应用架构演变 经验

r进而进行查询,假设我需要按UserName进行检索用户信息,需要引入额外的反向索引机制(类似HBase二级索引),如在Redis上存储username->userid的映射,以UserName查询的

MarianBilli 2016-01-22   18177   0

日处理20亿数据,实时用户行为服务系统架构实践 经验

。 MySQL: 作为基础系统,稳定性和性能也是系统的两大指标,对比NoSQL的主要选项,比如HBase和ElasticSearch,十亿数据级别上MySQL在这两方面有更好的表现,并且经过设计能够有不错的水平扩展能力。

AleCrist 2017-04-26   44193   0

2015年240个数据库引擎排名参考 资讯

68 13. 13. Teradata 关系型数据库 67. 05 -0.35 14. 15. HBase 列存储型数据库 53. 59 +2.51 15. 14. FileMaker 关系型数据库 51

jopen 2015-01-27   14055   0

云+微服务+新硬件:下一代大规模并行数据库架构风格 资讯

因此是要计算Hash的,有自 己的文件格式和压缩格式,不同节点的文件写到不同节点的目录中,类似Hbase那样。当然也有完整的统计信息,因此可以实现基于成本的SQL优化。它通过 HDFS的本地化机制部分

jopen 2015-07-16   30812   0
架构  

Apache Beam: 下一代的大数据处理标准 经验

数据。分布式数据处理要处理的数据类型一般可以分为两类,有限的数据集和无限的数据流。有限的数据集,比如一个HDFS中的文件,一个HBase表等,特点是数据提前已经存在,一般也已经持久化,不会突然消失。而无限的数据流,比如kafka中流过来的系统日志流,或是从twitter

MySQL 高可用架构在业务层面细化分析研究 经验

迁移到新的历史数据库上,这个历史数据库可以是mysql也可以是nosql,也可以是数据仓库甚至hbase大数据等。 实现途径是通过slave库查询出所有的数据,然后根据业务规则比如时间、某一个纬度

huanlian2175 2016-02-24   13223   0

Apache Beam的前世今生 经验

分布式数据处理要处理的数据类型一般可以分为两类,有限的数据集和无限的数据流。有限的数据集,比如一个HDFS中的文件,一个HBase表等,特点是数据提前已经存在,一般也已经持久化,不会突然消失,不会再改变。而无限的数据流,比如k

fangfang27 2017-02-05   14266   0

2014 年年度最受欢迎数据库管理系统 - MongoDB 资讯

13. Teradata Relational DBMS 67.05 -0.35 14. 15. HBase Wide column store 53.59 +2.51 15. 14. FileMaker

jopen 2015-01-07   39331   0
MongoDB  

写给那些傻傻的,想做服务器开发的应届生 资讯

服务器端开发经过多年的发展,对于海量数据的处理早有了很多固定的解决方案。不管是用云服务,还是用 Hbase ,你都可以很轻松地依赖开源库,解决海量数据的存储问题。 还有一些同学想做大数据分析,如果你写过

jopen 2015-10-15   27047   1

专访韩卿:Kylin是如何成为Apache顶级项目的? 资讯

品,项目及公司进行合作的方向。比如在前端展现方面和Tableau进行充分合作,在存储方面依靠HBase等。Apache Kylin的生态圈图从第一版到现在没有太多的变化,只是增加了更多的朋友,例如Apache

jopen 2015-12-09   32006   0
Kylin  

云时代的分布式数据库:阿里分布式数据库服务 DRDS 资讯

那么对 于业务将会是毁灭性的打击。 伴随着这种对于系统性能、成本以及扩展性的新需要,以HBase、MongoDB为代表的NoSQL数据库和以阿里DRDS、VoltDB、ScaleBase为代表

jopen 2015-07-16   26158   0
DRDS  
1 2 3 4 5 6 7 8 9 10