GitHub上整理的一些资料 经验

Hadoop:分布式的文件系统,结合其MapReduce编程模型可以用来做海量数据的批处理(Hive,Pig,HBase啥的就不说了),值得介绍的是Cloudera的Hadoop分支CDH5,基于YARN MRv2集

jopen 2014-11-25   115612   0
Github  

100 个最好推荐系统视频 经验

System at Scale Using HBase and Hadoop Recommender System at Scale Using HBase and Hadoop Recommender

jopen 2014-11-01   70088   0

后Hadoop时代的大数据架构 经验

用该语言,可以方便地进行数据汇总,特定查询以及分析存放在Hadoop兼容文件系统中的大数据。 Hbase :一种分布的、可伸缩的、大数据储存库,支持随机、实时读/写访问。 Sqoop :为高效传输批量

b77m 2015-04-22   140189   0

美团推荐算法实践:机器学习重排序模型成亮点 经验

方法对模型进行在线更新。 主要的步骤如下: 在线写特征向量到HBase Storm解析实时点击和下单日志流,改写HBase中对应特征向量的label 通过FTRL更新模型权重 将新的模型参数应用于线上

jopen 2015-01-31   22327   0
P61

  Hadoop分享 文档

ch项目中分离出来的专门负责分布式存储以及分布式运算的项目。 由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。

jphnny 2016-06-28   640   0
P33

  “大型”网站技术架构探讨 文档

此算法。 Key-Value DB,也作为NoSQL解决方案,如:BigTable\Tair\Hbase\ HyperTable等 提供完整解决方案: Google(GFS|Map/Reduce|BigTable)

zhangyy130 2011-10-20   9511   0
前端技术   方案   Apache   Go   Basic  
P65

  大型网站建设架构设计与实践-探讨 文档

此算法。 Key-Value DB,也作为NoSQL解决方案,如:BigTable\Tair\Hbase\ HyperTable等 提供完整解决方案: Google(GFS|Map/Reduce|BigTable)

cndkei 2016-02-08   665   0
P64

  大数据智能分析解决方案介绍-ibm 文档

实时性、多种数据源要形成统一视图 19. (本页无文本内容) 20. IBM大数据平台优势1-高性能国内运营商进行的基于Hbase的数据查询测试,取得3~15倍的性能优势 国内运营商进行的基于Hive的数据分析测试,取得9~11倍的性能优势

guet_lee 2017-01-15   10670   0

NoSQL 数据建模技术 经验

Coherence, Redis, Kyoto Cabinet 类BigTable存储: Apache HBase, Apache Cassandra 文档数据库: MongoDB, CouchDB 全文索引:

jopen 2013-05-15   33442   0

大数据相关技术、Hadoop生态、LinkedIn内部实战 经验

Data公司列表,我们大致可以分成基础架构和应用,而底层都是会用到一些通用技术,如Hadoop,Mahout,HBase,Cassandra,我在下面也会涵盖。我可以举几个例子, 在 分析这一块,cloudera,h

jopen 2015-01-26   192894   0
P15

  基于Hadoop的研究及性能分析 文档

接口。Hadoop 括许多子项目,如HDFS、HBase、 MapRedeuce等。其中分布式文件系统(HDFS)主要是用来存储非结构化数掘的;HBase用来存储海量半结构化数据的; MapReduc

mn6e 2015-05-25   2824   0

NoSQL 数据建模技术 经验

Coherence, Redis, Kyoto Cabinet 类BigTable存储: Apache HBase, Apache Cassandra 文档数据库: MongoDB, CouchDB 全文索引:

fmms 2012-05-14   92768   0

讲给硅谷创业者的大数据精华集合 经验

我们大致可以分成基础架构和应用,而底层都是会用到一些通用技术,如 Hadoop,Mahout,HBase,Cassandra,我在下面也会涵盖。我可以举几个例子,在分析这一 块,cloudera,ho

jopen 2015-01-25   84829   0
P84

  Hahoop 实战培训 文档

华为:云计算平台 Facebook:日志存储,实时分析 某公安部项目:网民QQ聊天记录与关联人调查系统,使用Hbase实现 某学校:学生上网与社会行为分析,使用hadoop 淘宝、阿里:国内使用Hadoop最深入的

will_132 2013-11-20   2317   0
P69

  大数据技术平台调研报告 文档

第 页 共 5 页 密级 机密 WJRJ-000053-1101XQ 4.1.3.7 HBase HBase 是一个有趣的项目,因为它在 HDFS 之上提供了 NoSQL 数据库功能。它同时是一个面

dszhao 2017-03-22   3018   0

开源大数据处理工具汇总(下) 经验

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

jopen 2016-01-05   77527   0
P48

  大数据(离线/实时)计算架构 文档

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase. Flume的简介 6. Flume常用架构之一

sum154346 2017-07-25   1698   0
P33

  Hadoop中HDFS源代码分析 文档

统中一致性问题,是Chubby的开源实现。 4. HBase:是一个开源的、基于列存储模型的分布式数据库,是Bigtable 的开源实现。HBase 使用HDFS 作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。

gps2012 2013-01-14   519   0

盘点2014:十家最酷的大数据创业公司 资讯

、定制化的内容和相关搜索结果。该平台基于一组开源 Apache 技术,其中包括 Hadoop、HBase 和 Cassandra,也包括用于实时收集、分析、服务数据的 Kiji 开源框架。年初该公司发布了

jopen 2014-12-25   21239   0

现实世界中哪些地方用到了Java? 资讯

Hadoop 以及其他大数据处理技术都是用 Java 或者其他,例如 Apache 的基于 Java 的 HBase 和 Accumulo 以及 ElasticSearchas。但是 Java 在此领域并未占太大空间,如

jopen 2014-12-10   23140   0
Java  
1 2 3 4 5 6 7 8 9 10