深入浅出解析大数据平台架构 经验

目录: 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式……”。

jopen 2014-12-12   66149   0

HadoopDoctor:来自腾讯数据仓库TDW的MR诊断系统 经验

TDW是基于Hadoop生态圈研发的大数据处理平台,MapReduce计算 引擎在TDW平台中承担了所有的离线数据计算,是TDW最重要的底层支撑平台之一。在TDW 平台中,除了MR程序会生成MapRe

jopen 2014-11-23   14690   0

360 开源 XDML,超大规模数据与超高维特征机器学习计算平台 资讯

难以处理超高维稀疏数据,超规模参数调优难度很大; 目前业界实现的机器学习平台都有各种各样的问题,例如和 Hadoop 生态圈衔接较差,无法很好的与其衔接起来。这些问题一直阻碍着开发者的前行,亟需解决。 针对超大规模机器学习的场景,360

jopen 2018-12-29   9716   0

Hive HWI 安装及配置 经验

war放到hive-lib目录下即可启动hwi服务: hiveLogPath='/var/log/hadoop/hive' HIVE_HOME='/usr/local/hive' mkdir -p $hiveLogPath

jopen 2015-06-04   75925   0

多图技术贴:深入浅出解析大数据平台架构 经验

目录: 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式……”。

jopen 2015-03-11   33285   0

开源大数据分析工具! 经验

工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后,分析即可开始。 2. Hadoop 大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群

aangman6203 2017-08-09   16688   0

Hive未来两年的路线图 资讯

Hive是一个基于Hadoop的数据仓库平台,它是 SQL-on-Hadoop 框架的代表项目。但是它在处理交互式查询的速度一直不够快。今年4月, Hortonworks完成了Stinger项目的目标

jopen 2014-09-14   10444   0
Hive  
P18

  深入浅出解析大数据平台架构 文档

目录: · 什么是大数据 · Hadoop介绍-HDFS、MR、Hbase · 大数据平台应用举例-腾讯 · 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大

guet_lee 2017-01-12   1828   0

2014年排名前10位的开源项目 资讯

popular web apps . Apache Hadoop framework for big data "Apache Hadoop is an open source software

jopen 2015-01-26   12229   0

利用Facebook开源项目来赚钱不再只是梦 资讯

得到了外部公司的支持,其中就包括:Airbnb,Dropbox 和 Netflix。 像 Hadoop 这样新的大数据工具让公司比较廉价而高效地存储和分析海量数据。但是他们最终要求严格编程来分开使

dy223 2015-03-26   12276   0

一分钟了解Storm 经验

过去的数十年中,数据处理领域有着重大的变革。MapReduce和Hadoop以及相关技术使得存储和处理过去无法想象的规模的数据。不幸的是,这些数据处理技术并不是实时性的,也没有把Hadoop改造成实时数据处理的系统;实时数据处理相对于普通的批处理有基本的不同和需求。

jopen 2015-09-21   8016   0

十一个开源云计算资源推荐 博客

Cloudera 开源Hadoop软件框架是一个基于集群的框架,灵活地实现了大规模数据的查询等任务,也因此,在云计算部署中的应用越来越广泛。Apache 基金会对Hadoop予以了很高的评价,而且,

quguiliang 2011-03-10   1338   0

Facebook架构解读 经验

。 用MySQL、Memcached[5]、Hadoop’s HBase[6]实现持久化;用Memcached作为MySQL缓存与通用缓存。 用Hadoop和Hive实现离线处理。 类似日志、链接与f

jopen 2016-01-19   25626   0

总结2014年10个最好的开源项目 资讯

popular web apps . Apache Hadoop framework for big data "Apache Hadoop is an open source software

jopen 2014-12-17   20297   0

改变世界的七个Java项目 资讯

开发的质量。 Hadoop 这个著名的 MapReduce 模型是用 Java 实现的,它是驱动大多数“大数据”系统的源动力。由于可以降低从大数据中抽取有价值的数据的成本,Hadoop 已经被广泛使用。很多像

jopen 2014-03-11   15205   0
Java  

从数据仓库系统对比看Hive发展前景 资讯

这样的分布式框架,简化了并行程序的开发,提供了水平扩展和容错能力。 虽然 MapReduce(Hadoop)的应用非常广泛,但这类框架暴露出来的编程接口仍然比较低级,编写复杂处理程序或 Ad-hoc

jopen 2012-05-30   18467   0
Hive  

MySQL的备份与恢复 经验

数据库名称为datacrawldb,数据库存储引擎为MyISAM。数据库运行在本地上,备份数据存储在主机名称为hadoop00的服务器上。 备份方案:周一到周日每天凌晨1:30实现一次物理备份,周日凌晨2:30实现一

jopen 2014-07-30   16892   0

含 Apache Spark 的 Lambda 架构 经验

洁干净,而且附上直接明了的实例! Apache Hadoop: 简要历史 Apache Hadoop的丰富历史开始于大约2002年。Hadoop是Doug Cutting创立的, 他也是Apache

wwang1969 2016-11-10   10257   0
P6

  hbase获取不同版本 文档

HBase import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

acmers2008 2016-10-20   4550   0

MySQL的备份与恢复 经验

数据库名称为datacrawl,数据库存储引擎为MyISAM。数据库运行在本地上,备份数据存储在主机名称为hadoop00的服务器上。 备份方案:周一到周日每天凌晨1:30实现一次物理备份,周日凌晨2:30实现一

jopen 2013-10-19   49279   0
1 2 3 4 5 6 7 8 9 10