P60

  以MongoDB为主的NoSQL调研 文档

当前有几十种nosql数据库产品。根据数据的存储模型和特点分为很多种类。 从存储模型上,大体划分 类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 是按列存储数据的。最大的特点是方便存储结构化和半结构

oracleyyc 2013-05-28   2306   0

大象的崛起!Hadoop七年发展风雨录 资讯

2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。 2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。 2010年5月,IBM提供了基于Hadoop

fmms 2011-09-11   30305   4

2015年大数据顶尖职位必备的9项技能 资讯

(例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN) 的技术人员在职场上的需求将越来越大。 2. Apache Spark

jopen 2015-09-02   28240   0
P11

  hadoop入门教程 文档

javascript  helloworld hadoop mapreduce java hadoop hbase  当出现org.apache.hadoop.hdfs.server.namenode.SafeModeException:

peixy 2016-11-03   551   0

Apache Crunch:简化MapReduce编程的Java库 经验

定制的类型系统,非常灵活,能够直接处理复杂数据类型,如时间序列、 HDF5文件、Apache HBase表和序列化对象(像protocol buffer或 Avro 记录)等。 Crunch并不想阻止

jopen 2013-07-18   18336   0

Presto架构及原理 经验

除了我们主要使用的Hive/HDFS后台系统之外, 我们也开发了一些连接其他系统的Presto 连接器,包括HBase,Scribe和定制开发的系统 插件结构图如下: presto执行过程 执行过程示意图:

wdsu5225 2016-11-07   13540   0

呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性? 经验

isolation以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBase和Spark时,很容易产生冲突。(https://issues.apache.org/jira/

zfb1226 2016-06-02   26655   0
P30

  Hadoop 淘宝方案 文档

分布式文件系统HDFS MapReduce框架 并行数据分析语言Pig 列存储NoSQL数据库 Hbase 分布式协调器Zookeeper 数据仓库Hive(使用SQL) Hadoop日志分析工具ChukwaHadoop生态系统

qsf113 2012-05-09   664   0
P34

  从“被虐”到“落地” - 明略大数据产品演进实践 文档

的知识 7. 目录WHY大数据落地被虐实例如何应对案例分享 8. 信心爆棚的进击Hadoop HBase Spark Storm Impala ML 9. 很快感受到森森的恶意 10. 丰富的数据源 11

w327 2015-05-25   473   0

Apache Flink :回顾2015,展望2016 资讯

lookout to 2016 译者:郭亚和,从事大数据(spart/storm/hadoop/hbase)相关运维、分析等工作。 来自: http://www.iteye.com/news/31347

jopen 2016-02-16   8882   0

《Hadoop基础教程》之初识Hadoop 经验

uce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如 HBase、Hive等,这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop,就必须知道HDFS和MapReduce是什么。

jopen 2015-01-12   27646   0

大数据与Hadoop之间是什么关系? 经验

软件架构,在这个架构下组织的成员HDFS(Hadoop分布式文件系统),MapReduce、 Hbase 、Zookeeper(一个针对大型分布式系统的可靠协调系统),hive(基于Hadoop的一个数据仓库工具)等。

pm45e 2015-08-03   32007   0

封仲淹:Storm 2.0将会基于JStorm,阿里巴巴全程参与 资讯

he在整个开源界都举足轻重, 像我们熟知的Tomcat、HTTP Server、Hadoop、HBase、ZooKeeper、Hive等等, 太多大家熟悉的顶级项目。可以这样说,如果没有Apache基

jopen 2015-11-25   16445   0
JStorm  

读写分离和横向扩容那些事 经验

品中,这个后端服务其实叫数据链路处理服务。主要执行类似ETL一类的工作,进行规整化后存入索引,HBase,Redis等存储器中。 好处是什么 读写分离是能横向扩容的基础 其实读写分离本质上是模块化,系统解耦

jopen 2015-04-27   16407   0
分离  

如何让Hadoop支持优先级且性能可预测 经验

让我们通过图1展示的3个节点简单集群来研究这个问题。这个例子中,队列中有两个任务准备由YARN资源管理器调度。资源管理器决定对HBase流关键业务和低优先级ETL任务在集群上同时运行,并对它们进行调度执行。 图2展示了没有Q

LukeOlivare 2016-06-17   11606   0

为什么越简单的技术对于开发人员越难 资讯

数据库 ,我在这个世界花了太多的时间。 NoSQL 对于新手而言,无论是 MongoDB、HBase 还是 Cassandra,喜欢 兜售它的无模式特性 (schema-less)。关系型数据库的旧世界需要僵硬的模式而且狂热!在

jopen 2014-09-09   10252   0

服务端工程师入门与进阶 Java 版 资讯

SQL 必知必会》、《高性能 MySQL》。 了解 NoSQL。我们大规模使用 Hadoop、HBase、Hive,同时部分项目使用 Redis、Storm。你需要学会这些工具最基本的使用。 学习 web

fdwm 2015-04-19   53097   0
Java  

Spark的Python编程示例 代码段

是一个内存计算的MapReduce, 通过缓存机制,在性能上要好很多。它自身不带数据系统。但是支持 hdfs,mesos,hbase。文本文件等。 从架构和应用角度上看, spark 是 一个仅包含计算逻辑的开发库(尽管它提供个

lianzhu3 2016-03-01   39966   0
Spark  

英特尔开源分布式深度学习库BigDL:支持高性能大数据分析 资讯

如果你满足以下条件,你就应该使用 BigDL 来编写你的深度学习程序: 你想在数据存储(比如以 HDFS、HBase、Hive 等方式)于的同一个大数据(Hadoop/Spark)集群上进行大量数据的分析。

jopen 2017-01-16   23127   0

大规模网站架构 经验

NoSql产品 Nosql数据库就是为海量数据而生,可轻松实现集群规模的线性伸缩; (Hbase使用Zookeeper选举master) 安全性 99.99%的设计标准:无单点、在线更新、自动切换

jopen 2015-01-06   24549   0
1 2 3 4 5 6 7 8 9 10