从Hadoop到Spark的架构实践 经验

e为基础的计算框架。图2为整个系统的架构演变。 在这个架构中,我们将Spark 0.8.1部署在YARN上,通过分Queue,来隔离基于Spark的机器学习任务,计算排名的日常MapReduce任务和基于Hive的即时分析任务。

jopen 2015-06-08   49372   0
P25

  云计算的概念、技术现状、典型案例 文档

美国标准局(NIST)专家于2009年4月24日给出了一个云计算定义草案,概括了云计算的五大特点、三大服务模式、四大部署模式。 NIST的云计算定义草案(2009年4月24日) 说明1 :云计算仍是一个不断发展的词汇。

yun007x 2010-12-28   475   0

Apache ServiceMix 企业服务总线(ESB)简介 经验

Geronimo以及JBoss服务器完全集成,并且在Apache Geronimo服务器中可以直接部署JBI组件和服务。 新版本中集成了BPEL,增加了一个基于router的高性能目录,XPath转换引擎,Drools新规则

fmms 2012-01-17   88368   0
P22

  新浪云计算sae技术微博精选(6月) 文档

CSS3 和 JavaScript 开发完整的Win8应用》 《MemSQL,号称世界上最快的分布式关系型数据库》 《由linkedin数据库泄漏引发的思考》 《Arduino,一个开源的软硬件平台》

penglzy 2012-08-07   2250   0
CSS   HTML   Java   C/C++   Go  
P24

  大数据分析系统架构之探讨 文档

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统(Hadoop Distributed

guet_lee 2017-01-12   2237   0
P24

  大数据分析系统架构 文档

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统(Hadoop Distributed

wzf1118 2016-11-04   2940   0

容器时代,这确实是我们想要的未来! 资讯

。这是集装箱,也就是像虚拟化,但并不完全是虚拟化。它有一个有点像Chef的Dockerfile,但它与一个涉及到无法理解的文件系统或其他一些所谓 层的东西相结合。它和AWS、Heroku、VMware和Vagrant的目的一样

jopen 2015-08-02   10119   0
容器  

OpenVZ VS Docker,不火只是时机的错吗? 资讯

已经诞生,并且采用自行修改的Linux内核,安全性高于LXC和Docker,也已经成功地应用在生产环境中。 我对OpenVZ工程师充满尊敬,他们贡献的范围不仅包括OpenVZ,还包括主流Linux内核:PID

jopen 2015-01-28   15214   0
Docker  
P44

  J2EE应用优化 文档

。我们主要讨论的主要是如何提高代码的效率。 具体到一个特定的J2EE应用来说就是两点 在特定的硬件环境下支持尽可能多的Client 每个Client的响应时间尽可能短 3. 应用性能评价通过具体使用或

4323236 2016-05-11   2765   0
J2EE   Java开发   方案   Apache   CSS  
P8

  NOSQL数据库介绍 文档

P: Tolerance of network Partition 分区容忍性(分布式) CAP理论告诉我们,一个分布式系统不可能满足一致性,可用性和分区容错性这三个需求,最多只能同时满足两个。 关注

synart 2012-04-18   8205   0
P10

  AIX-HA-ORA-WAS双机互备 文档

AIX-HA-ORA-WAS双机互备 cqw@ufida.com.cn 一、 前言 Ø 本文是根据实际项目环境总结得出,有些细节可能有所忽略,意在帮助了解整过实施过程。 Ø Oracle与WAS实现双机互备。〔A机数据库,B机应用〕

zzcmgenius 2014-01-09   2808   0

最棒的60个DevOps开源工具 经验

DevOps。 开发工具 版本控制&协作开发 版本控制系统 Git Git 是一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理。 GitLab 是一个利用 Ruby

jopen 2015-09-14   59623   0

玩转数人云:快速搭建ZooKeeper集群 资讯

熟悉ZooKeeper的朋友都清楚,这是一个好东西。只是搭建ZooKeeper集群却不是一件容易的事。使用数人云部署ZooKeeper集群?那就是分分钟的事。 注:ZooKeeper 介绍见本文尾部 两步搭建 ZooKeeper

jopen 2015-12-07   18414   0

Apache Spark不过时的六大理由 资讯

技术爆炸和大数据逐渐占据主流地位,几件事情逐渐明晰: 对所有数据而言,Hadoop 分布式文件系统(HDFS)是一个直接存储平台。 YARN (负责资源分配和管理)是大数据环境下一个适用的架构。 或许是最为重要的一点,目前并不存在一个能解决所有问题的框架结构。尽管

jopen 2015-08-26   14607   0

《京东技术解密》读书笔记:坚持技术十年如一日 经验

:开放接口与合作伙伴进行系统与业务对接。 ② 京东云鼎 :电商应用云托管平台。 ③ 京东云擎 :为应用开发者提供便捷的应用开发、部署和托管服务。 ④ 京东云峰 :为应用开发者提供便捷的移动应用客户端的开发服务。 ⑤ 京东云汇

jopen 2016-01-10   30257   0
京东  
P111

  HBase 官方文档 文档

配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库

lanbocui 2012-08-21   631   0
P83

  HBase 官方文档-中文翻译 文档

配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库

wangwenjun0 2012-07-15   5986   0
P84

  Hahoop 实战培训 文档

4)受Google三篇论文的启发 ---MapReduce GFS Bigtable 5)google hadoop mapreduce mapreduce GFS HDFS Bigtable Hbase 北京传智播客教育

will_132 2013-11-20   2317   0

OpenStack 与 Rancher 融合的新玩法 经验

说完Host资源,我们看看存储方面。OpenStack对存储的支持区分的比较细,对象存储、块存储、文件系统都有各自的项目来支持,如swift、cinder、manila等,存储系统对接的不仅仅是Rancher,Docker

OdeQ65 2016-12-30   10086   0

大数据架构和模式(四) - 了解用于大数据解决方案的原子模式和复合模式 经验

档或清除。基于 Hadoop 的系统和其他等效的系统可以克服这些限制,因为它们具有丰富的存储以及分布式大规模并行处理能力。运营、业务和数据仓库的数据被移动到大数据存储,您通过 使用大数据平台功能对它们进行处理。

jopen 2015-02-01   27853   0
1 2 3 4 5 6 7 8 9 10