P12

  用 Linux 和Apache Hadoop 进行云计算 文档

内部公开Internal Use Only▲ Apache Hadoop 是一个软件框架(平台),它可以分布式地操纵大量数据。它于 2006 年出现,由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种

wwqu1020 2012-09-13   3133   0
P69

  大数据技术平台调研报告 文档

存储硬件供应商)。因此大数据的“大”不仅仅是对数据尺寸的定义。同样,在处理前端,诸如高性能运算和分布式数据库技术的扩展解决方案自从上一个千禧年以来就已经存在,所以本质上讲并没有新技术产生。 Gartner

dszhao 2017-03-22   3018   0

如何让Hadoop结合R语言做统计和大数据分析? 资讯

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威 力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop

jopen 2015-12-23   48265   0
Hadoop  

淘宝架构框架 经验

。要突破这种极限,最简 单的方式就是多用几个 Oracle 数据库。但一个封闭的系统做扩展,不像分布式系统那样轻松。我们把用户的信息按照 ID 来放到两个数据库里面(DB1/DB2),把商品的信息跟着

jopen 2014-11-13   301701   0

Spark学习笔记之浅释 经验

Spark和Scala能够紧密集成,其中的Scala可以像操作本地集合对象一样轻松地操作 分布式数据集。 Spark还引进了丰富的RDD(弹性分布式数据集)。RDD是分布在一组节点中的只 读对象集合。 这些集合是弹

jopen 2015-06-20   13091   0

Spark生态顶级项目汇总 资讯

官方给出的生态系统组件(引自 Spark 官方文档)。 Spark DataFrames:列式存储的分布式数据组织,类似于关系型数据表。 Spark SQL:可以执行 SQL 查询,包括基本的 SQL 语法和

jopen 2016-03-07   7128   0
Spark  

Spark之后,谁将接手大数据 资讯

就对该问题进行一定的探讨。 作为Apache基金会所开发的分布式处理平台,Hadoop最核心的设计包括HDFS分布式文件系统分布式计算框架MapReduce。 MapReduce一步步完善,终于

jopen 2015-08-31   12885   0
Spark  

web系统性能方案全面总结 经验

ab或者siege工具) 4. 动态内容缓存(文件缓存,APC缓存,扩展k/v缓存) 5. 静态化动态内容 6. 分布式缓存(memcache, redis) 7. opcode编译缓存(APC, xcache) 8.

jopen 2013-04-21   17395   0
P17

  Windows下使用Hadoop实例 文档

进行格式化。至此,我们的Hadoop安装成功。 1.4 Hadoop运行wordcount实例 运行WordCount 实例。在本地文件系统上建立input目录,放入若干文件,文件为由多个单词组成(单词由空格分隔)的文本。 将文件复制到HDFS

porchidy 2013-09-08   3685   0

用nginx图片缓存服务器 经验

,怎么也要测试一下吧 ? 创建文件系统的时候 Inode 问题也要加以考虑,选择合适大小的 inode size ,在空间和速度上做取舍,同时防患于未然,注意单个文件系统下文件个数别达到极限。 图片存储的技巧

jopen 2014-05-22   134065   0

NoSQL的ORM框架 Gora 0.1.1-incubating 发布 资讯

的正式子项目,它是一个面向列的分布式数据库,其思想源于Google的BigTable论文。Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

webphp 2011-09-27   12492   1
ORM   Java   NOSQL  
P36

  java项目架构和web项目的演变 文档

需求,对于网站应该如何成长做出预测。开源消息中间件有阿里的dubbo,可以搭配Google开源的分布式程序协调服务zookeeper实现服务器的注册与发现。   引入消息中间件后的结构:      十、总结

zpfjunson 2016-12-04   539   0
Java开发   方案   Apache   HTTP   Go  

15种最佳方式帮你顺利掌握Hadoop技术 资讯

以下几点: 易于扩展: Hadoop是一套具备可扩展能力的存储平台,其能够将数据分发至成千上万个分布式节点及低成本服务器之上,并让这些硬件设备以并行方式共同处理同一任务。 灵活性: Hadoop并不会

jopen 2015-08-12   11542   0
Hadoop  

关于Spark的基本概念和特性简介 经验

Spark是近年来发展较快的分布式并行数据处理框架,可以与Hadoop联合使用,增强Hadoop的性能。同时,Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。这里简单介绍了

jopen 2015-06-25   53456   0

当程序员的技巧:你的努力和勤奋一定要让别人看的见 资讯

有一些创新也都是和原先的技术结合的,比如:你现在所知道的Hadoop,HDFS是一个分布式文件系统,而分布式文件系统已经有了几十年了。 5.要从职业发展方面考虑。 一些人会因为各种的小问题而辞职,

jopen 2015-11-04   3716   0

Apache Spark 的R语言前端:SparkR 经验

可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos

jopen 2014-01-21   54232   0

Mongodb Wiredtiger存储引擎实现原理 经验

张友东](http://yunnotes.net),就职于阿里云飞天技术部,主要关注分布式存储、Nosql等技术领域,参与 TFS(淘宝分布式文件系统) 、 AliCloudDB for Redis 等项目的开发工作,欢迎交流。

jopen 2016-01-02   32461   0

开源云计算系统 Spark 经验

可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos

fmms 2012-01-05   104657   0

SGI 将推出 Cloudera Hadoop 数据分析集群 资讯

相关介绍: Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 美国硅图公司成立于1982年,是一个

fmms 2011-10-18   11087   0

理解Ceph的存储设计 经验

fireflies.me/2015/10/理解ceph的存储设计/ 在大部分中心化存储系统中(如GFS)中,通常有一个中心节点管理整个系统元数据的更新、协调节点之间的数据复制,检测并处理节点故障以及后

jopen 2015-10-04   15150   0
1 2 3 4 5 6 7 8 9 10