P28

  高性能和分布式计算 文档

内容概要:1、分布式计算和分布式系统。2、P2P计算。3、云计算和网格计算。4、传感器网络和物联网。

萧萧若水 2011-10-30   6695   0

海量文件的分布式计算处理方案 博客

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的 模式允许程序员可以不需要有什么并发处

Hadoopp 2012-09-28   803   0

分布式实时计算系统:Apache Storm 经验

Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。

jopen 2014-09-30   27716   0

分布式计算框架 Fourinone 经验

FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决问题的初衷:我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷,为什么一切会那么复杂,我觉的自己可以写一个更简单的东西,它不需要过度设计,只需要看上去更酷一点,更小巧一点,功能更强一点。于是我将自己对分布式的理解融入到这个框架中,考虑到底层实现技术的相似性,我将 Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内,对复杂的分布式计算应用进行了大量简化和归纳。

fmms 2011-12-06   35341   0

Disco - 基于MapReduce的分布式计算框架 经验

Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目,由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。

openkk 2012-06-08   32597   0

用于分布式计算的RPC框架:MyRPC 经验

MyRPC是个远程过程调用框架,设计用来方便地连接异构系统。它具有基于IDL的客户机/服务器存根生成,多平台支持,二进制协议(不需要转义二进制数据,更少的开销),支持各种数据类型(如字符串,二进制,符号和无符号整数,浮点数,列表,结构和枚举),和异常的支持。

jopen 2014-02-28   13377   0

Python 分布式计算模块:Parallel 经验

Parallel Python是一个Python模块,它提供了Python代码的在SMP(系统有多个处理器或内核)和集群(计算机通过网络连接)上并行执行的机制。能够将计算压力分布到多核CPU或集群的多台计算机上,能够非常方便的在内网中搭建一个自组织的分布式计算平台。

jopen 2013-11-01   48494   0

分布式计算框架:Google Cloud Dataflow 经验

Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法,集成了许多内部技术,如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。Dataflow当前的API还只有Java版本(其实Flume本身是提供Java/C++/Python多种接口的,MillWheel也提供Java/C++的API)。

P12

  用Linux和Apache Hadoop进行计算 文档

Google、VMWare和Amazon等公司已经开始提供云计算产品和战略。本文讲解如何使用ApacheHadoop构建一个MapReduce框架以建立Hadoop集群,以及如何创建在Hadoop上运行的示例MapReduce应用程序。还将讨论如何在云上设置耗费时间/磁盘的任务。云计算简介近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以通过Internet访问“云”中的任何资源,而不需要担心计算能力、带宽、存储、安全性和可靠性等问题。

caoyu152152 2011-07-11   583   0

计算时代 CIO 的五点忠告 资讯

金吉达公司(Chiquita Brands)是全球最大的水果供应商之一,作为一家传统企业,金吉达公司的云计算应用在公司全球2万名员工的管理和复杂的供应链管理中发挥了重要作用(要知道鲜果行业对供应链效率有很高的要求)。

jopen 2014-02-20   5513   0

未来的计算语言?Go 在 Google 内部崛起 资讯

前VMware云平台首席技术官Derek Collison曾断言Go语言两年内将成为云计算的主流语言,这也许有些耸人听闻,但Go语言在Google内部确实取得了令人瞩目的成绩。Wired 最近发表文章讲述了Go语言在Google内部崛起的故事

jopen 2013-07-29   16940   0

计算平台,Apache CloudStack 4.4.4 发布 资讯

CloudStack是一个开源的具有高可用性及扩展性的云计算平台。目前Cloudstack支持管理大部分主流的hypervisors,如 KVM,XenServer,VMware,Oracle VM,Xen等。同时CloudStack是一个开源云计算解决方案。可以加速高伸缩性的公共和私有云(IaaS)的部署、管理、配置。使用 CloudStack作为基础,数据中心操作者可以快速方便的通过现存基础架构创建云服务。

jopen 2015-06-26   8707   0
P13

  计算及其关键技术报告 文档

利用传统的桌面计算,你需要在自己所拥有的每台电脑上都运行一份软件程序。你所创建的文档存放在创建他们的电脑上。利用云计算,你所使用的软件程序并不是运行在你的个人电脑上,而是存放在能够通过因特网访问的服务器上。即使你的计算机崩溃了,该软件仍然可以供其他人使用。本论文介绍了云计算的定义,云计算的特点,云计算的几种服务与相应的应用,当前云计算的关键技术以及云计算带来的影响。

UCASIOT 2012-11-28   494   0

计算应用框架 蜂巢平台 经验

蜂巢平台(OpenComb Platform)是一个基于 PHP5.3 实现的深度云计算应用框架。蜂巢采用了扩展模式,系统中的功能和特性,都由扩展提供。 因此,用户可以通过开发和安装扩展来部署各种类型的互联网应用。

openkk 2012-07-28   18840   0

开源计算平台CloudStack介绍 经验

CloudStack是一个开源的具有高可用性及扩展性的云计算平台。目前Cloudstack支持管理大部分主流的hypervisors,如 KVM,XenServer,VMware,Oracle VM,Xen等。同时CloudStack是一个开源云计算解决方案。可以加速高伸缩性的公共和私有云(IaaS)的部署、管理、配置。使用 CloudStack作为基础,数据中心操作者可以快速方便的通过现存基础架构创建云服务。

jopen 2015-06-27   27577   0

计算访问工具:Sift Cloud 经验

sift是什么,一个轻量级和易于使用的工具来访问你的clouds。

jopen 2014-11-01   12767   0

可扩展的开源计算语言 Opa 开源项目

Opa是新一代Web 开发平台。它拥有一种新的编程语言,一个新的Web服务器,一个新的数据库和一个新的分布式执行引擎。所有这些都紧密集成在一起,为Web开发人员提供一种强大的体验。 Opa拥有简洁、简单、可复用等特点。而且还极其强大,支持高并发、动态分布,极其安全。Opa设计让Web开发变得更加有乐趣,安全并且是正确的选择。 它需要64位的平台支持。 收录时间:2011-07-25 23:13:4

码头工人 2019-01-17   626   0
P12

  Google 计算平台架构 文档

云计算平台的技术架构结构图:技术架构具体组成数据存储技术(Google file system简称GFS)数据管理技术(BigTable)编程模型(Map-Reduce)数据存储技术(GFS)网页搜索业务需要海量的数据存储,同时还需要满足高可用性、高可靠性和经济性等要求。为此,Google基于以下几个假设开发了分布式文件系统 - GFS(google file system)。

doc5dx 2012-10-17   17978   0
P2

  热点关注:解析计算的核心技术 文档

(1)编程模型:MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。  (2)海量数据分布存储技术:云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。GFS即Google文件系统(GoogleFileSystem),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。

jq_one 2011-12-06   499   0
P15

  OpenStack 计算架构分析 文档

OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。

sl_sharp 2012-03-07   5884   0
1 2 3 4 5 6 7 8 9 10