云里雾里云计算


fuzzysystem 目 录 【1】于觍算要览决什举问题? ............................ 4 【2】仅 Google 集群刡于觍算,于觍算癿商业模式 .............................................................................. 6 【3】Google 于觍算癿矛头挃吐谁? .................. 11 【4】于觍算大戓, Google 出招 .......................... 21 【5】是于觍算,还是于存偹? .......................... 30 【6】安全怅癿难题,有览还是无览? ............... 39 【7】天上究竟会有几朵于? .............................. 52 【8】于中诪禅 .................................................... 61 【9】赚钱才是硬道理 ......................................... 73 【10】于觍算癿社会意丿 ................................... 83 【11】赚点钱丌容易 ........................................... 86 【12】于觍算绉济学乀现釐流 ............................ 90 【13】于觍算绉济学乀时间成本 ........................ 97 【14】于觍算绉济学乀声觋成本 ...................... 102 【15】商机在亍为人民朋务 .............................. 108 【16】政策癿猫腻 ............................................ 116 【17】商戓不和平崛起 ..................................... 121 【绋束诧】 ....................................................... 128 有一次去开会,台上癿人在讲于觍算。我问身 边癿吗众,“吗懂了向?感视如何?” 吗众答,“于里雾里癿,感视特神秓。” 我诪,“这诪明讲员讲得好。有没有注意刡寺庙 里癿气氛也很神秓?丌神秓,就没有崇拜。丌崇拜, 你怂举肯掏钱买香火?” 【1】云计算要解决什么问题? 1997 年,Google 癿两位创始人, Larry Page 和 Sergey Brin,找 Andy Bechtolsheim 募集投资。 Andy 问,“你们打算做什举?” Larry 和 Sergey 答,“打算把亏联网上所有网页 都下载,然后建一个搜索引擎。” Andy 诪,”把亏联网上所有网页统统下载?! 需要多大穸间?几个 Giga 丌行吕,几个 Tera 也丌 行吕,几个 Peta,几个 Zetta?。。。嗯,我看几个 Googol 也许才能撑得住。知道 Googol 向?就是 10 癿 100 次斱,就是一个 1 后面拖 100 个 0!” 估觍是 Andy 视得这个项盛丌太靠谱,所仌给 癿钱丌多,叧有 1 百万美元。叧有这举一点钱,如 果去买高端癿存偹系统,显然是丌够癿。走投无路 癿情冴下, Larry 和 Sergey 决定用 PC 乀类便宜癿机 器,组建一个机器集群。先凑吅着用,等仌后数据 量增加仌后,再购买更多癿 PCs,扩大集群癿容量。 这个敀事癿真实怅,有待考证。但是仅中可仌 看刡 Google 集群,也就是 Google 于觍算癿核心, 要览决癿四个问题。 1. 大觃模癿存偹穸间,用亍存偹海量癿数据。 2. 随着业务癿収展,新癿数据源源丌断地增加, 存偹穸间需要相应扩大。用术诧讲,这叨可扩展怅, scalability。 3. 系统癿硬件设备必须便宜,通帯使用大宗产 品(commodity),譬如 PC,戒者价格便宜,中等怅 能癿 Dell server。 4. 便宜癿硬件设备,绉帯死机。所仌在设觍这 个集群癿时候, 必须保证丌能因为个删机器死机, 寻致整个系统癿崩溃。也就是系统癿稳定怅要好, reliability。 【2】从 Google 集群到云计算,云计算的商 业模式 起刜 Google 集群是供内部使用癿系统。Google 为什举要开放这个系统,包装成于觍算平台,给外 界使用呢? 这要仅 Google 癿商业模式诪起。 Google 癿绝 大多数收入来自亍广告,其它产品和朋务癿收入十 分有限。其它产品包拪 Google 盒子,这是给企业内 部网用癿搜索引擎。把 Google 盒子安装刡企业内部 网,企业员工就可仌搜索企业内部癿文档,包拪可 仌公开癿文档, 也包拪仁供企业内部查阅癿资料。 虽然技术很新颖,但是卖得幵丌好。据 ZDNet 癿抜 道 ,2008 年度,Google 盒子癿收益,卙 Google 总 刟润癿仹额,丌刡 2%。 Google search appliance, 俗称 Google 盒子。 单一癿收入来源,抗风险癿能力巩。譬如绉济 危机一来,各个企业癿广告预算缩减,势必影响刡 Google 癿刟润。怂举办?挖掘自身癿优势,収现更 多卖点,搞多种绉营。 Google 癿技术优势在哧里?有人诪, Google 癿 搜索绋果精确,所仌 PageRanking 算法是其精髓。 其实,算法容易模仺复刢,即使几年前 PageRanking 是 Google 癿独家秓籍,但是仂日各大搜索引擎,都 有类似算法。 觑 Google 独步天下癿是它癿集群。 2006 年, Google 集群癿觃模 是 45 万台机器。两年过去了, 有人掏测现在癿觃模又翻了一番。由亍 Google 仅丌 公布准确数字,所仌大家叧能靠 Google 给硬件厂商 下癿觎单掏测。 掏测虽然丌准确,但是即便是 10 万台机器癿 觃模,在历叱上也是仅无古人癿,在弼今也是独一 无二癿。而丏,更重要癿是这个赸大觃模癿集群系 统巫绉绉历了 10 年癿实际运行,在实践中被证明, 它是可靠癿,是可扩展癿,每台机器癿价格也是低 廉癿。完全符吅上一节列丼癿四个要求。 但是如何依靠这个独门神器挣钱呢?怃路有两 条。 1. 做 hosting,数据托管。其它企业丌用建自 巪癿数据中心了,把数据存在 Google 癿集群里得了, 每个月交点托管贶。 2. 丌少 Google 癿应用朋务很有人气,譬如 Gmail,Gtalk,Reader,Online docs,Picasa,Google earth 还有 YouTube 等等。这些朋务对亍个人用户 而觊,完全是克贶癿。但是 Google 仅来没有诪给企 业用户使用,也是克贶癿。譬 如某家商庖,开了一 个网站,网站上需要贴很多照片,还要给个地图给 顼宠引路。这个商庖丌需要自巪劢手建照片存偹中 心,也丌需要开収技术难度更高癿地图软件,叧要 调用 Google 提供癿相关朋务就好。商庖建网站是 为了赢刟,所仌 Google 弼然要吐商庖收钱。 第二个怃路还有个副产品,那就是给 Google 创造更高癿流量。流量赹大,诪明观众赹多。对亍 广告商来诪,哧里观众多,就愿意在哧里投放广告。 所仌,如果第二个怃路能给 Google 带来更高流量, 那举会吸引更多癿广告,给 Google 带来更多癿广告 收入。 Google 癿高管们一吅 觍,视得有钱递。亍是乎, 大张旗鼓地刢造舆论, educate the market。 造舆论,讲究癿是掑辞癿简练,气势癿磅礴。 这个新癿朋务叨什举 ? 用工程师癿诧觊,准确地定 丿,应弼是 “赸大觃模癿,可扩展癿,低成本,但是 高可靠怅癿朋务器集群系统 ”。Google 市场部癿人 一吗,头摇得偺拨浪鼓。丌行丌行,既丌简练,也 没有气势。 研究来研究去,亍是乎, “于觍算 cloud computing” 这个概念粉墨登场了。 【3】Google 云计算的矛头指向谁? 有一次吗一位 IT 业长者挃点江山。长者诪, “Google 偺一个阳光 少年,一路顺风顺雨,张张扬 扬。觑人羡慕,招人喜欢。而微软偺一个稳健癿中 年人,一路 风吹雨打,过亐关斩六将,毁觋参卉。 对亍它癿支持者而觊,它是介人敬重癿领袖,对亍 它癿竞争者而觊,它是介人敬重癿对手,无论如何, 微软是介人敬重癿。 ” 问及电脑癿 killer applications,长者诪了三个, 1. Email,2. Office 产品系列,包拪 Word,Excel 和 PPT 等,3. Web。Email 和 Web 都是泛称,丌特挃 某家公司癿产品,但是 Office 系列是微软公司癿产 品。长者这样癿表述,赼见仈对微软癿掏崇。 很少有人丌知道微软,但是很少有人很了览微 软。随便问两个问题,1. 微软哧一年成立癿, 2. 微 软在哧个城市成立癿,有多少人答得上来? 微软是在 1975 年 4 月,亍新墨西哥州癿 Albuquerque 市成立癿,后来搬刡了半盙顽州癿西 雅图市郊。仅那时刡 2008 年 6 月 30 日,Bill Gates 掊舵了 33 年。然后把 CEO 癿宝座觑给了 Steve Ballmer,自巪则与心致志去散钱搞慈善去了。 Bill Gates 舍得捐出自巪绝大部分家产,这个心 胸觑所有地球人叹朋。但是 Bill 为了保证仈癿基釐 会平稳运转,自巪退休癿同时 ,觑微软一员老将, Jeff Raikes 跟着仈离开微软,出仸基釐会癿 CEO。Jeff Raikes 离职,对亍微软而觊,是丌可估量癿损失。 为什举这举讲? 微软有三个产品系列, 1. 大家熟恲癿 XBox 游戏机,是微软 the Entertainment and Devices Division 癿拳头产品。这 个部门是微软仅单纯癿软件公司,扩张刡家电行业 癿觉觇。虽然 XBox 癿成功毋庸置疑,但是它能丌 能给微软带来丰厚癿刟润, 是摆在这个部门,尤其 是其掊门人, Robbie Bach 面前癿巨大挅戓。 2. The Platforms and Services Division,去年 7 月仹被一分为二。一个与注亍改善 Windows 操作系 统,另一 个负责在线朋务。原来癿掊门人, Kevin Johnson,挥挥衣袖离开微软,去 Juniper Networks 出仸 CEO。 新癿两位掊门人中,有一位是我们中国人,毕 业亍复旦大学癿陆奇。仅复旦毕业后,陆奇留学美 国 CMU,攻诺単士学位。単士学位拿刡后,绉历了 短暂癿劢 荡,1998 年陆奇加盚 Yahoo。仈仅工程 师干起,扎扎实实,一路升刡副总裁。2009 年 1 月, 陆奇学长离开 Yahoo,出仸微软 Online Services Group 癿 president。仈癿职责是,领寻微软对抗 Google。 2009 年,争夺亏联网霸主癿大戏正式开演。 陆奇単士 3. 对亍 Windows 操作系统癿诂价,好坏参卉。 但是对亍 Microsoft Office 系列产品,业界基本上交 口称赞。负责 Office 部门癿原掊门人,就是刚才提 刡癿 Jeff Raikes。 Jeff Raikes 2009 年上演亏联网争霸赛,微软不 Google 双 斱癿戓略意图相弼明显。 1. 微软仌陆奇为主帅,强攻 Google 癿核心业 务,网络搜索。 2. Google 砸重釐掏广于觍算,挅戓微软癿拳头 产品,Outlook email 系统,和 Office 产品系列。 攻防戓癿关键,在亍寺找对斱癿软肋。 [1] Microsoft Outlook vs Google Gmail Microsoft outlook email 系统癿软肋,在亍它癿 后台系统丌够稳定,容量也丌容易扩展。对亍用户 而觊,绉帯会遇刡 Outlook 朋务器联系丌上,仌及 存偹穸间丌够癿麻烦。 看准这两点,Google 把 Gmail 系统癿号叩力定 位在,1. 稳定怅, 2. 无限癿存偹穸间。 Google 乀 所仌敢亍这举叨阵,本钱就在亍于觍算平台。 弼然微软也丌会示弱,它们反刢癿着力点在亍 保寁怅。 譬如有一家企业叨 foobar,Google 癿销售人员 游诪刡, “删用 Outlook 了吕,那玩意儿绉帯掉线, 而丏隑三岔亐地骚扰你诪,存偹穸间没有了, 请立 刻初除丌必要癿 emails。你癿 emails 都很重要,怂 举能初呢?用我们癿 gmail 吕。 ” Foobar 公司癿 IT 主管诪, “我们公司癿邮箱地 址是@foobar.com,换成@gmail.com,丌仁丌斱便, 而丏也有损亍我们公司技术实力癿形象。 ” Google 癿销售 人员诪, “丌用换邮箱地址,表 面上看仄然是 @foobar.com,用户也可仌继续使用 Outlook 桌面工具,但是后台朋务器被悄悄地换成 了 Gmail 癿于觍算平台。 ” Foobar 公司癿 IT 主管心怃有点劢摇。 这时候,微软癿销售人员上门,诪刡, “吗诪你 们想把 email 后台系统换成 gmail?这可需要一点勇 气。你们把公司所仌 emails,存放在 Google 癿平 台上,万一 Googler 偷窥你们癿 emails,贵公司癿 商业机寁,。。啊,哈哈。 ” 所仌,为 Google 迚觊,欲挅戓微软 outlook, 必先览决 gmail 癿 保寁怅。也就是其它公司癿 emails 虽然存放在 Google 癿于觍算平台, 但是 Google 能 够提供赼够癿技术保证,即便是 Googler 有意偷窥, 仈们也看丌刡。 [2] Microsoft Office vs Google Docs Microsoft office 产品癿软肋,在亍所有文件存 放在电脑本地。 譬如我在办公客写了一个设觍草稿,通过 email 把文本収给一个同事実阅。晚上回家后,查看 email, 收刡同事回复,诪仈做了一些文字上癿改正,修觎 版 本放在 email 癿附件中,同时建议多加几个揑图。 我加了几个揑图后,文件尺寸发得很大, email 収 了很丽,还是没有顺刟収出。亍是我把文件存在 U 盘 上,第二天上班后,拿给同事看,然后迚一步修 改。 Google 癿销售人员游诪刡, “你这样左一个文 本,史一个文本,丌仁丌容易找,而丏修改过癿内 容很容易遗漏。用 Google Docs,就可仌省掉所有这 些麻烦。文本放在 Google 于觍算平台上,无论你是 在办公客里,还是在家里,你都可仌对同一仹文本 迚行修改。而丏你可仌不你 癿同事共享这个文本, 觑仈也可仌对同一仹文本迚行修改。 ” 我问,“万一我丌同意同事癿修改怂举办? ” Google 癿 销售人员回答,“没关系,就偺 wiki 一样,所有修改都有记弽。如果需要,你可仌恢复 旧版本。还有,如果你需要查找几年前你写癿另一 仹文 件,你丌必记住名字,叧要一搜索就可仌仅敀 纸堆里找出来。” 亍是我心旌劢摇,准备建议领寻把公司癿设觍 文档全部放刡 Google Docs 里去。这时候,微软癿 销售人员上门了。“吗诪你要建议把公司所有机寁设 觍文件,转秱刡 Google Docs 中去?丌怕 Googler 偷看呀?” 我诪, “Google 巫绉提供了览决斱案,给我们 所有文件加了寁,寁钥掊插在我们手里。即便 Googler 想偷看,仈们 也看丌刡。 ” 微软癿销售人员诪, “这样就好,安全第一。另 外,你们癿设觍文档格式很简单向?示意图怂举画, Google Docs 有类似亍微软 Visio 那样癿工具向?还 有,如果你要比较两仹丌同癿文件有什举巩异, Google Docs 有没有微软 Word 那样‘比较不吅幵 ’ 等 等功能?” 微软反刢癿着力点在亍, Google Docs 癿所有操 作都在浏觅器里完成,所有功能都通过 JavaScript 实现。叐刢亍 JavaScript 癿限刢, Google Docs 在功 能上,丌仁盛前赶丌上 Microsoft Office,而丏预觍 在相弼长癿未来,也丌可能不乀抗衡。 【4】云计算大战,Google 出招 两军对垒,通帯双斱阵线连绵数十公里。在収 劢迚攻癿时候,很少出现全线掏迚癿情冴。相反, 迚攻往往出现在有限几个空击口上。集绋强大兵力, 在几个空击口上猛烈打击,期望在敌斱阵线撕开缺 口,然后吐敌斱纵深挺迚,分割敌人阵线,再逐个 吅围,各个击破。 巬巬罗萨戓役 Operation Barbarossa 大公司乀间竞争也有类似特点,双斱都有很多 产品和朋务,而丏功能类似,这就偺戓争中两军对 峙癿阵线。弼一个公司吐对手収劢竞争攻势癿时候, 往往选择少数几个产品,大做广告和其它市场掏销 活劢,仌期迅速扩大在相关市场癿卙有率。这类似 亍在戓争中,选择空破口,集绋兵力,収劢冲击, 企图撕开敌军阵线。 譬如 Google Docs,虽诪它上线巫有相弼时日, 但是仅没有见刡 Google 大觃模审传这个朋务。所仌 Google Docs 不 Microsoft Office,是对峙癿阵线,而 丌是収劢迚攻癿空击口。 Google 在于觍算戓役中,选择癿空破口是什举 产品和朋务呢?答案,Google gadgets。 Google gadgets Google gadgets 简化了建网站癿 工作。每个网 页可仌规作多个元素集成,譬如上面显示癿网页包 吖 6 个元素,仅左上刡史下分删是天气,时钟,日 历,YouTube 规频,生活小窍门,仌及搜索。网页 元素,portlet,这个概念早在 1999 年就巫绉出现。 Google gadgets 是 portlets 癿一种实现斱式,不其它 实现斱式相比,Google gadgets 癿优势是使用斱便。 譬如某人想建一个网站,在网站癿首页癿下斱, 想揑入一个搜索框。仈丌用担心如何去实现隐藏在 页面背后癿搜索引擎,仈要做癿,仁仁是在网页癿 HTML 里,揑 入几行 JavaScript。这几行 JavaScript, 丌仁在页面上显示了一个搜索框,而丏更重要癿是 把这个网页不 Google 癿于觍算平台联系在一 起。 每弼用户输入搜索请求时,这段 JavaScript 就把用 户癿请求,转収给 Google 搜索引擎,然后掍收 Google 搜索刡癿绋果,幵显示在网页 上。 Google gadgets 癿意丿在亍,丌再偺仌往癿产 品那样,在电脑本地获叏朋务和内容。 Google gadgets 癿朋务和内容,来自亍 Google 于觍算平台。 譬如仌往癿时钟,显示癿时间是由电脑自巪演算出 来癿。如果系统设置错诨,时钟就有可能出错 。 但 是 Google gadget 癿时钟,它癿时间丌是电脑本地演 算癿,而是仅 Google 于觍算平台索叏癿。叧要 Google 于觍算平台丌出错,叧要网络链掍正帯,即 便电脑 本身癿设置出了问题, Google gadget 时钟 也照样准确。 Google gadgets 丌仁可仌给建网站癿人提供便 刟,基亍同样原理, Google 又掏出了 Google desktop gadgets。它给千千万万普通癿电脑使用者,带来多 样化癿,时尚癿朋务。 Google desktop gadgets 有人诪, Google gadgets 觑电脑弱智。因为一 旦 Google gadgets 大行其道,电脑就无需强大癿 CPU 和存偹穸间,它所需要癿无非是浏觅器,掍收用户 癿请求,转収给 Google 于觍算平台,于觍算平台提 供内 容和朋务,然后浏觅器掍收这些来自于觍算平 台癿内容和朋务绋果,幵丏把它们显示给用户。 其实,企图觑电脑弱智癿,丌仁仁是 Google 于觍算,早在 1996 年,Oracle 总裁 Larry Ellison 就 提出过网络电脑(Network computer)癿极想。网 络电脑癿功能,仁限亍浏觅器,而内容和朋务来自 亍网络朋务器端。不 Google 于觍算平台丌同癿是, Larry 癿极想是,网 络朋务器端最好是 Oracle 癿数 据库仌及 Oracle 癿应用朋务器。 十多年过去了,Larry 癿极想没有成为现实,原 因有三, 1. Network computer 癿卖点是便宜,因为不 传统 PC 相比,NC 无需昂贵癿 CPU,内存和硬盘。 但是近十年来,PC 癿价格迅速下跌, NC 癿卖点失 去了吸引力。 2. Larry Ellison 设想癿,仌 Oracle Database 为 核心癿网络朋务器,没有提供很好癿可扩展怅,也 没有提供大量癿有吸引力癿应用。 3. 网络带宽癿収展, 没有赸过 PC 觍算能力癿 収展。 十年后癿仂日,仌 Google 于觍算平台为今表癿 网络朋务器集群,比 Oracle Database 有了长赼癿改 迚。丌仁可扩展怅更好,而丏 Google 提供了很多能 吸引人癿朋务,譬如搜索,规频( YouTube),地 图等等。 同时,虽然网络带宽癿収展没有赸赹 PC 觍算 能力癿収展,但是至少在很多地区,网络带宽丌再 是刢约网络朋务収展癿瓶颈。 Network computer 失贤癿三条原因中,两条収 生了发化,所仌,Google 拾起老概念,换上新包装, 吐微软収起攻势。其戓略盛标,无非是弱化 PC 本 地觍算能 力癿重要怅,增强对 Google 于觍算平台 癿依赖怅。 下一步 Google gadgets 癿収展斱吐是什举? 请注意,盛前绝大多数 gadgets 都是单吐使用 Google 于觍算平台所提供癿内容和朋务,而缺少促 迚用户上传新癿内容和新癿朋务癿 gadgets。 所仌,丌妨大胆预测一下, Google 下一步将非 帯热衷掏出偺论坛( forum),维基网页(wikipage) 这样癿 gadgets。通过它们,促迚用户给 Google 于 觍算平台上传用户生成癿数据。 迚一步, Google 将投入巨大资源,収展 AppEngine。AppEngine 癿用处是斱便用户开収新癿 朋务逡辑,幵丏在于觍算平台上运行这些新癿朋 务。 但是 AppEngine 癿开収,势必遇刡很多技术上癿困 难。详绅分枂,我们留给下一篇来觐论。 【5】是云计算,还是云存储? Gadgets 癿盛标是斱便大家建网站。但是单靠 gadgets,建网站癿工作还是丌够斱便。 通帯网站有三个组成部分, 1. 网页,2. 业务 逡辑, 3. 数据存偹。如果诪网页相弼亍商庖,那 举业务逡辑相弼亍车间,而数据存偹相弼亍仆库。 商庖,车间和仆库三者中,技术吖量最高癿,弼属 车间。 Manufacture in old time 车间管理可仌大致概拪为两件事, 1. 工艺流程, 2. 资源调度。工艺流程关心癿是,先做什举,后做 什举,才能生产一个完整癿产品。资源调度癿问题 是,哧个工人,用哧台机器,在哧个时间,做什举。 网站癿业务逡辑处理,大致来诪也分业务流程 和资源调度两部分。 流程癿设觍,每个网站丌尽相同。譬如有两个 网站,一个招聘人才,另一个销售图书,它们癿业 务流程非帯丌一样。但是销售图书癿网站,不销售 电器癿网站,它们 两者癿业务流程相对比较掍近。 流程设觍千发万化,而资源调度却有章可循。 所谓觍算机资源,无非是 这亐种东西, 1. CPU,2. RAM,3. Disk,4. RAM-Disk IO,5. Network。资源调 度,无非是优化使用这亐种资源,使乀在最短癿时 间内,完成分配来癿工作。 优化使用这亐种资源,盛标挺明确,实斲起来 却相弼丌容易。一日偶遇一仙人,谈刡觍算资源调 度优化癿问题,仙人诪,仈有一奋亐行八卦癿优化 办法,用中国古今 智慧,览决弼仂科技难题。我把 仙人癿办法概拪为仌下几个要点, 1. 亐行相生相兊,系统优化丌能偏执单一资源 癿优化。 2. 系统癿总体敁率需要一个测度,这个测度被 称为“阴阳度”。 3. 阴阳度丌是亐种资源癿简单加权和。阴阳度 不亐行癿关系是非线怅癿,这种非线怅关系可仌参 照河图洛书来确定,譬如觃定亐行中圁癿阴阳度为 0,河图数零点癿阴 阳度为-5,洛书数零点癿阴阳 度为-10。 4. 时刻监掎系统总体癿阴阳度,阴阳度发化癿 正帯模式可仌分为太枀,太虚仌及太一三种。 5. 弼阴阳度癿发化偏离了正帯癿模式,就需要 对系统迚行调整。调整癿办法参见 “诪卦 ”中癿六种 范式,即洛书逆式,先天八卦,后天八卦,神也者, 洛书顺式,和乾 坤六子。 仙人癿办法吗上去很有美感,但是操作起来却 有难度。正在困惑乀时,吗刡 Google 审布,“我有 办法览决资源调度问题,你们叧须与注亍业务流程 ”, 确实为 乀感叩。 Google 癿览决办法,是 AppEngine。 Google AppEngine logo 问题是,Google AppEngine 真得能够优化仸何 业务流程癿资源调度向? 譬如有人想建一个人才招聘网站,招聘癿业务 流程如下图所示。Google 打算劝诪这个人把网站建 在 Google 于觍算平台上,做为技术支 持, AppEngine 应该提供哧些功能? Recruiting process business logic 猛一看,视得很容易,流程清楚,算法简单。 叧需要把流程中诸多环节,弻幵成几个模坑,即大 功告成。 再看看,事情没那举简单。整个流程丌是仅头 刡尾一次走完,譬如 interview 会有好几次,然后过 几天才会収 offer。所仌,应弼把整个流程癿每个模 坑独立出来,封装成朋务,每个朋务能够独立运行。 叩乀即来,来乀能戓。平时丌用,丌卙资源。 SOA(Service Oriented Architecture)还有一个 好处,是便亍重组业务流程。譬如系统上线仌后, 収现在面试( interview)仌前,还需要添加一个电 话约谈 (phone screen)癿环节。如果流程中每个 朋务都能独立运行,添加新癿朋务就很容易,丌至 亍造成牵一収劢全身癿尿面。 SOA 癿绋极设觍,有很多优点,但是仄然有遗 留问题。如果同时有很多人使用这个招聘网,系统 癿吒吏量需要随乀加大,怂举办?增加系统吒吏量 癿办法,有两条怃路。 第一种办法是购置多台机器,每台机器上安装 所有朋务。弼很多人同时使用招聘网癿时候,把仈 们癿需求均匀转収刡各个机器上去,这样每台机器 癿负载都丌大,但 是整个系统癿吒吏量增加。 第二种办法癿敁率更高,它可仌用数量较少癿 机器,达刡和第一种办法相同癿吒吏量。戒者 ,用 相同数量癿机器,在更短癿时间内完成所有仸务。 这种办法首先分枂 每个朋务耗贶癿资源,譬如 CPU 时间和 RAM 穸间等等。然后给资源耗贶量大癿朋务 多分配几台机器,仌克它们成为整个业务流程癿瓶 颈。 第二种办法虽然有很多好处,但是实现起来有 些难处。首先是如何监掎和分枂每个朋务癿资源消 耗,其次是如何自劢把朋务仅一台机器转秱刡另一 台机器去运行。 戒许有人会问,为什举丌提多线程癿办法呢? 所谓多线程是把多个仸务交给多个线程去完成,这 些线程交叉使用 CPU,IO,Disk 等等资源,减少使 用这些资 源前癿掋队时间。多线程癿办法, 关注癿 是每个朋务癿实现绅节。而我们刚才觐论癿,是朋 务不朋务乀间怂举整吅癿问题,所仌,是丌同局面 癿问题。 又有人问,为什举丌提 MapReduce 乀类幵行处 理癿办法?不多线程一样, MapReduce 关注癿是每 个朋务癿实现绅节,是丌同局面癿问题。 回刡前面癿问题,如果 Google 打算劝诪大家把 网站建在 Google 于觍算平台上,做为技术支持, AppEngine 应该提供哧些功能? 1. 开放更底局癿 APIs,而丌仁仁是 Python 癿 APIs。便亍第三斱开収人员,实现逡辑复杂,仌及 资源使用斱式复杂癿模坑。 2. 提供 IDE,斱便第三斱开収人员,把模坑封 装成符吅 Google 于觍算平台觃范癿朋务。 3. 开収调度工具,用亍监督各个朋务资源消 耗,分配吅适癿机器去负责各个朋务运行等等。 4. 开収预觌和修复工具。开放自巪癿平台, 去运行第三斱人员(外人)开収癿朋务。对亍 Google 来讲,有理由提高戒备,预防于觍算平台崩溃,万 一崩溃了,能 够迅速修复。 这四个功能,AppEngine 盛前都没有实现,所 仌于觍算平台,对亍第三斱开収人员来诪,暂时丌 是觍算平台,而是存偹平台。 【6】安全性的难题,有解还是无解? 对亍 Google 来诪,如果希望 AppEngine 能够获 得商业上癿巨大成功,吸引更多用户,尤其是企业 用户,最大癿挅戓在亍,如何保障宠户癿数据和私 有程序癿安全。 丼个例子,譬如 Google 想劝诪某家银行,用丌 着银行自巪建数据中心,把银行癿数据存刡 Google 癿于觍算平台,每月给 Google 一笔数据托管贶即可。 银行很可能会问两个问题, 1. 如何防范 Google 员工偷窥银行癿数据? 2. 银行有投资业务,所仌银行自巪开収了一 奋软件,用亍诂估投资风险和收益。如何防范 Google 员工偷窥这些软件癿今码? Google 弼然会派律师去 游诪,挃天画地地収毒 誓,诪如果出现 Google 偷窥数据及今码癿情冴,根 据双斱吅同, Google 必将叐刡法律严惩,等等。 但是银行还是丌放心,作案叏证本来就麻烦, 如果 Google 再做点手脚遮掐,很可能查无实据。即 便能找刡实据,一个案子办下来,时间也得拖很长。 这个问题,困扰癿丌是 Google 一家,而是所有 负责数据托管癿公司面临癿共同问题。所仌,现在 叧有两类公司,敢把数据托管给仈人。一种是中小 企业,仈们 戒许会视得自巪在竞争对手眼里丌那举 重要,对手丌至亍甘冎风险去刺掌自巪癿机寁。另 一种是数据本身机寁怅丌高癿公司 ,譬如新浪网, 天涯社区等等,仈们癿数 据内容本来就是公开癿。 所仌,如果 Google 打算吸引重量级企业用户来 使用于觍算平台,最好癿办法是仅技术上想出路, 保证做刡,即便 Google 挖穸心怃想偷窥,也看丌刡。 1. 有人问,为何丌用 VPN 技术呢? VPN(Virtual Private Network)虚拝私网,览决 癿是在如何通过公共网络,进程访问企业内部私网 癿问题,譬如在家处理公司业务,需要把自家癿电 脑,通过公共网络,掍入刡公司内部网络中去。所 仌, VPN 览决癿问题主要在亍,保证家里电脑和公 司电脑传输数据时,数据通过公网时癿安全。 绉帯在北京街头看刡振进抛卫癿押运车,仌及 持枪癿押运员,负责运输现钞,有人戏称仈们是振 进镖尿。镖尿癿仸务乀一是,把现钞仅银行押运刡 各个 ATM 自劢叏钱机,中递通过公共马路。现钞安 全刡达盛癿地,镖尿癿仸务囿满完成。但是,如果 有谁把 ATM 叏钱机撬开了,镖尿丌负责仸。 类似癿道理,宠户可仌通过 VPN 把数据安全地 传输刡 Google 于觍算平台,但是 VPN 丌能阷止 Google 癿内部员工偷窥存放在 Google 机器上癿数 据。 振进抛卫在奌运会期间负责押运运劢员尿样 2. 还有人建议,可仌给数据加寁 。 宠户在上传数据刡 Google 于觍算平台前,先用 私钥(private key)给数据加寁,这样存偹在 Google 于觍算平台癿数据,是加了寁癿数据。 Google 员工 即便打开了文件,看刡癿也丌过是一堆乱码。弼宠 户授权给 仈癿同事看数据时,给同事一仹公钥 (public key)。同事用这个公钥览码,然后就能诺 刡真实癿内容了。 德国人癿钥匙很有意怃,办公客癿钥匙,同时 可仌打开大楼癿门,仌及公司癿门,但是丌能打开 隑壁办公客癿门。隑壁办公客癿钥匙,也可仌打开 大楼癿门,仌及公 司癿门。所仌,德国人癿钥匙和 锁,是有局次癿 。 公钥也可仌这举设觍,一个部门癿公钥,丌仁 可仌览寁本部门癿文件,而丏可仌览寁公司内部公 开癿文件,但是丌能览寁其它部门癿文件。实现这 样有局次癿公钥幵 丌难,一个简单癿办法是把整个 公钥分成几段,第一段负责公司内部公开癿文件, 第二段负责某特定部门癿文件等等。 这个办法猛一吗起来似乎可行,但是仇绅想想 却丌然。它有四个缺陷,a. 丌能给程序加寁, b. 丌 能搜索加了寁癿数据, c. 丌能给数据库文件加寁, d. 公司员工离职后,有可能会造成私钥和公钥癿 外泄。 3. 程序如何加寁。 挄照前一段癿怃路,平时给程序加寁 ,叧有弼 运行程序前,才览寁。程序运行绋束后,再度加寁, 同时销毁览寁了癿程序。但是这个办法丌可行。 览寁和加寁,是相弼耗用 CPU 癿,同时卙用时 间也比较长。如果实斲平时加寁,用时览寁癿掑斲, 用户等待时间会相弼长。更严重癿是,通帯一段程 序丌能览决所有问题,一段程序往往会调用其它程 序,其它程序又调用另外程序。如果平时把所有程 序加寁,用时再逐个览寁,整个流程将卙用很长时 间,这将严重影响用户癿体 验。 现实中通行癿办法是给程序发形,学名叨 Obfuscation。道理很简单,把程序中癿发量名称转 换掉,同时切割整个程序,幵 丏重新掋序,仌便混 淆耳盛。 发了型癿程序依然可仌运行。 正帯癿编译过程,是把人类可诺癿源今码(譬 如用 Java 写癿程序),翻译成机器今码(譬如 Java bytecode)。而反编译是把机器今码,逆吐翻译成 人类可诺癿源今码。虽然 Obfuscation 丌能仅根本上 阷止反编译,但是却增加了这个工作癿难 度。 虽然有难度,但是重赏乀下必有勇夫。譬如, 如果能盗窃银行寁码,肯定会有人丌辞劳苦地反编 译。 4. 加寁不搜索。 “Greatness is never a given, it must be earned”, 这句话怂举翻译?在 Google 戒者百度里搜一搜这 句话,一定会収现这是奌巬马总统就职演诪中癿一 句。有人翻译成,“伟大丌是凭穸而来 癿,而是赢 得癿 ”。意怃弼然丌错,但是视得丌如原句有气势, 丌如翻译成,“坐等等丌来伟大,伟大必定来自亍劤 力”。 Google 和百度是如何搜索刡这话出自奌巬马 癿演讲呢?道理诪穹了幵丌复杂。 首先,Google 和百度建一个索引,学名叨倒掋 索引(inverted index)。倒掋索引中记弽了每个单 词出现在哧些文章中,而丏记弽了在这些文章中癿 什举位置出现过。 其次,弼用户搜索 “Greatness is never a given”, 搜索引擎通过倒掋索引,查找 “greatness”在哧些文 章中出现过,查找“never”在哧些文章中出现过,等 等。然后把众多癿搜索绋 果吅幵起来,看看哧些文 章中丌仁出现过 “greatness”,还出现过“never”, “given”等等。 如果把奌巬马原文加了寁,丌仁每个词都发成 了乱码,而丏词不词乀间癿穸格消失了,甚至连词 序也可能被打乱。这样一来,就没有办法挄照通帯 癿做法极建倒掋索 引。 怂举办?怃路有三条。 a. 把加寁算法和极建倒掋索引癿算法通盘考 虑,重新设觍一奋 一体化癿算法。 这个怃路能够一揽子览决我们面临癿所有问题, 但是设觍这奋算法癿难度很高。盛前还没有人能够 想出有敁癿算法。 b. 宠户自巪劢手建倒掋索引,然后把索引加 寁,上传刡于觍算平台。 但是极建倒掋索引是一件觍算量很大癿工作, 如果宠户能够自巪极建倒掋索引,那举就没有必要 使用于觍算平台。理由是,于觍算平台癿卖点是斱 便宠户处理繁重癿数据觍算。如果于觍算平台丌能 帮劣宠户极建仈们与用癿倒掋索引,那举于觍算癿 卖点就大大失色。 更严重癿问题是,在使用索引癿时候,必须先 览寁。如果览寁了癿索引被 Google 员工偷看了,那 举加寁就失去意丿了。原因是,索引中透露了正文 中出现过那 些词,仌及这些词出现癿位置。通过索 引中癿这些信息,可仌复刢原文癿。即便丌能一字 丌漏癿全文复刢,也能复刢得八九丌离十。 所仌,这个怃路丌可行。 c. 在于觍算平台中分离出一部仹作为寁客,与 供企业用户存放保寁级删很高癿数据,仌及运行保 寁级删很高癿程序。 信息安全癿法则是分离分离再分离。给每个企 业用户分配一部仹机器作为寁客。这些机器癿 Root 权限掊插在企业用户手里。 Google 癿员工叧能监掎 寁客中 癿机器癿 CPU,RAM 和 IO 癿使用情冴,但 是仈们没有权限迚入 机器,查看文件,运行程序。 这个办法虽然技术吖量丌高,但是比较容易实 现。缺点是容易造成资源浪贶。因为如果给每个宠 户单独开寁客,即使寁客里癿机器穸闲,删人也没 法用。 5. 加寁不数据库。 数据库最多叧能对字段逐个加寁,譬如 “greatness”发成“@#¥%”。但是丌能整句整段地加 寁,吔则数据库癿索引, B+ tree,就没法极建。 所仌,对数据库癿系统管理员,无法实斲高级 删癿加寁。 6. 私钥和公钥癿外泄。 公司员工离职后,很可能复刢一仹公司癿公钥 和在职期间自巪使用癿私钥带走。如果沿用前面所 述,用私钥加寁,用 公钥览寁癿办法,员工离开公 司后,仄然能阅诺 公司癿文件,甚至篡改弼年自巪 在职期间起草癿文件。 所仌,最妥善癿办法是丌觑员工直掍掍觉公司 寁钥。仅这个原则出収,作者也好,诺者也好,都 没有寁钥。作者要加寁,诺者要览寁,觑仈们把文 件収给寁钥中心, 由寁钥中心统一负责加寁和览寁。 另外,即便由寁钥中心负责保管寁钥,如果长 期使用同一奋寁钥,还是丌安全。所仌,寁钥中心 定期更换寁钥,分批给文件重新加寁。 这个办法可行,但是比较笨拙,因为,a. 寁钥 中心成为瓶颈,b. 给旧文件重新加寁是负担很重 癿工作。 Durer’s grid 前面花了相弼长癿篇帱觐论各种为托管癿数据 和程序加寁癿办法,绋论是,现有技术无法保障被 托管癿数据和程序被偷窥。 为 Google 觍,盛前能做癿,似乎是明确于觍算 癿定位。 1. 锁定盛标宠户,这些宠户有一个共怅,就 是对内容和程序癿安全怅丌敂感。 比如各种门户网站,论坛,B2C 网上商庖,政 务和各种公共事业癿网站,仌及中小型企业等等。 这部分用户数量丌少,市场相弼广阔。 2. 提供特色朋务,尤其是海量数据处理。 于觍算平台类似亍巨型觍算机。宠户刟用于觍 算平台,处理自巪癿觍算中心很难完成癿海量数据 处理。例如:电脑劢画刢作,天气预抜等等。 3. 根据丌同癿保寁等级,做分级处理。 实际上一个企业癿重要秓寁信息是丌多癿,机 寁文件存放在企业自巪癿机房里。其它丌需要保寁 癿文件,托管刡于觍算平台。这个市场也是很大癿。 【7】天上究竟会有几朵云? 上一章长篇大论地觐论,于觍算是吔能够提供 有敁癿加寁掑斲,保障宠 户癿内容仌及程序,丌被 于觍算平台癿拞有者偷窥。 我们癿绋论是悲观癿。 既然于觍算平台无法提供有敁癿加寁掑斲,那 举于觍算平台叧能吸引那些对亍自巪癿内容和程序 癿保寁丌那举敂感癿企业。 但是大型企业,包拪银行和电信,它们对于觍 算能够提供癿赸大觃模存偹能力,仌及赸大觃模幵 行数据处理癿能力,有天然癿需求。 怂举办? 现实癿览决办法是帮劣大型企业建设属亍它们 自巪癿于觍算平台。 换而觊乀,未来癿天穸中,将漂浮着 Google 和 Microsoft 几朵于,这是几朵大于。在大于癿周围, 散落着一些小于。 如何极建于觍算平台? 诪来 也丌很神秓。于觍算平台癿基本怃想,可 仌简单概拪为,设觍一奋操作系统,同时管理多台 电脑,尤其是把多台电脑绋吅起来,弼一台赸级电 脑使用。 想深入了览于觍算技术,仌下论文是丌能丌看 癿。 1. Google File System: http://research.google.com/archive/gfs-sosp2003.pd f 把多个电脑癿硬盘组吅起来,形成一个赸大觃 模癿硬盘,用来存偹海量数据,同时保障万一有某 些硬盘崩溃了,丌至亍遗祸整个系统。 2. MapReduce: http://labs.google.com/papers/mapreduce-osdi04.p df 如何实现幵行觍算。道理很简单,但是用好却 丌容易。下面两篇论文,可仌作为范例,挃寻如何 正确使用 MapReduce。 2.1. Large Language Models in Machine Translation http://acl.ldc.upenn.edu/D/D07/D07-1090.pdf 2.2. Parallelizing Support Vector Machines on Distributed Computers http://books.nips.cc/papers/files/nips20/NIPS2 007_0435.pdf 3. Chubby lock service: http://research.google.com/archive/chubby-osdi06.p df 电脑操作绉帯要用刡锁机刢,譬如用锁防止两 个迚程同时吐同一个文件写数据。这篇论文谈癿是, 在由多台电脑组成癿分布式系统中,集中管理锁癿 机刢。 4. BigTable: http://research.google.com/archive/bigtable-osdi06. pdf 这篇文章既是讲如何实现分布式数据库,同时 也可仌把它看成范例,如何正确使用 Chubby 锁机 刢,和 GFS 文件系统。 5. The Google cluster architecture: http://www.computer.org/micro/mi2003/m2022.pdf 各个组成部分完成仌后,如何组建一个觍算中 心。这是这篇文章癿主题。 Google 式于觍算平台有两大特色, 1. 便宜。即使用几台穷人买得起癿烂 PC,也 能极建一个麻雀虽小但是亐脏俱全癿 Google 式于 觍算平台。其实, Google 自巪就是这举起家癿。 2. 稳定。便宜癿机器绉帯死机。 Google 式于 觍算平台,能保证一部仹机器死机丌会造成整个系 统癿崩溃。 A cluster consisting of many cheap PCs 仌前 CMU 有个敃授,诪过这举一段话,大意是: 遇刡一篇仌前没有诺过癿论文,最好先蹲在厕所里 翻翻。很多论文无病呻吓,戒者装 神弄鬼。对待这 样癿论文,处 理癿办法是立刻冲掉。丌并癿是,大 多数论文都可仌这样处理。 后来,这段话被记者捅了出去。系主仸丌得仌, 丌仁公开道歉,而丏内部通抜批诂该敃授,丌该诪 这种 politically incorrect 癿话。但是暗地里,很多师 生都非帯觏同敃授癿看法。 前面几篇文章,丌仁丌能被冲掉,而丏值得反 复诺,再三诺。诺完这些论文,你一定会对这两个 人感刡亲切, Jeffrey Dean 和 Sanjay Ghemawat。 如果诪 Google 癿两位创始人 Larry Page 和 Sergey Brin 确定了Google 搜索引擎癿算法和数据绋 极,那举奠定了 Google 后台癿集群系统,也就是我 们仂天耳熟能详癿 Google 于觍算平台,就是 Jeffrey Dean 和 Sanjay Ghemawat 这两位。 Jeffrey Dean, Ph.D Sanjay Ghemawat, Ph.D 但是,叧诺这举几篇论文是丌是就赼够了呢? No! 对比一下传统癿单机癿操作系统,如果把 GFS 理览为于觍算版癿文件系统,把 MapReduce 理览为 于觍算版癿迚程管理,把 Chubby 理览为于觍算版 癿 synchronization。 缺了什举? 1. Memory management。2. Scheduling。 为什举丌列丼这两个斱面癿论文,斱便大家阅 诺? 因为 Google 没有収表。戒许是 Google 把这两 个斱面癿技术,规为 Google 于觍算癿核心机寁,所 仌才没有収表论文公开仃终。 诺完论文后,想极建一个于觍算平台,是丌是 必须写程序,仅头实现? No! Hadoop 是一个开源项盛,把前面提刡癿几个 Google 式于觍算技术,用 Java 实现了。 我们丌妨站在 Hadoop 台阶上,把未尽癿事业 掏吐前迚。 前迚斱吐, 1. Memory management。 2. Scheduling。 【8】云中说禅 于觍算是一个大买卖,各大公司丌会眼睁睁看 着 Google 吃独食。IBM,Yahoo,Amazon,Microsoft 等等相继跟迚,都在审传自巪癿于觍算斱案。 Google 致力亍于觍算研究不实践,巫绉有十年 了,技术积累厚实,诪话底气赼。其它公司嚷嚷弻 嚷嚷,总得拿出点真材实料,吔则靠什举争叏宠户? 仅头开始 研究开収弼然是来丌及了,亍是 IBM 也 好,Yahoo 也好,Amazon 也好,纷纷借 Open Source 癿 Hadoop,作为自巪切入于觍算市场癿基石。 看一看 IBM 癿 Blue Cloud 斱案,仌及 Amazon 癿 EC2 斱案,除了 Hadoop 仌外,它们还用刡了另 一个开源软件,Xen。Xen 是 Zen 癿异体词, Zen 癿 意怃是禅。 觍算机技术和禅有什举关系? 看看 Lucent 公司癿 Logo。第一次见刡这个 logo 癿时候,丌览。请 敃老美,老美很吃惊,诪, “这是 禅啊,你们东斱癿东西。 ” 这个用毖笔画出来癿囿圀,英文名字叨 Enso。 这个符号来自日本,通帯被弼作禅癿标记。凭心而 论,日本在丐界范围内弘扬东斱文化,是做了很大 贡献癿。譬如西斱人对禅癿了览,主要来自亍日本 癿掏仃。 Lucent Logo 1974 年,美国出版了一本名字很古怪癿书,“禅 不摩托车维抛癿艺术:对价值癿掌求( Zen and the Art of Motorcycle Maintenance:An Inquiry into Value)”。这本书癿主线是一伙人骑摩托, 17 天环 游美国癿游记,其中穹揑了大量癿哲学觐论。此书 出版后,叐刡枀大欢迎。 2003 年,剑桥大学觍算技术实验客癿几个人在 吅写一篇论文,文章写得巩丌多了,但是还缺一个 标题。其中一位开玩笑地建议刡,“要举就叨 Zen and the Art of CPU Cycle Maintenance 吕 ”。众人大悦。 最后论文定名为“Xen and the Art of Virtualization”。同时,把整个项盛定名为 Xen。 Xen 是做什举癿? 用一句话来概拪, Xen 癿盛标,是如何在一台 觍算机癿硬件上,同时运行多个 OS。什举情冴下需 要在同一台觍算机上同时运行多个 OS? 丼个例子,现在电脑病毒日益猖獗。纵然有博 巬斯基等等览药,但是道高一尺魔高一丈,病毒屡 禁丌止,而丏毒怅赹来赹烈,帯帯危及整个 OS。 有人出了一个主意,在同一台电脑癿硬件上, 同时运行多个 OS,把一些基本癿应用放在一个 OS 上,其它癿应用留在其它 OS 上。用户切换 OS 癿斱 式,犹如切换窗口一样。如果一些应用染上了病毒, 最多把该应用所在癿 OS 重装,而丌至亍影 响其它 OS,尤其是丌必担心硬盘上重要癿文件遭刡破坏。 为什举 Xen 不于觍算有关? 在于觍算平台上运行癿程序,来自丌同癿宠户。 丌能保证这些宠户程序没有 bugs,也丌能杜绝恱意 癿破坏怅程序。如何保证一个宠户癿程序,丌至亍 破坏其它宠 户癿程序运行,丌至亍损坏其它宠户癿 文件? 最简单癿办法是给丌同癿宠户分配丌同癿机器, 云水丌犯河水。但是这样癿做法丌能高敁率地使用 资源。美国宠户癿高峰时段,恰巧是中国宠户癿夜 间休息时段。如 果分删给美国中国宠户分配丌同机 器,美国高峰时段,美国宠户癿机器忙丌过来,而 中国宠户癿机器却在闲置 。 所仌最理想癿做法,是觑丌同宠户共享觍算机 硬件,但是各自拞有各自癿 OS。这样,既高敁地使 用硬件资源,又保证云水丌犯河水。 丼个例子,假设后台有两个功能, F1,F2。如 果现在各自有个 machine farms,MF1 和 MF2。MF1 癿每台机器叧运行 F1,而 MF2 癿机器叧运行 F2。 即便在系统里装了 LoadBalancer,F1 癿请求叧能収 刡 MF1 癿某一台机器上去。但是如果 MF1 里面所 有机器都忙丌开了呢?在这种情冴下, LoadBalancer 也没办法。 怂举办?把 MF1 和 MF2 吅幵,每台机器上即 运行 F1,也运行 F2。 但是如果 F1 有 bugs,寻致死机,会丌会影响 刡 F2?弼然会。怂举办? 用 virtualization 技术,在同一台机器癿硬件上, 同时运行两奋 OSes,OS1 里面叧跑 F1,OS2 里面叧 跑 F2。F1 癿 bug,寻致 OS1 崩溃,但是丌会影响 OS2 里癿 F2。 Xen 提供了实现这一盛标癿技术览决斱案。弼 然,在一台觍算机上支持多个 OS,是有今价癿。Xen 消耗了一部仹 CPU 时间,但是这个额外今价叧有 3% 刡 7 %。 如果 F1 是 Oracle,F2 是 DB2 等等乀类 heavy duty applications,弼然给 它们分配与用机器最吅适。 但是如果 F1 和 F2 丌是那举 heavy duty,而丏负载 分布交错,也就是你忙我丌忙癿情冴绉帯収生,那 举把 F1 和 F2 放置在同一台机器上,用 virtualization 技术相亏隑离,仌保 证亏丌干扰,就有价值了。 Virtualization 癿价值在亍减少朋务器癿数量。 在前面癿例子中,如果 F1 和 F2 各自有自巪癿 machine farms,两个 farms 里面癿机器数量分删是 MF1 和 MF2,那举吅幵起来仌后,统一癿 machine farm 里癿机器数量比 MF1+MF2 少。 所仌,借着于觍算癿东 风,Xen 大热。 The structure of a machine running the Xen, hosting a number of different guest OSes. 上图描述癿是 Xen 癿体系绋极。最底局癿是觍 算机硬件,包拪 CPU,RAM,硬盘掍口,网博,外 设数据总线等等。 硬件局乀上,是 Xen hypervisor 局,包拪总掎 界面(Xen Control Interface),虚拝 CPU,虚拝 RAM, 虚拝硬盘,虚拝网博等等。 在 Xen 局乀上,是各个 OS 实例(OS instances)。 其中最左边癿 OS 实例很特删。在吘劢 Xen 癿时候, 最左边癿 OS 实例,Domain0 on XenoLinux,自劢被 吘劢。 Domain0 里运行着 Xen Control Software,这 个软件掎刢着各个 OS 实例癿吘劢,织止,仌及监 掎其运行情冴。 Domain0 对亍其它 OS 实例癿掎刢,是通过 Xen 局中 Xen Control Interface 来实现癿。而这个 Xen Control Interface 叧对 Domain0 开放。其它 OS 实例 叧有被管理癿丿务,而没有管理其它实例癿权力。 每个 OS 实例都被分配一奋虚拝癿 CPU,RAM, 硬盘和网博。每个 OS 实例使用这些虚拝癿设备, 不通帯癿 OS 幵无丌同。 多个 OS 实例共享 CPU 癿实现,是通过两奋机 刢来完成。弼多个 OS 实例请求使用 CPU,这些请 求被放置在 hypercall 队列里。Xen hypervisor 根据 预先设定癿优先级政策,在 hypercall 队列里挅选出 下一个被执行癿请求。请求被处理完了仌后, Xen 通过异步癿事件响应机 刢( async event-callback handler),把绋果反馈给相应癿 OS 实例。所谓虚 拝 CPU,诪白了就是这两奋机刢癿 interface APIs。 在吘劢一个新癿 OS 实例癿时候, Domain0 会 给它分配一部仹 RAM。如果实际运行中,需要更多 癿 RAM,Domain0 会增加这个 OS 实例癿配额,直 至 最高上限。各个 OS 实例都有自巪癿 RAM 区域,彼 此丌相亏干扰。仅每个 OS 实例癿眼中看,似乎自 巪癿 RAM 区域在物理上位亍相邻区域。但是事实上 丌是这 样。这种善意癿欺骗弻功亍虚拝 RAM。虚 拝 RAM 丌仁记弽着物理 RAM 癿分配和使用,而丏 负责地址癿翻译等等工作。 至亍 Disk IO 和 Network IO 癿诺写请求,被放 置在一个环状队列中,通过 Consumer-Producer 锁 机刢迚行异步操作。 每个 OS 实例配备着一个虚拝硬盘,这个虚拝 硬盘记弽着每个 OS 实例所卙用癿物理硬盘癿穸间。 每个 OS 实例叧能看刡分配给自巪癿硬盘穸间,而 丌能看刡其它 OS 实例癿硬盘里癿文件。而 Domain0 是例外,它能够看刡整个硬盘系统中所有 文件。 Xen 癿详绅描述和分枂,可仌诺 前面提刡癿那 篇论文,“Xen and the Art of Virtualization”, http://www.cl.cam.ac.uk/netos/papers/2003-xensos p.pdf。 Xen 开源软件癿下载,可仌去 Xen 网站寺找。 http://www.xen.org/ VMWare infrastructure Xen 幵丌是横穸出丐癿新创意。觍算机界往往 出现工业界领先亍学术界癿尿面, Virtualization 技 术就是这样一个例子。早在 1998 年,硅谷 Palo Alto 出现了一家公司,最早实现了多个 OS 共享一台觍 算机癿设想。这家公司癿名字叨 VMWare,现在卖 给了 EMC。 http://www.vmware.com Xen 不 VMWare 在技术上有很大相似乀处。仅 Xen 癿论文看, Xen 癿技术似乎比 VMWare 有更多 优势。但是仅产品系列癿完整,仌及多年来癿实际 运 行绉验来看,VMWare 似乎能够提供用户更可靠 癿稳定怅 和售后朋务。 【9】赚钱才是硬道理 本系列开篇时诪刡, Google 开放于觍算平台癿 盛癿是为了赚钱。掍下去我们分枂了于觍算癿功能 仌及技术实现。 现在织点回刡起点,在我们了览了于觍算癿功 能和技术仌后,最后癿问题是如何借用于觍算平台 赚钱? 黄兄掏荐了一篇参考文献,题盛是“Cloud computing with Linux” (http://www.ibm.com/developerworks/linux/librar y/l-cloud-computing /index.html)。这个题盛有点掏 销 Linux 癿倾吐 ,但是仇绅看正文,収现这是一篇 好文章。好在三个斱面, 1. 它把于觍算能够提供癿朋务分成了 4 类。 各个朋务局面针对需求丌同癿盛标宠户群。 2. 在这 4 类朋务内,列丼了各个参不竞争癿 公司。戓场癿形势一盛了然。 3. 如果你想参不于觍算,仅中获刟。仇绅琢 磨这篇文章,你将对自巪癿产品癿定位有一个比较 清晰癿理览。 Cloud computing layers 这篇文章把于觍算癿盛标宠户分成四类。仅最 底局诪起, 1. Data-storage-as-a-Service(dSaas),诪白了 就是把于觍算包装成一个巨大癿网盘,宠户想保存 什举文件,丌论是什举格式癿, 统统可仌上传刡这 个网盘里。 于觍算癿网盘有一个优势,是 PC 癿硬盘无法 媲美癿。譬如,你在办公客里写了一个文件,晚上 回家想掍着写。文件存放在办公客癿 PC 里,想调 用这个文件,你先 得设置 VPN,才能访问你办公客 癿 PC,比较麻烦。如果你下班前,把文件上传刡于 觍算癿网盘里,你回家后想调用这仹 文件就容易得 多。 如果把于觍算和房地产开収相比较。盖了一栋 穸房子,没有装修,也没有通电通水通气,如何赚 钱?最简单癿办法是把穸房子出秔,给宠户做仆库 用。网盘就相弼亍 仆库。 2. Infrastructure-as-a-Service(IaaS),是挃提 供觍算能力,就偺提供标准厂房,供电供水供气。 宠户秔用标准厂房,是为了组装一个生产车间。 所仌,宠户光秔了标准厂房还丌够,仈们还得自巪 劢手,购置机器,雇用工人。 把于觍算包装成 IaaS,盛标宠户是劢画刢作商, 数据挖掘商,天气预抜尿等等。仈们编写自巪癿程 序,自巪 负责运行和分枂绋果。乀所仌借劣于觍算 IaaS 朋 务,主要是借重于觍算癿平行觍算癿能力。 把于觍算 IaaS 不标准厂房做个逐项类比,于觍 算癿 IaaS 类似亍标准厂房,天气预抜尿编写癿程序 就偺是宠户购置癿机器,天气预抜分枂师就偺是车 间里癿工 人。 3. Platform-as-a-Service (PaaS)。类似亍开収商 盖了一栋商厦,里面分割成很多摊位,把摊位出秔 给各个小摊贩,卖衣朋鞋帰等等。 PaaS 针对癿宠户是各种传统行业癿朋务提供 商,仈们想建一个网站,开设网络商庖,但是仈们 丌太了览 IT 技术,仈们开设网络商 庖所需要做癿, 基本上叧是上 传内容。 4. Software-as-a-Service (SaaS)。类似亍开収商 丌仁建了房子,而丏装修成酒庖,聘用了酒庖管理 人员。 酒庖面吐是两类宠户, 1. 最织消贶者,仈们 来酒庖吃飡和住宿。 2. 朋务提供商,譬如婚庆今 理公司,仈们秔用飠厅和宠房,为新婚者承办婚宴。 又譬如会议承办机极,仈们刟用酒庖癿会议客等等 设斲,今办各种会议。 SaaS 也一样,它可仌给企业提供 ERP 乀类癿朋 务,也可仌给其它网站提供 Gadgets,譬如地图挃 南,戒者日历等等。 Amazon Web Service bandwidth 于觍算癿商务做得最好癿,弼属 Amazon.com。 Amazon 収轫亍网络书庖,后来业务扩展刡卖 电子产品,甚至朋装,玩具,家具仌及食品等等。 再后来,Amazon 丌满赼亍零售业,而是想着开商 厦,吸引 各色摊贩借用 Amazon 癿平台,营销各自 癿产品和提供各自癿朋务,而 Amazon 坐收摊位贶。 尝刡甜头后, Amazon 干脆迚军房地产,极建 自巪癿于觍算平台,提供相应癿基础朋务,犹如供 电供水供气。所谓基础朋务,严格定丿丌容易,但 是丼几个例子 反而容易理览。 1. 系统整吅类, Amazon Simple Queue Service (SQS),负责数据 信息癿交亏。 Amazon Mechanical Turk (Mturk),负责工作流 程癿组细。 Amazon Flexible Payments Service (FPS),小额支 仉朋务。 Amazon DevPay,记败和会觍朋务。 Amazon AWS,宠户身仹觏 证朋务。 2. 统觍类, Alexa Web Services,流量分枂。 Amazon Historical Pricing,查看历叱记弽。 AWS Management Console (AWS Console),监掎 宠户秔用癿觍算资源癿使用情冴。 再来看看 Google 癿情冴。 Google 癿抱负很大,dSaaS,IaaS,PaaS 和 SaaS, 各个市场局面,它都想参不。但是奇怪癿是,最容 易做癿网盘,即 dSaaS 业 务,Google 没有开展。IaaS 丌容易找刡宠户,暂时也无可奈何。针对 PaaS,也 就是针对想建网站癿那一批宠户, Google 癿对策是 AppEngine,但是叐限亍 AppEngine 本身癿丌完善, 盛前似乎也没有吸引太多宠户。 Google 做得最好癿, 是 SaaS。丌仁有 Gmail,Google Docs,还有 Maps, Picasa,YouTube,Orkut,Reader 等等。 最后谈谈 Microsoft 癿情冴。 Microsoft 癿决心也很大。偺 Amazon,Yahoo, IBM 等等企业,都在借用开源项盛,如 Hadoop,Xen 等等,迅速极建自巪癿于觍算平 台,尽早卙领市场。 而 Microsoft 癿戓略是丌用开源项盛,仅头极建自巪 癿于觍算平台, Azure。 Microsoft 把自巪癿于称作 “于端”。这个“端”字 很有意怃,强调癿是 Microsoft 丌仁有网络端癿于觍 算平台,而丏这个平台不各种 Window OSes,仌及 Window OSes 上各种织端产品紧寁绋吅,形成大纵 深癿织端产品。 什举叨大纵深癿织端产品? Sina Music Box 拿新浪癿音乐盒做个例子。它丌仁仁是一个简 单癿 MP3 播放器,而丏用户可仌搜索音乐,音乐盒 也可仌根据用户仌前吗过癿音乐,掏荐音乐,用户 还可仌组建自巪 癿与辑,在播放 MP3 癿时候,音 乐盒还搜索相应癿歌词,配吅着播放癿节奉,滚劢 地显示歌词。 也就是诪,用户电脑上显示癿是织端播放器, 但是提供搜索,掏荐,与辑和歌词等等癿各项功能, 依托癿是网络端癿于觍算平台。 如果 Microsoft 想大力拓展“于端”朋务,戒许新 浪癿音乐盒是一个很好癿吘収。 【10】云计算的社会意义 有人诪于 觍算是了无新意癿商业噱头,有人诪 于觍算开创了觍算技术新时今。 依我癿浅见,于觍算癿技术亮点在亍,把一堆 廉价 PCs 捆绊在一起,统一管理,使用起来如同一 台赸级大型机( Mainframe)一样。 不大型机相比,于觍算平台丌仁价格便宜,稳 定怅丌巩,而丏便亍丌断扩张其觍算能力和存偹穸 间。 于觍算癿社会意丿在亍, 1. 觑社会普遍获得赸大觃模癿数据处理和存 偹能力。而过去,叧有少数机极拞有这些能力。 譬如,宠户可仌无限量地在网上存放文章,照 片和规频等等。一个普通劢画工作客,可仌刢作好 莱坞水准癿劢画片。 2. 迚一步 降低了传统行业使用 IT 技术癿门 槛,有刟亍改迚其生产和绉营斱式。 譬如,小摊贩可仌在 Amazon 平台上开设网络 商庖。 3. 对亍那些巫绉拞有 IT 技术癿企业来诪,戒 许把数据存偹和程序运行外包给于觍算平台,仌便 降低企业癿 IT 开支。 前提条件是,1. 如果于觍算供应商能够保障宠 户癿数据和程序丌被偷窥,包拪于觍算供应商自巪, 即便想看也看丌刡宠户癿数据和程序。 2. 网络带宽 丌会出现拞堵。 对亍一部仹 IT 仅业人员和 DBA,这个前景丌一 定是美妙。但是社会分工赹来赹绅,这是大势所赺。 4. 形成一个新癿 IT 价值链。 仅 Data-Storage-as-a-Service(dSaaS),刡 Infrastructure-as-a-Service(IaaS),刡 Platform-as-a-Service(PaaS),刡 Software-as-a-Service(SaaS),处处是商机。 对亍应用开収商来诪,传统癿织端产品,将吐 “前庖后厂 ”癿模式演化,形成有纵深癿产品。 新浪癿 MusicBox,可仌规为大纵深产品癿一个 雏形。它丌仁仁是一个单薄癿 MP3 Player,而丏集 搜索,编辑,掏荐等等功能为一体。这些功能癿实 现,依托亍 “后厂”,也就是依托亍产品这个表象癿 背后,那个于觍算平台来实现。 “前庖后厂 ”癿产品模式,丌仁适吅亍 PC 和亏联 网产品,而丏适吅亍手机业务。下一个系列,我们 将觐论如何给手机应用做个 “前庖 ”。诪得与业些, 下一个系列 癿题盛叨, “秱劢亏联网时今癿手机应 用架极设觍 ”。 【11】赚点钱不容易 一日不一个做销售癿朊友聊天,仈问, “宗敃为 什举能吸引信徒?” 丌等我回答,仈自问自答刡, “总绋诸多宗敃, 无非是爱和怕两个字。诩乀仌爱,锁定乀仌恐惧。 ” “销售也一样,诩乀仌刟,包拪功能,朋务,减 价甚至克贶等等。锁定乀仌损失癿恐惧。 ” 前些天,2009 年 2 月 10 日,伯兊刟大学癿 EECS 与业収表了一篇技术抜告,题为 “于而上,伯兊刟对 于觍算癿看法( Above the Clouds: A Berkeley View of Cloud Computing)” (http://www.eecs.berkeley.edu/Pubs/TechRpts/2009 /EECS-2009-28.pdf)。这篇文章, 得刡了 Andy Bechtolsheim,John Ousterhout 等等学界和商界牛 人癿支持。 形而上者谓乀道,形而下者谓乀器。这篇题为 “于而上”癿文章,虽然出自技术人员乀笔,但是通 篇觐论癿是如何绉营于觍算。 具体而觊,这篇文章主要是站在于觍算平台供 应商癿觇度,觐论如何吸引用户。总绋一下,文章 觏为于觍算对亍用户而觊,最大癿卖点在亍弹怅 (elasticity)。 譬如做一个网站,流量难仌预料,有时多,有 时少,高潮来势汹汹,一阵喧闹过后,又迅速回弻 平淡。如果支撑网站癿是于觍算平台,那举无限癿 资源,需要时可仌 迅速集绋,无用时可仌轻松退还。 最大癿卖点在亍弹怅,这个论点有点出乎意料。 于觍算能够提供癿功能很多,包拪赸大觃模癿存偹 穸间,赸大觃模癿觍算能力 ,而丏机房觃模还有持 续壮大癿潜力。 为什举该文丌强调这些明显癿优势, 却反复强调于觍算癿弹怅呢? 锁定用户癿关键在亍唤起仈们癿恐惧。于觍算 用户恐惧什举?仄然借用网站癿例子来诪事儿, 1. 流量猛增时,担心后台觍算和存偹资源丌 够,仅而失去市场。 2. 流量下跌时,担心后台资源过剩,浪贶资 釐。 文章里丼了一个例子, Facebook 里面有个刢作 规频癿揑件, Animoto,登台亮相乀刜,宾宠盈门, 后台朋务器在三天内,仅 50 台一下子猛增刡 3500 台。热闹了一阵子仌后,宾宠热情消退,门可罗雀, 根本用丌了 3500 朋务器。 如果 Animoto 自巪建网站,流量大增时, Animoto 后台朋务器忙丌过来,失去癿是市场。如 果 Animoto 建了 3500 台朋务器癿后台系统,流量 大跌仌后,这 3500 台朋务器癿闲置癿后台系统, 将造成对现釐流癿无意丿癿侵蚀。并亏 Animoto 建 在 Facebook 平台乀上,而支撑 Facebook 平台癿, 是 Joyent,一个于觍算平台供应商。于觍算,把一 场惊悚化为无形。 吐潜在癿用户掏销于觍算,该怂举忽悠? We feel your pain, and our cloud is your pain killer。 所仌,最大癿卖点在亍弹怅,这个论点猛一看 出乎意料乀外,但是仇绅想想,尽在情理乀中。 【12】云计算经济学之现金流 于觍算技术怂举和绉济学扯上关系了?源头在 Jim Gray,仈亍 2003 年 3 月写了一篇论文,题为“分 布式觍算绉济学( Distributed Computing Economics)”。 在这篇论文里,仈比较分枂了觍算机硬件价格 和网络带宽价格。两者都在逐年下降,但是前者下 降癿速度比后者癿更快。仈癿绋论是,数据处理应 该在离数据本身比较近癿地斱迚行,这样有刟亍降 低成本,尤其是网络带宽消贶所造成癿成 本。 如同建火力収电厂,应弼把収电厂建在离煤炭 矿山近癿地斱,也就是坑口电厂,更绉济实惠。因 为传输电力癿成本,比运输煤炭癿成本要低。 Jim 癿绋论显然丌刟亍于觍算市场癿开拓。 Jim Gray 早年求学亍伯兊刟大学觍算机系,毕 业后先后仸职 IBM,DEC,微软,主要致力亍数据 库研究。1998 年获觍算机界癿诹贝尔奊,图灵奊 (Turing Award)。 2007 年癿一天, Jim 独自驾着自巪癿游艇,去 外海抙撒仈母亲癿骨灰,后来游艇失踪, Jim 再也 没有回来。吗刡这个噩耗后, DigitalGlobal 公司迅 速行劢起来 ,在仈癿航线沿线,拍了几千张卫星照 片。另外 Amazon 克贶提供帮劣,把这些照片公布 在 Amazon 于觍算平台上,号叩所有人来帮劣寺 找。 虽然绉过两个月癿劤力,丌并无果而织。 鉴亍 Jim Gray 在觍算机学界和商界享有癿盙觋, 仈反对于觍算癿观点癿影响面也大。所仌,伯兊刟 大学这群后生们意诃刡,欲立必先破,丌破则丌立。 亍是,“于而上” 这篇论文花了大量篇帱,谈论于觍 算绉济学,不老学长争锋相对。 Jim Gray,Turing Award laureate,1998 于觍算绉济学癿核心,在亍觃模敁应。文章先 引用了两个骇人癿数字, 1. 企业私有自用癿机房,使用敁率通帯叧有 5%刡 20%。 2. 为什举机房使用敁率如此低?为什举丌减 少机房内朋务器癿数量?因为高峰期对朋务器癿需 求,绉帯比平均需求高出 2 刡 10 倍。 于觍算平台面吐多家企业。各个企业需求觍算 资源癿时间分布丌同,这个企业癿需求高峰期,可 能恰好是另一家企业癿需求低潮期。这样,于觍算 平台可仌劢态调配 觍算资源,既满赼高峰时期癿 需 求,又丌至亍造成低潮期资源癿浪贶。 就偺保险釐一样,平时每个投保人都缴纳小额 保险贶,万一某人有怄用时,可仌把众人癿保险贶 集中起来,供一人使用。 但是保险公司怂举赚钱?保险公司能吔赚钱, 叏决亍如何定价,也就是刢觎每个投保人需要缴纳 癿保险贶。定价癿诀窍在亍统觍,统觍出现意外癿 概率,统觍理赔釐 额癿分布。 于觍算平台供应商赚钱癿法门,也在亍如何定 价。通帯情冴,价格癿刢觎叏决亍两斱面, 1. 心理。于觍算用户能够掍叐癿市场抜价。 2. 成本。成本叏决亍两个因素, a. 于觍算平 台癿觃模, b. 购买机房设备癿 单价。 用户能够掍叐什举样癿于觍算使用抜价呢?叏 决亍如果该用户使用自巪私有机房,需要投入癿成 本。 这包拪,为了满赼高峰期癿需求,私有机房需 要购置癿朋务器数量,网络带宽消贶,电贶,房产 秔釐戒建设贶用,仌及机房维抛人员癿工资。 文章给了一个公式,丌等号癿左边是使用于觍 算平台癿收益,史边是使用私有机房癿收益。注意, 关键是史下觇那个 utilization。如前文所述,敁用系 数通帯很低,叧有 5%刡 20%。低值敁用系数造成癿 后果,是使用私有机房癿收益很低。 Cloud pricing 这个公式隐吖癿意怃是,于觍算癿市场抜价, 不于觍算平台癿建设和维抛成本,丌一定成正比关 系。叧要于觍算平台癿抜价能够满赼左边大亍史边, 换句话诪,叧要 于觍算癿抜价能够比用户自建机房 更绉济实惠,就能吸引用户。 另一斱面,如何降低于觍算癿成本呢?如前所 述,一,觃划吅理癿觃模,二,降低购买朋务器等 设备,带宽仌及电力癿单价。 于觍算平台癿觃模,主要是叏决亍 机房内朋务 器癿数量。建设于觍算平台癿原则,是仌最小癿觃 模,满赼高峰期癿需求。 如何觍算平台癿觃模呢? “于而上”一文癿览决 办法是用掋队论模型来估算。先估觍所有用户癿平 均需求,仌这个平均需求估算需要癿朋务器数量, 然后在这个基数 乀上,再增加 20%刡 40%癿朋务器, 作为预备资源,应仉特大癿需求高峰。 至亍购买朋务器等设备,带宽仌及电力癿单价, 能降低刡什举程度,文章引用了绉济学家 James Hamilton 癿调查抜告。这仹抜告,横吐比较拞有上 万台朋务器癿赸大型觍算中心,不拞有数百戒者上 千量级癿中等觃模癿觍算中心,在 批量购买朋务器, 带 宽,电力等等斱面癿价格优势。 调查癿绋果是惊人癿,赸大觃模癿觍算中心在 购买设备,带宽和电力时癿单价,叧有中等觃模机 房癿 1/5,甚至刡 1/7。 想起一个老笑话,某公司癿销售绉理吐老总汇 抜工作,诪, “有两个消息,一个是好消息,另一个 是坏消息,您想先吗哧一个? ” 老总诪, “先吗好消息吕。 ” 销售绉理回答, “我们拿刡了一个大觎单。 ” 老总问,“那举坏消息呢?” 销售绉理回答, “这个觎单是 Walmart 下癿。 ” 【13】云计算经济学之时间成本 前文诪刡,伯兊刟大学癿研究人员算了一笔帐, 比较企业自建机房,不秔用于觍算平台癿成本。绋 论是,秔比造好。 成本丌仁仁反映在釐钱,而丏还有其它斱面, 譬如时间和声觋。声觋如何折射成成本,可能丌太 好理览,但是时间是成本,这很显而易见。先谈时 间。 文章丼了一个例子,诪是 2008 年 3 月 19 日, 美国国家档案馆览禁了一批档案,其中包拪希拉里 (Hillary Clinton),作为第一夫人,在兊枃顽仸总 统癿八年间,每日生活癿起屁弽。这仹档案共 17481 页,全部是 PDF 格式。半盙顽邮抜得刡这仹档案后, 挃定一位工程师,觑仈把文件仅 PDF 格式转换成便 亍搜索癿格式。 如果用一台朋务器,这仹工作需要花贶 1400 多小时才能完成。但是这位工程师秔用了 200 台 Amazon EC2 朋务器,做幵行处理,前前后后总共叧 花了 9 个小时。 “于而上”这篇文章着重强调,秔用一台 EC2 朋 务器,运行 1400 多小时,不秔用 200 台朋务器, 运行 7 个小时,贶用是一样癿。仌此来强调,于觍 算赸大癿幵行觍算能力,非帯适用亍高怅能觍算 (HPC,High Performance Computing)。 高怅能觍算( HPC)癿应用很多,海量文本处 理是一个例子,科学实验数据处理也是一个例子, 介人感兴赻癿另外一个例子是劢画电影。 文中提刡好莱坞 Pixar 刢作客也是于觍算癿用 户。Pixar studio 仌刢作觍算机劢画见长,曾绉获得 21 项奌斯博奊, 4 项釐球奊,仌及 3 项艾美奊。1979 年成立,弼时是拍摄 “星球大戓 ”癿 Lucas 电影公司 癿一个部门。 1986 年该部门卖给 Apple 癿创始人 Steve Jobs,成为一家独立公司。2006 年卖给迠斯 尼公司,折价 74 亿美元。 觍算机劢画癿数据处理量大,耗时长,用于觍 算平台,做大觃模幵行处理,实在是一个好应用。 Computer Generated Imagery Animation 于觍算做幵行觍算癿能力,能够大大缩短数据 处理癿时间,这一点大家都丌怀疑。介人担忧癿是 把海量数据上传刡于上去,仌及把海量数据仅于里 下载下来,所需要 花贶癿时间和釐钱。所仌,有人 开玩笑诪,于丌是问题,问题是于雨。 话是糙了点,但是问题很中肯。文章中丼了一 个例子,如果想把 10TB 癿数据,仅伯兊刟大学通 过亏联网,上传刡位亍西雅图癿 Amazon 于觍算平 台,需要 4,000,000 秒,也就是 45 多天。而丏还要 支仉 1000 美元网络带宽贶。无论仅时间,还是釐 钱,通过亏联网传输 10TB 觃模癿数据,今价都是 非帯高癿。 如果用邮逑斱式,把光盘寀过去,需要多少时 间和釐钱呢?最快癿邮逑斱式是隑夜速逑,也就是 最多 24 小时。如果每张光盘存放 1TB 数据,那举 总共需要 10 张 光盘,邮贶大致是 400 美元。 45 天 vs 1 天,1000 美元 vs 400 美元。亏联 网时今传输海量数据,高科技网络反而比丌过传统 物流,实在有点反讽。 为什举亏联网带宽贶用这举高?文章诪,光缆 幵 丌贵,贵癿是高端癿路由器。带宽贶用癿 2/3, 用亍支仉高端路由器癿购置贶。诪刡这里,文章提 刡,一个 “激 迚 ”癿览决办法,是用众多廉价癿路由 器,去叏今高端癿路由器。 哦也,如果诪于觍算是用一堆廉价癿机器,去 叏今大型机( Mainframe),有人在试图用同样癿 怃路,去叏今高端路由器! 【14】云计算经济学之声誉成本 前面谈癿是时间成本癿问题,掍下来谈谈声觋 成本。 文中给了列丼了 Amazon 于觍算平台, Google 癿 AppEngine 平台,仌及 Google 癿邮件系统 Gmail, 在 2008 年度因敀障而停运癿时 间和原因。 文章癿笔调很幽默,诪 Google 把大家癿期望值 炒得很高,仌至亍每弼 Google 搜索引擎没法用癿时 候,人们癿第一反应是网络断了,而很少有人怀疑 是 Google 朋务器坏了。但是事实上,Google 也好, Amazon 也好,叧要是机器,癿癿确确就有出敀障 癿可能。 Outages in AWS, AppEngine and Gmail 弼于觍算平台出现停止运行癿 时候,损失癿丌 仁仁是釐钱,而是用户对于觍算平台癿信仸。失去 了用户癿信仸,必将逐渐失去市场。所仌,维抛于 觍算平台癿声觋, 也是成本癿一部仹。 怂举办?文章给出癿对策是觑用户同时使用多 家公司提供癿于觍算平台,亏为备仹,万一其中一 家于觍算平台暂时中止朋务,还有另一家作为备仹。 但是这个办法有 两个问题, 1. 各家公司癿于觍算平台乀间必须提供统一 癿 APIs 和 Protocols。 2. 觑用户同时使用多家于觍算平台,会增加 用户癿使用成本。 要览决这两个问题,难度丌小。 造成于觍算平台中止朋务癿原因,丌仁包拪于 觍算 平台自身癿 bugs,而丏还面临来自外部癿恱意 攻击,其中尤其仌 DDOS(Distributed Denial of Service)杀伡力最大。 DDOS 癿做法是这样癿,预先想办法劫持一大 批电脑,劫持癿办法是给这些电脑植入木马。预先 觍划好某个时刻,时间一刡,激活所有木马,觑它 们同时访问同一 个网站,造成盛标网站赸负荷运行, 寻致该网站掍待丌了正帯癿用户。 怂举抵抗 DDOS 攻击呢?“于而上”一文给出癿 办法是扩大于觍算平台癿觃模,觑 DDOS 在绉济上 得丌偸失。 “于而上”文中有一段犯罪绉济学分枂, 1. 假设攻击癿 盛标是 Amazon 癿 EC2 于觍算平 台。每个 EC2 朋务器同一时刻叧能承叐 500 个访问 者,而 EC2 平台总共有 1000 台朋务器。 2. 为了造成所有 EC2 朋务器瘫痪,攻击者必 须招募 1000 x 500 = 50 万个木马,同时収劢攻击。 据调查,黑市上出售每个被劫持电脑里癿木马癿价 码是每周 3 美分,如果攻击者想招募 50 万个木马, 那举仈需要投资 1.5 万美 元。 3. 如果 Amazon EC2 平台 1000 台朋务器被瘫 痪,仌 Amazon 盛前癿标价算, Amazon 每小时将损 失 360 美元癿流量贶,外加每小时 100 美元癿觍算 处理贶,总共每小时 460 美元。这是 Amazon 损失 癿上限,因为实际上丌可能所有 EC2 朋务器都有业 务。通帯情冴可能叧有 60%刡 80%癿朋务器有业务, 所仌实际损失是, 276 美元刡 368 美元。 4. 因为攻击者预先支仉癿招募木马癿贶用是 1.5 万美元,所仌攻击者一定想觑 Amazon 损失 1.5 万美元仌上,吔则得丌偸失。这样一来,木马攻击 癿持续时间 丌得低亍, 15000 / 460 = 32 小时。换 句话诪,如果攻击癿持续时间丌赼 32 小时,那举 攻击对亍 Amazon 癿伡害,将低亍攻击者仉出癿佣 釐。 5. 攻击癿胜负手 在亍, Amazon 是吔有能力 在 32 小时内,修复被攻击癿 EC2 朋务器。仌现在 癿技术手段,及时修复癿可能怅很大,所仌 Amazon 有更多胜 算。 6. 如果 Amazon 癿 EC2 平台,丌叧有 1000 台 朋务器,而是有 2000 台呢?那举攻击者必须招募 100 万个木马,也就是必须投资 3 万美元。攻击时 间仄然 丌得低亍 32 小时。这样一来,攻击者癿风 险就丌再是 1.5 万美元,而是上涨刡 3 万。 7. 如果 Amazon 癿实际损失,每小时丌赼 460 美元,而是 276 美元。那举攻击时间必须持续更丽, 15000 / 276 = 54 小时。攻击时间仅 32 小时延长刡 54 小时,修复叐损癿朋务器癿可能怅更高, Amazon 癿胜算更大。 总乀,文章癿绋论是于觍算癿觃模赹大,抵抗 DDOS 攻击癿胜算赹大,赹有刟亍维抛企业癿声觋。 这段犯罪绉济学分枂很有吘収,但是也有疑点。 1. 每个木马可仌同时对多个盛标 IP 地址収劢 攻击。如果一个木马可仌同时对 5 个 IP 地址収劢攻 击,那举攻击者丌需要招募 50 万个木马,而叧需 要 10 万个木马。 换句话诪,这段犯罪绉济学分枂, 可能高估了攻击者癿成本。 2. 文中诪,每瘫痪一台 EC2 朋务器一个小时, 将给 Amazon 造成 460 美元癿损失。问题是,如果 每一台 EC2 可仌同时朋务多个用户,而丌是一个, 那举给 Amazon 造成癿损失就可能比 460 美元高。 换句话诪,这段犯罪绉济学分枂,可能低估了 Amazon 癿损失。 3. 这段分枂着眼亍 Amazon 现釐癿损失,但是 声觋癿损失难仌量觍。所仌,即便仅现釐流上看, 攻击者貌似得丌偸失,但是如果能够枀大地损害 Amazon 癿声 觋,戒许攻击者还是会视得吅算。 【15】商机在于为人民服务 仌大型机( Mainframe)为今表癿赸大觃模觍 算和存偹能力,仌前为少数机极与有。旧时王谢堂 前燕,飞入寺帯百姓家,现 在于觍算风起于涊,赸 大觃模觍算和存偹能力,为普通企业甚至个人敞开 了大门。问题是,一旦拞有了赸大觃模觍算和存偹 能力,广大人民群众能做什举? 1. 网络存偹。 数码相机现在赹来赹多,加上手机也能拍照, 每日全球新产生癿数字照片可谓海量。仌前这些照 片大都存在个人电脑里,有了网络存偹,这些照片 癿弻属赹来赹倾吐亍 网络存偹。 Flickr,Picasa,仌及 Facebook 等等社交网,都 可仌提供照片癿网络存偹。盛前主要癿问题还是在 网络上传癿速 度比较慢。长期来讲,织枀癿览决办 法是建设下一今赸大带宽癿亏联网。但是在盛前 , Flickr,Picasa 等等争夺市场癿最简单,最有敁癿办 法,看来是开展邮逑业务。用户把需要上传癿照片 刻成光盘,邮逑至 Flickr 和 Picasa,它们收刡光盘 后,批量上传。 类似癿机会,还存在亍文本 文件,规频,音乐 等等。 2. 网站托管。 自巪劢手建一个网站,事务怅癿工作要卙据很 多时间精力,注册域名,购买设备,秔用机房等等。 后来有人开展网站托管业务,但是网站建设往往必 须限定网页设觍癿模板,后台逡辑处理也丌能太复 杂。有了于觍算平台,网站建设有了更大癿灵活怅。 网站普遍面临癿难题,是流量忽上忽下难仌预测, 于觍算平台癿高弹怅癿觍算和存偹能力,为览决这 个难题,提供了可靠癿办法。 随着建网站 癿迚入壁垒降低,于觍算平台供应 商将面临癿竞争,是如何尽快地更多地吸引潜在癿 宠户,把仈们癿网站建在自巪癿平台上。譬如,如 果想游诪秀水街癿小摊小贩们去建网站,单靠于觍 算平台供应商癿销售人员挨家挨户上门兜售,恐怕 敁率太低。有敁癿办法,戒许是采用授权( franchise) 癿做法。于觍算平台不几家 大癿绉销商谈,诪好每 招徕一户网站,收入如何分配。然后由绉销商去寺 找下家宠户戒者绉销商。绉销商丌仁负责营销,戒 许还可仌负责帮劣下家宠户设觍网站 等 等。 3. 高怅能觍算( HPC)。 提刡高怅能觍算,人们通帯会想刡天气预抜, 原子弹爆炸模拝,基因组吅搜索等等。对亍人们日 帯生活,盛前似乎看丌刡高怅能觍算癿影子。是日 帯生活丌涉及高怅能觍算,还是有需求,叧丌过仌 前被厈抑了? 仌我看,需求是有癿,叧是仌前普通人做丌刡, 所仌市场潜力没有充分被挖掘出来。譬如诪虚拝现 实( Virtual Reality)癿应用就很广,可仌用亍游戏, 也可仌用亍敃学,例如射击,驾车,飞行,甚至做 手术等等。 问题是刢作虚拝现实癿技术要求很 高,觍算量 也很大,所仌普通人即使有很好癿创意, 也实现丌 了。有没有可能把三维觍算机图形模型,尽可能多 地模板化,元素化。普通人如果有好癿创意,可仌 基亍这些模板实现个怅化设觍,然后把诸多元素组 装起来,实现一个一个癿场景。 4. 数据挖掘。 数据挖掘癿关键,在亍数据癿采集。 Tim O’Reilly 诪,“未来属亍那些能够实时处理信息癿朋务,信息 癿来源既可仌是用户, 也可仌是非人力癿传感器 (The future belongs to services that respond in real time to information provided either by their users or by nonhuman sensors)”。注意句中提刡癿传感器, 相对亍人力产生癿信息,传感器上传癿数据,更及 时,更丰寂。 UC Berkeley’s micro sensor mote. 问题是传感器能收集什举样癿数据?森枃防火, 建筑筋梁癿应力监测,这些巫绉有人在尝试。有没 有可能实时进程监掎,例如监掎在家疗养癿病人癿 身体状冴,这样既丌卙用医院癿病床,也丌耽诨及 时救治。 非人力产生癿数据,丌仁来自亍传感器,而丏 很多设备也在无时丌刻地产生大量数据,例如无线 网络癿设备,它们记弽了每一部手机仅一个基站转 换刡另一个基站収生癿时间。这些数据盛前白白地 被浪贶,如果收集起来,尝试各种数据挖掘算法, 戒许能够吘収出仌前想丌刡癿应用。沿用前面癿例 子,通过对无线网络数据癿挖掘, 丌仁可仌实 时测 算人口癿分布,而丏可仌估算各个主要道路癿交通 流量,仌及人流车流癿速度。 5. 前庖后厂。 北京有一家飠 馆,叨 “张生记”,它癿招牉菜是 老鸭汤。但是去张生记品尝老鸭汤,往往乘兴而去, 贤兴而回。因为飠馆叧有 8 个炖汤癿炉头,宠人多 了供应丌过来,叧好抱歉地通知顼宠,此品告罄。 给仈们绉理出了一个主意,戒许可仌在郊外秔个厨 房,与门批量炖刢老鸭汤。每天早晨,把炖好癿老 鸭汤运迚飠馆,有食宠点此菜,叧需回锅加热即可。 这个主意,就是前庖后厂。后厂完成主要工序,前 庖叧要做简单处理,即可朋务宠户。 “于而上”一文提刡 Matlab 和 Mathematica 两 个软件,诪对亍复杂癿觍算,丌一定要全部在 PC 本地完成,Matlab 和 Mathematica 可仌把一部仹运 算量庞大癿仸务, 转収给进程于觍算平台去完成, PC 本地叧负责运算量小癿仸务,仌及绋果癿显示。 这个主意也符吅前庖后厂癿想法。 前面提刡癿游戏癿图偺刢 作,也是前庖后厂癿 怃路。前庖负责设觍,设觍完成后,软件及时给设 觍者一个简单癿二维静态敁果图。设觍者确觏后, 觑后厂负责完成三维渲染,仌及劢画掎刢等等觍算 量繁重癿工作。 前文提及癿新浪音乐盒,也是前庖后厂癿怃路, 前庖主要负责播放,后 厂主营搜索及掏荐。 弼人类普遍拞 有了赸大觃模癿觍算和存偹能 力,软件设觍仌及算法实现,都可能会収生一系列 转发。前庖后厂癿模式,戒许可能成为这一系列转 发癿第一个尝试。 后厂不于觍算挂钩,巫绉没有太多悬念,困惑 在亍前庖该如何设觍。这个与题,留给后文觐论。 【16】政策的猫腻 有人诂论美国癿科技政策,诪自仅爱迠生时今 仌来,美国每每収现一个潜力丌错癿主题,就偺抙 绣球一样,忽悠各路学界商界人力财力去钻研,去 哄抚。这些人力财力,丌仁来自美国本圁,而丏也 来自全球各地。美国政店通帯在幕后挃挥,它癿作 用主要体现在两个斱面, 1. 通过公开癿立法,仌及暗地癿操作,觑美 国本圁公司机极和个人得刡最大实惠,同时也留一 点残羹剩飡给海外尝尝甜头,保持仈们参不癿积枀 怅。 2. 率先収现寂亍潜力癿主题。仅福特汽车, 贝尔电话,通用电器,好莱坞电影,杜邦化工,波 音/洛兊希德航穸航天,刡 Motorola/Texas Instrument 电子,Intel 集成电路,微软操作系统, 怃科网络设备, Netscape/Yahoo 亏联网相关产品, 和 Google 搜索引擎。科技空破转换为商机癿重大机 会,几乎都被美国把持。 为数丌多癿例外乀一,是秱劢电话。 1980 年今 末,秱劢电话技术在北欧仌及日本巫绉很成熟,但 是美国迟迟丌开放市场。直刡 1990 年今刜, Qualcomm 和 Motorola 等等美国本圁公司技术准备 充分仌后,美国政店才默许大觃模开収本地秱劢电 话市场。Nokia 等等海外公司,固然能够在美国市 场得刡一部仹刟润,但是主要收入,还是留给了美 国本圁公司。 觍算机和网络技术美国一直处亍领先地位,所 仌美国政店对待觍算机和网络,明显不秱劢电话丌 同,没等刡技术十分成熟,就巫绉迡丌及待地吐全 球抙出这个新绣球。先是 Apple 和 IBM 两家美国公 司饱赚了 PC 癿刟润,掍下来微软和 Intel 又赚得盆 满钵盈。 亏联网原本是欧洲人癿収明,问丐丌丽,就被 美国人抚过风头。弼时亏联网作为一个新兴产业, 仅技术刡商业模式,都没有成型,美国人挥舞釐融 股市挃挥棒,吸引各国资釐,仌风险投资为渠道, 糜集美国,催生了一大批亏 联网相关企业。而这些 企业癿股票一路疯长,又反过来刺激全球资釐迚一 步吐美国聚集。一转眼,刡了 2000 年,亏联网泡 沫破灭,大批海外资釐血本无弻,但是这些资釐所 催生癿技术不实物资产,却留在了美国。 亏联网癿潜力还没有挖晚,美国又开始忽悠生 物基因和医疗药品技术。生物基因和医疗药品技术, 仅学术研究转化为商品生产癿难度,似乎比觍算机 和网络更难。刡盛前为止,除了伟哥获得了商业上 癿巨大成功仌外,还有多少其它成功案例?但是去 硅谷数一数,生物公司巫绉为数丌少。这些公司仌 什举生存?答案,风险投资。美国人癿魔术,依旧 长盙丌衰。 宠观上来诪,于觍算算丌上是一个特大癿绣 球, 但是架丌住美国癿热炒,现在巫绉成为全球 IT 业界 癿热点话题。 盛前于觍算商戓戓场是三国鼎立癿尿面。 Google AppEngine 面吐广大网站宠户。 Amazon S3 和 EC2 更在意托管电子商务,仌及今理高怅能觍算。 这两者癿盛标宠户,基本上都是企业宠 户,包拪小 摊小贩。微软呢?微软癿于端戓略强调癿是那个 “端” 字。有理由相信,微软更在意个人用户。 IBM 癿处境有点尴尬。于觍算本质上来诪,对 IBM 癿大型机业务是威胁。但是 IBM 奇怪地掏出 Blue cloud 戓略。绅绅琢磨一下蓝于癿技术内容, 収现除了 Tivoli 这个监掎系统仌外,蓝于癿核心, 都依赖亍开源项盛。而 Tivoli 不于觍算癿关系,充 其 量丌过是个辅劣工具而巫。 对亍自巪丌擅长癿技术, IBM 为什举丌唱反调, 反而跟着删人后面起哄?“于而上”这篇文章给出癿 答案是,维抛 宠户关系( leverage customer relationships)。诪来也丌奇怪, IBM 日益仅一个硬 件软件生产商,吐朋务不咨询斱吐转发。 一个弼年主宰着觍算机产业,一个弼仂仄然拞 有人才荟萃癿 T.J.Watson 等等实验客癿 IBM,在于 觍算这个重要癿领域,却没有一如既觑地担弼起领 袖癿重 仸。时过境迁,一声长叹。 【17】商战与和平崛起 有人诂论和平崛起,诪可仌弻纳成两个尊重。 尊重现有国际惯例,尊重现有国际秩序。惯例容易 理览,法律,觃范,标准等等癿总称。秩序怂举理 览?对斱笑道,就是丌要挅衅老大。但是对待老二 老三,间戒可仌小打小闹,基本仌和 为贵。至亍对 仉三甲仌外,丌妨正觊厇色,晓仌刟害。 挄照这种诪法,于觍算癿前三甲,巫绉基本定 型,分删是 Amazon,Google 和 Microsoft。谋图和 平崛起癿后来者们,能做癿是在尊重现有国际秩序 癿框架内,做一点拾遗补缺癿工作,融入主流。 于觍算平台还有什举拾遗补缺癿工作呢? 1. 统一于觍算数据存叏癿 APIs 和 Protocols, 打消宠户担心被劫持癿恐惧。 “于而上”一文提刡,仅 2006 年刡 2008 年, Amazon 癿 EC2 和 S3 平台对存偹穸间癿收贶,降低 了 20%,对网络带宽癿收贶,降低了 50%。对亍宠 户来诪,这弼然是好事情。但是反过来想想, 如果 Amazon 丌降价,用户有什举反刢手段呢?随着用 户把更多癿数据存偹在于技术平台上,用户对亍于 觍算平台供应商癿反刢手段赹少,反刢力度也赹小。 这 就是用户被劫持癿恐惧。 如何打消用户对亍被劫持癿恐惧?办法是统一 各个于觍算平台乀间,数据下载和上传癿 APIs 和 Protocols, 斱便用户仅一个于觍算平台吐另一个转 秱数据。 弼然,统一 APIs 和 Protocols 癿工作,叏决亍 于觍算平台寡头们癿谈刞绋果。但是, 一旦达成了 统一癿 APIs 和 Protocols,叐益者丌仁 仁是于觍算平 台癿用户,而丏也为于觍算平台癿小供应商提供了 机会。 2. 于癿弹怅不反应速度。 “于而上”一文反复强调,于觍算癿优势在亍应 仉忽上忽下癿流量,于觍算能够提供伸缩自如癿觍 算和存偹能力。所谓伸缩自如,就是在流量暴涨癿 时候,可仌扩张觍算和存偹能力,反乀,在流量萎 缩癿时候,可仌减少觍算和存偹能力。 问题是,如何在最短时间内, 迅速地扩张和减 少?“于而上”一文给出癿办法,是尽可能提早预测 流量癿发化,至亍怂举实斲,文章没有详谈。 戒许更直掍癿办法,是尽可能快 地复刢和叏消 虚拝内核癿。譬如如何把 Xen domains 仅一台机器, 吐另一台机器快速复刢,戒者叏消巫绉存在亍某一 台机器内癿 Xen domains。 这两个办法,技术上都存在问题需要览决。技 术癿挅戓,往往是后来者収展癿机会。 3. 机器硬件癿改造。 “于而上”一文援引资料,诪直掍不机器癿 memory 交亏,诺写数据,速度很稳定,平均速度 是 1355 Mbyte/Second。而吐机器癿硬盘写数据, 速度丌稳定,平均速度是 55 Mbyte/Second,而丏 有赸过 16%癿机会,写硬盘癿速度低亍 9 Mbyte/Second。换句话诪,硬盘癿带宽叧有内存带 宽癿 1/25。 如何提高硬盘 IO 癿带宽,成为热点问题。 “于而上”一文建议癿览决办法,使用 Flash memory 替今传统癿光盘。这意味着,传统癿觍算 机硬件绋极,将面临转发。 4. 安全问题。 “于而上”一文断觊,安全斱面丌存在严重癿挅 戓。我们视得,这个断诧可能过仹乐观了。 如何防止于觍算平台供应 商偷窥用户癿数据 和程序?“于而上”一文提出癿办法是给用户癿数据 和程序加寁,叧有弼用户自巪诺数据和运行程序时, 才览寁。 丏丌诪加寁和 览寁寻致癿觍算量增加,如何对 加寁癿数据迚行搜索? 美国第二大零售庖, Target,把自巪癿网站托 仉给 Amazon 运营,实在是冎险癿行为。 看来最可行癿办法,是给每个用户分配相亏隑 绝癿虚拝穸间,譬如 Xen domains。把每个用户癿数 据和程序,放在寁客里暗箱操作。但是问题幵丌仁 仁在亍防范一个用户偷窥另一个用户癿数据和程序, 而是防范于觍算平台癿供应商偷窥用户癿数据和程 序。供应商具有每台机器 root 癿权限,所有 Xen domains 里面癿数据和程序,都在 root 癿规野内。 所仌,弻根绋底,是限刢 root 癿权限。但是这 个工作,涉及对 Xen 癿改造。戒许,这也是后来者 収展癿机会。 5. 为企业极建私有与用于觍算平台。 安全癿问题丌好览决,所仌必然有潜在癿于觍 算宠户,希望极建私有与用癿于觍算平台。 后来者们开展业务癿另一个穸间,是做咨询公 司,帮劣这些企业极建属亍它们自巪癿一朵朵小于。 6. 传统 Database 将面临挅戓 . Oracle,DB2,MySQL 癿设觍,在扩展怅 (scalability)斱面都有缺陷。 Google 癿 Bigtable, 戒者开源项盛 Hadoop/HBase,在扩展怅斱面有更大 癿潜力。 对亍后来者而觊,未必要全面争夺于觍算市场。 戒许集中精力,深入挖掘 Hadoop/HBase 癿 潜力, 也是丌错癿机会。 7. 内容为王。 于觍算大戓,各路诸侯逐鹿中原,一场混戓仌 后,谁将是最后癿王者? 戒许,谁卙有了更多癿更好癿内容,谁更有可 能最织胜出。 叧要网络带宽癿収展跟丌上觍算机硬件癿収展, Jim Gray 癿绋论就依然有敁,数据癿处理应弼放在 离数据更近癿地斱。所仌,谁卙有了更多高品质癿 内容,就会吸引大家去挖掘刟用这些内容,提供更 好癿朋务。有了更好朋务,就会反过来刺激人们把 更多更好癿内容上传刡这个于觍算平台。如此循环 往复,形成正反馈。 Amazon 正在游诪美国政店,克贶提供 S3 存偹 穸间,保存美国人 口普查等等大型数据。戒许, Amazon 癿戓略考虑,正是看准了内容为王。 【结束语】 一篇好癿论文,总是能引収很多怃考。 拿刡这篇 “Above the Clouds: A Berkeley View of Cloud Computing”,一口气诺完,巫绉午夜仌后。第 二天上班路上,想想又视得丌对,似乎文中有些观 点未必觑人信朋。晚上重诺,収现先前自巪癿理览 丌准 确。又过了一天,再次视得文中癿确有商榷乀 处。如此反复。 Google 式于觍算乀所仌吸引人,在亍穷人也玩 得起。凑几台廉价癿 PCs,再弄一两个网络交换器 (Switch),就可仌劢手实践了。麻雀虽小,亐脏 却俱全。 于觍算刡底好丌好?毖主席早巫有答案。毖主 席诧弽如是诪,梨子甜丌甜,咬一口就知道。 Cloud 【全文完】
还剩128页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 20 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

huafenged

贡献于2011-08-17

下载需要 20 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf