IBM如何拥抱Spark

jopen 9年前

Spark 是目前相当火热的开源计算框架,相对于 Hadoop ,Spark优势是高性能和易用性。Spark的高性能源于其采用内存储存数据,应用可以以内存的速度进行运算;Spark的易用性在于通用的API,用户可以编写复杂的并行计算程序,使之看上去就像串行程序。这也使得Spark程序更容易开发和读懂。由于其高性能,Spark已成为机器学习的重要工具。日前, IBM宣布加入Spark社区 ,并与Spark的核心贡献公司 Databricks 合作。那么IBM将如何与社区进行合作,其自身又在Spark、大数据及机器学习领域有哪些计划?InfoQ受邀与IBM进行交流,并对以上问题进行了解读。

IBM对社区的贡献和对未来的规划

IBM大中华区大数据与分析事业部总经理钟泽敏表示,在美国的旧金山研究室有一个Spark的技术中心,有超过200位的技术人员在Spark技术中心里工作。技术中心主要的功能是把Spark的技术应用在一些企业级应用场景中,这解决了开源的另一个问题。Databricks CEO Ion Stoica表示,考虑到IBM在Spark研发方面的投入,非常期待IBM成为Spark的核心贡献者。

IBM大中华区大数据与分析事业部数据平台方案总经理刘胜利认为,IBM在全球的研发分为两大类,第一类叫Reserch,第二类是Develop,这两类的工作性质还是非常不同的。Reserch就是研究,他们专注研究先进的、超前的技术的前期的研发。而 SystemML 是IBM研发了超过十年的机器学习技术。沃森( Watson )在几年前的大型活动里,整合了很多SystemML机器学习的功能。

他表示,IBM与Databricks合作,是希望把SystemML的功能输送给Spark,让Spark具有更强大的机器学习能力,让数据科学家专注于算法,而不是一些简单的、细节的技术本身。

Databricks计划开发一个机器学习框架 MLbase ,这与IBM的SystemML是什么关系,双方的合作如何互补呢?IBM大中华区软件架构师总监、IBM技术科学院委员林旭光认为,SystemML其实并不是提供算法,它其实是提供一个定义的机制,可以让Data Center定义自己的算法。刘胜利表示, SPSS 提供了很多和 ML Lab 相似的算法,并且比后者算法更多。“我们看到ML Lab的算法有局限性。”举个例子,一个专卖店会收集一些他的客户办的卡,这个卡会记录客户到他那买过什么样的东西。那么下一步专卖店对客户进行促销,首先要对客户进行分群,但是算法本身并不能解决分群的问题。还有很多行业的知识,比如对用户画像和智能推荐等。IBM可能在这方面有更强的东西,算法本身是标准化的。比如说你要分群客户是用二叉树算法、神经元网络算法还是哪个算法,这在实际操作中是有一些经验可循的。

那么IBM会以什么样的方式与节奏节奏,拿出多少”干货”与社区共享自己在机器学习等方面的技术呢?IBM大中华区大数据分析平台销售总监洪建勋表示,“我们做了一件很关键的事情,如何把从企业级市场得到的客户需求跟最新的技术有效的衔接起来?这点是IBM一直致力于在做的很重要的事情。同时,新技术很多,可能出现孤岛,我们能够让新的技术为企业真正融合,把这些所谓的单点和孤岛全部连接起来打通,把原来可能存在的问题尽可能地减少。”

毫无疑问,IBM对企业应用的理解是众多互联网公司无法比拟的,这种经验和理解是否能成为指导社区发展的力量呢?洪建勋认为,以Hadoop发展那么多年的经验看,Hadoop社区尽管规模很大,但是新的组件一直在涌现。重点技术一直有变化,而IBM这种企业级IT厂商有很多新的经验。“这也是成立ODP的价值,你可以在ODP中看到很多老的IT公司,为开放平台贡献自己的思想,为企业级客户服务。”

IBM培养Spark技术人才

钟泽敏透露,IBM已经开办免费的课程,预计在第三季度就会更新第二批免费的课程。与Databricks、 AMPlab 合作培养数据科学家。

此外,IBM去年宣布投资1亿美金,在中国推动”U100”计划,后来又推出了” A100 “(百企大数据)计划,跟国内商学院一起培养学生。该项目由香港中文大学、对外经贸大学、西南交大联合发起,集合约50所商学院,IBM到学校里实地去帮老师和学生做数据挖掘、数据清洗。其中用到的工具、解决方案都由IBM提供。这个价值对于商学院,从老师到教育体系的改革,再到人才培养,都非常重要。事实上已有很多项目已经出了成果,这些研究项目都是非常有实际意义的。目前,IBM在大数据的投入已经超过250亿美元。

为什么是Open Data Platform?

Open Data Platform 是众多IT巨头企业联合成立的开放数据平台。刘胜利表示,对于大部分企业用户,开源了并不是意味着大家可以直接用。“我们希望大家在使用Hadoop的时候不再局限于有限的厂商”,所以在开源之上又推出了开放数据平台。希望在选择开放数据平台里这些核心部件的时候,大家选用公共的、统一的这些代码。那么,使用这样一个开放的数据平台,就不再受限于某一家的开源代码,既利用了开源的好处,同时又让企业用户不再被厂家束缚。

钟泽敏表示,IBM还是注重在企业级应用。包括SQL、R语言以及数据分析都是IBM的优势。刘胜利认为,IBM做分析挖掘的语言以及SQL关系型数据库已有30多年的历史,有大量的优化技术。另外,SPSS的许多预测分析产品的算法也可以和Spark结合,因为SPSS使Spark上可以处理的数据量、处理的速度、处理的能力都得到了极大的提升。特别是SPSS最大的研发实验室在中国,有一大堆数学科学家在研究算法。

林旭光补充道,有些客户反馈说,用了一些厂家的开源组件之后,没办法迁移到别的平台上去,虽然产品也是开源的。这是因为这些开源产品只有几家公司或很小的群体在支持。基于此,做Open Data Platform一个很重要的目标就是,IBM用的只是开源的组件,并且都是可迁移的。

未来IBM会陆续推出Spark系列产品,包括Watson Analytics、DataWorks、PuerData一体机,以及一些方案和正在孵化的项目。