Amazon机器学习回顾-机器学习初体验

dy83 6年前

英文原文:Review of Amazon Machine learning – first experience with machine learning

我拥有丹麦最好的技术大学的软件工程学士学位,我还拥有商业硕士学位。

我把自己看成是相当技术型的人才。我的工作是确保公司的开发人员写出优秀的代码,以及我们选用合适架构方面的决策。我们做着优秀的工作,客户貌似喜欢我们(是的,他们坚持买我们的东西!)。

不过我是一名商人。在商言商,我对机器学习和人工智能(由于某种原因,我认为它是一样的——好吧,换句说法,过去认为是一样的)感到非常激动。我相信这就是未来,我完全想开发下一代应用了“机器学习”的产品,以此来统治世界。

但是我在机器学习、人工智能、深度学习或我看过的、任何其它奇特的术语方面,没有相关经验。

当 Amazon 上线了 Amazon Machine Learning 时,我激动万分。因为我可以变成一名 AI、机器学习黑客,准备 hack 整个世界

我观看了他们的介绍视频(时长大约 30 分钟),它看起来非常酷。当主持人演示的时候,它貌似相当简单。有了这个念头,我觉得这就是我不得不尝试的东西。

我对 Amazon Machine Learning 的回顾和体验

我的一个客户是丹麦的一家大型网店。我提取了过去 5.5 年的收益数据,大约 2000 行。

这意味着我有了一份文件:

  • 创建时间
  • 收益

现在我的(幼稚吗?)命题是:让我们导入该工具,等 5 分钟,就得到了一份几乎完美的、对未来的预测。我想,最大有 5-10% 的误差。

我打开这个工具,创建了一份新的数据源,准备震惊全世界。失败了

Fuck?失败了?

我核查数据源,哦,在我的列里面没有空格。还算合理,重试一下。

失败

可能是它不喜欢我的时间格式。很明显,丹麦的时间格式不是主流的,才给出了错误。

我打算找到我的 Python 技巧,导入这份数据,再看看。

我最终创建了一份新的数据文件,有一些列,ID、正确的时间、最重要的是:格式良好的收益列。

我创建了一个数据源。成功

现在我准备好了。我最后打败了这个系统,可以继续了。

我把收益选为目标数据,把时间选为类别。点击,点击,请快快预测。

系统提示 pending(挂起)。

在 10 分钟后,系统提示数据准备好了!(我猜测,10 分钟意味着数据是如此地完美,我可以告诉客户去让整个商业智能团队感到激动、并使用我的机器学习技巧。

输出了一份文件,有两列,“score(分数)”一列的数字形如“0.631”、“0.521”。

我试着看了下接口,找不到“预测未来值”的按钮。

我继续随便点击,没有反应。在我的 Amazon 存储里,出现了一些奇怪的图片、奇怪的数字和奇怪的文件。

我本可以放弃的……

我可能想得太简单了(你能够看得出来),但是至少我明白了我的局限。

我来到 Upwork(早期的 Odesk),寻求帮助。淘汰了一群差劲的申请人,我找到了我的救星。

来自巴西的 Mario Filho 在其个人主页给出了报价(20 美元/小时):

我对使用宽泛的机器学习算法富有经验,包括监督学习【注1】(分类问题【注2】、回归分析【注3】)和非监督式学习【注4】(聚类【注5】),用数据解决现实世界的问题。

如果你雇佣我,我将采取以下步骤来确保你的数据项目成功:

  • 理解你的目标和期望。
  • 清理和准备数据。
  • 开发符合技术标准的模型。
  • 报告测试环境下的性能。
  • 部署模型到生产环境。

看起来像是我需要的家伙。或许他从来没有用过 Amazon Machine Learning,但是我肯定“0.631”、“0.521”的结果对于他而言,要比我有意义得多。

(小推荐:如果你需要机器学习方面的帮助,请联系他在 LinkedIn 上的主页:https://www.linkedin.com/in/mariofilho ——非常有帮助、友好、深谙这方面的东东!我认为他不会一直保持当前的报价——但是,即使再高一些,也是值得的。)

我给他发送了我的订单收益,告诉他,如果有结果,我们做一个视频录制【注5】。

两小时后,Mario 准备好了。

天哪:Amazon Machine Learning 太复杂了

我在屏幕录制里看到的第一个东东是他写的长达 49 行的 Python “小”脚本,用于美化数据。我被触动了:不支持对其它类型文件的“upload button”的点击操作?

真相是:不支持。接下来的 30 分钟是令人惊奇的。

Mario 做了多份数据源(很明显,你需要针对你的数据、测试和评估的数据源)。他做了批预测,他做了你需要得到真实数据的所有工作。

我被触动了。

我想,在看完初始化的介绍视频之后,我有了一个机会。

孩子,我错了。我自己搞定是绝对没有可能的。

最后,我们试着上传一个文件做为数据源,我们能够用来产生一个对 2015-5-7(我们直到 2015-5-6 才有收益)的预测。

我们得到了一个数字。

我将其和真实数据比较,发现我们有 14% 的误差幅度。

我正准备告诉 Mario 这是多么棒,但是 Mario 已经写了下面的 Python 小函数(好吧,因为他是巴西的?),然后运行:

def mape (y_true,y_pred):     print ‘MAPE’, np.abs ((y_true – y_pred) / y_true) .mean ()

结果表明,我们的误差有 34%。

34%?太……差劲了!

我震惊了!34%?

我不能给客户说,让他们的商业智能团队对 34% 的误差幅度感到激动!

Mario 让我冷静一下,他对我说,有一些细节需要考虑:

  • 你不得不清理离群值的数据集(明显的数据点)
  • 我们可以从普通的机器学习技巧中获益,比如标准化【注6】
  • Aamzon 使用非常简单的线性回归技术。他指出了有帮助的、关于梯度增强决策方面的东东。
  • 为数据的具体子集创建模型(比如每个 SKU、或地区的模型)
  • 特征工程:创建相关特征,探索它们之间的交互(我仍然根本不知道它的意思……很可能是重要的东东)

他对我说,机器学习是艰苦卓绝的工作,你不得不和你的数据泡在一起,然后才能期望更好的结果。

很明显,这意味着机器学习很难。

在和 Mario 谈了 30 分钟后,他在 Skype 给我写道:

“最后一件事(我保证),我运行梯度增强决策树模型,只是想看看发生了什么,平均绝对百分误差下降到了 25%。这是好的信号,一个更加复杂的模型,经过调教参数,可以给出更好的误差。”

现在,我们正在靠近最好的情况!再做些额外的工作,谁知道会不会降低到 15-20%?

不管怎样,我对这个结果感到非常可悲。这么说吧,我们付出了大量努力,将误差幅度降到了 15%。这对于预测未来不是非常好。

不过,我犯了一个大错误:我不理解什么是机器学习。

Amazon Machine Learning 是让人厌烦的数学,而不是意欲统治世界的邪恶 AI。

Amazon Machine Learning 相当简单。

它仅仅要做的是大量的数学,它是线性回归。它是简单的、大量矩阵计算,然后从模型中找到可选值。

机器学习不理解你的数据。机器学习是统计学和计算机科学的简单组合。

回头看看,我太幼稚了。

当然,我该怎样期望比 25% 更好的误差呢?使用常规思维,这是可以理解的,它不可能去预测。

或许如果它真的理解数字后面的背景,它有大脑,有更多的数据。然后它可能会更好。

但是 Amazon Machine Learning 属于简单的数学。

Amazon Machine Learning 不是面向你们普通开发人员的

是这样的。我应该多看一些,我可能已经阅读了文章和视频,甚至阅读了 Mario 发给我的文章(咳咳)。

但是从用户角度看,它远没有准备好。

它不是你们这些普通开发人员能够坐下来使用的工具。

它需要你理解一些非常基础的机器学习。看到像 Mario 从来没有用过此工具的这种人能够很快理解它,是非常有意思的。

但是我,从来没有接触过它,是没有机会理解它的。

我确信它是一个伟大的工具。在合适的帮助下,我确信它是非常有用的。但是它无法解决世界饥饿或预测我的口袋里明天会有多少钱;然而,它是一次有趣的体验。


  • 注1:监督式学习(英语:Supervised learning),是一个机器学习中的方法,可以由训练资料中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。http://zh.wikipedia.org/wiki/%E7%9B%A3%E7%9D%A3%E5%BC%8F%E5%AD%B8%E7%BF%92
  • 注2:分类是指识别出样本所属的类别。识别前是否需要进行训练,可分为有监督分类和无监督分类。http://zh.wikipedia.org/wiki/%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98
  • 注3:回归分析(英语:Regression Analysis)是一种统计学上分析数据的方法,目的在于了解两个或多个变数间是否相关、相关方向与强度,并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。http://zh.wikipedia.org/wiki/%E8%BF%B4%E6%AD%B8%E5%88%86%E6%9E%90
  • 注4:非监督式学习是一种机器学习的方式,并不需要人力来输入标签。它是监督式学习和强化学习等策略之外的一种选择。在监督式学习中,典型的任务是分类和回归分析,且需要使用到人工预先准备好的范例(base)。http://zh.wikipedia.org/wiki/%E9%9D%9E%E7%9B%A3%E7%9D%A3%E5%BC%8F%E5%AD%B8%E7%BF%92
  • 注5:屏幕录制(或截屏)是利用数字方式录制电脑屏幕输出,也被称为视频屏幕捕获,常含音频旁白。术语“屏幕录制” (en:Screencast)与相关术语 “屏幕截图”(en:Screenshot)的比较:屏幕截图是电脑屏幕上的图片;而屏幕录制本质上是一个随着时间的变化,用户在电脑屏幕上看到的电影, 音频旁白使其更具吸引力。http://zh.wikipedia.org/wiki/%E8%9E%A2%E5%B9%95%E9%8C%84%E5%BD%B1
  • 注6:在统计学以及一些统计学应用领域,标准化有着一系列涵义。举个最简单的例子,率的标准化指的是参照某个标准来调整两组资料的构成使其能够形 成参考,比如两者有着不同的尺寸和规格,如果要比较两个总率时,往往按照某个统一的标准(如统一的内部构成)来进行修正,以消除内部构成不同所造成的对结 果的影响。http://zh.wikipedia.org/wiki/%E6%A0%87%E5%87%86%E5%8C%96_(%E7%BB%9F%E8%AE%A1%E5%AD%A6)

译文: 《Amazon 机器学习回顾-机器学习初体验 》 腊八粥