浅谈大数据应用研究的3个V

大数据 数据挖掘   2016-02-03 16:36:34 发布
您的评价:
     
0.0
收藏     0收藏
文件夹
标签
(多个标签用逗号分隔)

来自: http://www.techxue.com/techxue-22616-1.html

To knowledge 是目标,手段还是 mining ,俗称数据民工。每当大家讲到大数据,都会不约而同的提到大数据几个 V 的定义: Volume , Variety , Velocity , Veracity , Value 。大部分情况下我们都是将这几个 V 放在 PPT 的 introduction 部分一笔带过,并无详细解读。我想谨以此文抛砖引玉,回顾和学习其中的 3 个 V ,重新审视我们的工作。  

前言

当我们面对一个数据驱动型的应用时,我们首先需要明确应用目标,确定我们需要做的事情属于什么层面,然后对问题建模,并制定方案。数据类型的应用目标,我想可以归纳这 4 类:数据描述了什么,内在组成是什么样?数据所反映的现象,是否存在某些内在规律?通过数据反馈的现象,能否学习规律并进行预测?在我们已知的结果方案之外,是否能借助数据去分析和进一步改进方案?  

绝大部分时候我们停留在 Information 和 Intelligence 层面,也就是我们常用的统计分析,关联挖掘,聚类分析,分类(回归)预测等。但是这些问题似乎是很经典的问题,在当前猪都吹上天的大数据时代,有哪些不一样呢?我想如果我们只停留在 Volume 变得超级大,我们需要用 hadoop 之类的就有点图森破了,大数据时代我们采集信息的来源和类型更加广泛,每个行为也能关联到更多的上下文信息,甚至有些事情算法不需要大改,增加数据量就能取得更好的效果,我们重点展开 Variety , Veracity , Velocity ,这 3 个 V 来讨论一下。

Variety 在开发数据驱动型应用时,我们一般对 variety 的理解更多的是多来源、多类型的数据,然后在应用中进行数据融合,开发更完善的业务模型。比如百度 2012 年的百万美元大奖 [5] ,网盟数据和搜索数据打通,提升系统收益。而我们熟知的广告点击率预估,或者推荐系统中常说的用户画像 [6] ,还有特征工程中的 context feature 和 item feature ,属于典型的不同类型数据融合。

大部分情况下,我们对 variety 的理解和使用,需要有一个实体能将不同数据串联起来,比如搜索可以以一个用户的 session ,把不同 query 串联起来;一个公司可以以唯一用户 ID 把不同产品数据串联起来;甚至外部数据融合也需要以身份证之类的把相关信息串联打通。俞士纶老师给出了一些不一样的理解,窃以为这是业务之外我们经常忽略的的,但是确实是大数据时代才具有的 variety 属性。

挖掘实体相关,但是不同来源的信息

最典型的是我们在做大规模的非线性文本分类时,并不完全按传统的文本分类的思路,从切词信息中去发现有限的信息做分类器,而是结合相关实体,比如说这句话的人,某篇文章的发布者,去引入更多领域知识和先验提高分类精度。比如 Twitter 要对只有 140 个字符的 tweets 进行大规模高精度的分类 [7] ,就大量使用了 twitter 账号的,还有 URL 的领域信息作为先验。我们进行公众号文章分类所使用的 paragraph to vector 特征 [8] ,其实也是公众号领域知识的数字表达。  

从原理上讲,各种分类(回归)预测任务不限特征来源,但是上述这种不同来源领域知识的迁移,放在大数据的背景下,会更加有意义。不仅仅是我们可以融合的数据来源和类型变多了,更重要的一点是其他来源的数据可能更容易抽取到信息,对比之前缺少信息的情况下,开发难度变低了。

不同实体的不同类型信息,但是可以通过复杂网络相关联的

这种类型的典型场景是不同社交网络的多源融合问题,用户的信息可以在不同网络之间进行迁移( transfer ),国内像清华大学的唐杰老师,崔鹏老师,做过不少这部分的研究。

variety 对信息迁移的理解,在算法研究层面是不是还能有不一样的解读呢?个人意见,机器学习方法虽然不限特征来源,且能进行简单的非线性交叉,但是 deep learning 对各种特征做的更高层的 embbeding 和抽象,这种更高层特征的融合将 variety 在模型层面又提升了一个台阶,而 deep learning 的使用离不开大数据,没有超大数据根本无法训练大规模的深层网络。

Veracity 有些文献将 veracity 归结为 uncertain data ,窃以为不是特别准确。大数据有一些绕不过去的问题,比如高噪声,再比如一些异常信息淹没在可信数据的汪洋大海中,使得我们进行检测的难度变得极其大。但是长尾信息可能也淹没在这些海量的数据中,我们不需要惧怕这些问题,因为非纯净数据中同样蕴含着信息,只不过我们需要更加精细化的去深耕细作,甚至引入更大的数据和参数规模来刻画这些信息,相对于纯净数据甚至能取得更好的效果。

对此,俞老师也给出了一个角度的思考:发动群体智慧来进行抗噪或者异常检测。

对应此问题,我们也做了一些有意思的工作。比如朋友圈广告的评论数据,我们可以对这些评论进行情感倾向的量化,从而在点赞和点不喜欢之外,提供另外一个维度的用户反馈。但是我们也知道排除发小广告的,绝大部分评论都是非常短的文本内容。有些甚至是看似噪声的内容,比如小鲜肉最喜欢说的 “ 这是什么鬼 ” 。我们如何去发现这些数据中蕴含的信息呢?  

我经常跟学术界小鲜肉说的是:你们搞高级算法,我们则利用社交网络的大数据优势(阴险的笑)。上面的问题简单描述一下思路:通过表情采样(要防止表情的 term 过拟合),得到一些朋友圈 UGC 内容的情感倾向的 label ,然后对这些文本内容通过 word embbeding 和卷积神经网络来引入上下文信息来学习语义情感倾向。而海量且每日更新的 UGC 内容,可以关联到大量的相关数据所蕴含的信息,比如 “ 这是什么鬼 ” ,从社交大数据出发,走群众路线解决上述问题。

VelocityVelocity ,直观翻译是高速,很多文献对应的应用场景直观的就是 streaming data 。但是我认为可以引申出更多种理解:数据的高速流转,我们想要的结论可以及时反馈;内部特质变化,能快速的反应在数据分布和特征上;当需要了解收集数据时,可以快速的获取最新鲜的数据,等等等。回到大数据的应用研究中,聚焦到业务目标最终体现的是模型的快速更新能力,快速捕捉训练数据中反映的变化。

比如当目标是广告 CTR 预估这样的应用点时, velocity 涉及到许多技术环节,诸如日志快速收集反馈,日志实时 Log Join ,流式计算等等。最终体现在 CTR 模型实时更新这一项技术上。 KM 也有相关业务介绍过快速模型更新带来的 CTR 效果提升相关工作 [11] 。  

参考文献

[1] JIAWEI HAN, From Data to Knowledge: Construction and Exploration of Heterogeneous Information Networks  

[2] 芮勇 , From Big Data to Knowledge Discovery  

[3] PHILIP S. YU, Challenges and Opportunities on Mining Big Data  

[4] https://en.wikipedia.org/wiki/Big_data  

[5] http://wangmeng.baidu.com/news/2012-08-10/1347281356.html  

[6] http://km.oa.com/group/18268/articles/show/218391  

[7] Shuang-Hong Yang , etc. , Large-scale high-precision topic modeling on twitter  

[8] http://km.oa.com/group/propen/articles/show/231733  

[9] Kevin Murphy ,《 Machine Learning: A Probabilistic Perspective 》  

[10] http://km.oa.com/group/14352/articles/show/213192  

2016-2-2 17:39 | 来自: 腾讯大数据

扩展阅读

码农周刊分类整理
一文读懂大数据:Hadoop,大数据技术及相关应用
御膳房:构建大数据的美食厨房
智能推荐系统开发中的十个关键注意点
数据挖掘十大经典算法(详解)

为您推荐

struts2上传图片并剪切
Struts2学习笔记
Droptiles - 炫酷的 Metro 风格的层叠式 Web 面板
应用 HTML5 的 WebSocket 实现 BiDirection 数据交换
CSS选择器

更多

大数据
数据挖掘
分布式/云计算/大数据
相关文档  — 更多
相关经验  — 更多
相关讨论  — 更多