手机淘宝推荐中的排序学习

jopen 8年前


周梁:淘宝推荐机器学习技术专家,中国科学院自动化研究所机器学习博士,主要研究工作方向是机器学习、大规模并行算法优化。先后从事过广告CTR预估,MPI机器学习平台搭建,手淘个性化推荐等多方面工作。

排序学习是推荐、搜索、广告的核心问题。在手机淘宝的推荐场景中,受制于展示空间的限制,排序学习显得尤为重要。在淘宝,如何从十亿的商品中,挑选出用户 今天喜欢的商品,也是个巨大的挑战。 本次我们分享排序学习在手机淘宝中的应用,其中包括:解决了哪些问题,遇到了哪些挑战,以及做了哪些改进。

 

手淘推荐介绍

 

图1手淘推荐业务全覆盖

用户提升体验,千人千面;商家提供流量,提升转换;平台引导行为,流量分配。

图2手淘推荐系统

Match:基于内容,行为的推荐。场景,社交,人群,个人的长期兴趣,短期行为。

图3排序学习的原因

排序学习分类:PointWise:

PairWise:

ListWise:直接优化整个集合序列,不再做Transform,优化目标NDCG.

业务实例

 图4店铺内推荐业务

业务:只可以推荐同店铺商品,可以是相似搭配。目标:CTR.方法:PointWise。

 图5模型

样本构造:

模型目标:预测<user,item> ctr,并按照ctr排序。

手机埋点的困难:曝光,点击收集,Native 版本,H5 版本。

正负样本处理:

1.       点击/曝光PV

2.       (点击 + 折算成交)/曝光PV

3.       (点击 + 折算的成交)/(有效点击以上PV截断)

4.       (点击 + 折算的成交)/(泊松采样的虚拟PV)

特征设计

ID类特征,User、Item 、Context基本特征,移动特定场景相关特征:设备ID  VS 用户ID;城市区域特征;手机型号特征,PC & Mobile 特征融合。

每个特征权重反映该特征在数据中的统计意义,方便进行特征组合和模型debug,比较方便引入在线学习。

特征工程

 

  图6年龄匹配

来自: http://yq.aliyun.com/articles/122