- 1. 基于机器学习方法对销售
预测的研究
- 2. (本页无文本内容)
- 3. 销售预测现状与痛点CONTENTS0102 销售预测四大步骤
03 销售预测基本方法
04 销售预测效果评估方法与指标
05 某电商网站销售预测案例分享
- 4. 销售预测全景图
供货链条
送货时间、送货
地点、是否包邮
等
物流
市场营销
促销方案
商品减价、商品促
销、组合销售等 生成和采购
合理安排生成和
采购的时间节
点,优化库存
库存
财务
管理
财务和会计
实时反馈公司财务报
表,监控公司资金流
动管理 销售预测的现状与痛点
销售预测是完善客户需求管理、指导运营、以提高企业利润为最终目的商业问题。
而预测的精确性是销售预测的核心痛点。销售预测的痛点
商业环境因素众多,变
化极快,难以及时把握
和分析
供应链整体水平低,导
致货物积压严重
产品定价、商品服务的
单一性,导致企业竞争
力小
- 5. 变化模式 预测的基本思想
预测是通过历史数据或其他外部因素构建模型、学习其变化“模式”,利用该“模式”对未来事
物进行预测的一个过程。
特点:短期预测的精度要远远高于长期预测。
业务理论数据量 假
设
销售预测体系框架
- 6. 销售预测现状与痛点CONTENTS0102 销售预测四大步骤
03 销售预测基本方法
04 销售预测效果评估方法与指标
05 某电商网站销售预测案例分享
- 7. 收集数据
确定预测对象、预测目标
和需求;
预测周期:短、中和长期
需求与预测精度的权衡准确性与可解释性的权衡
预测目标
收集数据、整理指标体系
数据描述与数据探索
数据预处理评价指标算法的选择
模型的训练与预测
过拟合问题的处理
建立建模
RMSE、MAPE等定量评价指标
AIC、BIC等模型评价指标需求探索开发完善预测的基本步骤
- 8. 预测目标
预测对象:性质、结构、业务场景等
预测时间:短期预测、中期预测和长期预测等精确性可解释性时间数
据
量少于5天大于4周
或1个月短期预测长期预测中期预测介于两者之间业务目标:准确性和模型可解释性的匹配度
- 9. 数据探索
对数据检查和理解:比
如库存量为负值、星期
数大于8等
对结果变量的分析:包
括分布、趋势性、周期
性等
对预测变量的分析:包
括变量筛选、多重共线
性、相关性数据预处
理
中心化和标准化
缺失值处理:邻近插补、
多重插补、线性插补等
数据转换:取对数、
Box-Cox变换
离群点处理
数据降维和特征选择:
PCA、AIC/BIC等收集数据或理解数据
数据搜集
目标数据(内部数据、
外部数据)
额外数据:天气、经纬
度、节假日、CPI指数等
- 10. 时期变量2015-05-2310.02015-05-2410.0…2016-05-099.82016-05-109.8时期变量2015-05-23NA2015-05-2410.0…2016-05-099.82016-05-10NA处理之前处理之后收集数据或理解数据
数据预处理的缺失值部分
处理缺失值的两大类方法:
(1) 直接删除缺失的预测变量
(2) 利用不同的方法对预测变量的缺失值进行插补,插补方法有:均值插补、多重插
补、随机插补、K近邻插补、线性插补等。
注意:一般对于带有时间戳的时序变量,考虑到变量的时效性和经济因素,通常采用
邻近插补法或者线性插补。
- 11. 一个需要进行数据变换的原因是去除分布的偏度。一个无偏分布是大致对称的分布,这意
味着随机变量落入分布均值两侧的概率大体一致。
数据变换一般有两种方法:(1) 对数据做变换,如取对数、平方根或倒数
(2) Box-Cox变换收集数据或理解数据数据预处理的数据变换部分
- 12. 销售预测现状与痛点CONTENTS0102 销售预测四大步骤
03 销售预测基本方法
04 销售预测效果评估方法与指标
05 某电商网站销售预测案例分享
- 13. 主观预测
专家法 时间序列
指数平滑法
自回归移动模型销售预测的基本方法 机器学习
线性回归
决策树
随机森林
xgboost
神经网络
支持向量回归
- 14. 时间销量销量时间 根据过
去经验专家法
专家预测法: 由专家根据他们的经验和判断能力对待定产品的未来销售进行
判断和预测,通常有三种不同的形式:
(1)个别专家意见汇集法
(2)专家小组法
(3)德尔菲法
优点: 简单、快速
缺点: 准确率低、受人的主观影响大
- 15. 指数平滑遵循“重近轻远”原则,对全
部历史数据采用逐步衰减的不等加权办法
进行数据处理的一种预测方法。
基本公式:
𝑦𝑡+1 = 𝑎 ∙ 𝑦𝑡 + (1 − 𝑎)𝑦𝑡−1
其中,𝑦𝑡是时间𝑡的时间值;
𝑎是平滑常数,其取值范围为[0, 1]。
优点:简单、适合趋势预测、模糊预测
缺点: 准确率不高、需要趋势性较好的数据指数平滑法
- 16. ARIMA模型是指将非平稳时间序列转化为平稳时间序列,然后将结果变量做自回归(AR)
和自平移(MA)。自回归移动模型(ARIMA)
- 17. 训练集
测试集机器学习算法
模型参数
模型评估特征筛选
预测Y’值
真实Y值Y
X样本数据
销售量
影响销售量
的因素机器学习的实现流程
使用机器学习的有监督学习对进行销量变化进行建模,
依据建模结果来预测未来销量值。其实现流程如下:
(X,Y)
- 18. (4) 模型选择,如随机森林、LASSO等[模型输出]x3x4x2
·
·
·
·x4x1
x6x5x3x1x6x5特征筛选
特征筛选是一类预测变量变换的方法,通过这种方式,能够用更具有信息量的变量来构建
模型,排除无信息量的变量的噪声干扰,提高模型稳健性。
常用的特征筛选方法:
(1) 相关性等统计 [阈值过滤]
(2) 信息增益、信息增益率、基尼系数等 [阈值过滤]
(3) 向前、向后和逐步选择法,如AIC/BIC准则 [最小值]
- 19. 原理简介:
通过结果变量与预测变量直接建立线性
关系
数值型回归优点:模型可解释性强线性回归模型:广义线性模型
线性模型随机分布>指数分布、泊松分布等 线性回归
>𝑌 = 𝜃0 + 𝜃1 ∗ 𝑋1 + 𝜃2 ∗ 𝑋2 + ⋯+ 𝜃𝑁 ∗ 𝑋𝑁
Y为销量值,X为预测变量,N为预测变量个数,θ为参数
激活函数
>激活函数:sigmod, log函数等 缺点:
只适用于线性规律
逻辑回归
- 20. 原理简介:
通过训练数据,形成if-then规则集合
由根节点到叶节点的每一条路径构成规则
对结果变量有主要解释作用的特征会先分裂形成规则
回归树用平方误差最小化准则,节结点 为单元内数值的平均值
优点: 可拟合非线性规律,计算复杂度较低
缺点:
容易出现过拟合
决策树(回归树)
妹纸评分:[0,10]
五官端正是否身材好是否有钱是9否53不好7
- 21. 随机森林原理简介:
是包含多个回归树的组合器
输出的数值是由个别树输出的数值的平
均而定
优点:
准确度高
训练速度快
容易做出并行算法
可处理大量变量并评估变量重要性
缺点:
在噪声较大的数据上会有过拟合问题
- 22. xgboost
- 23. xgboost
- 24. 𝑔𝑖𝑓 𝑡 𝑥𝑖 + ℎ𝑖𝑓 𝑡2 𝑥𝑖xgboost
目标函数去掉常数项:𝑂𝑏𝑗(𝑡) = 𝑛
𝑖=11
2+ 𝛺(𝑓 𝑡)找到那颗树𝑓 𝑡,使得目标函数达到最优即可。原理简介: 是基于传统的GBDT上做了一些优化的开
源工具包,目前有python,R,Java版。
优点: 高速准确
可移植,可以自己定义假设函数
可容错
- 25. 神经网络 𝑌 = f(X)(非线性映射)
原理简介:
是利用一系列非线性回归,将预测变量
映射到结果变量的一种方法。
优点:
准确度高
训练速度快
并行处理能力强
缺点:
需要大量的参数
不能观察学习的过程,对结果难以解释
- 26. 支持向量回归(SVR) 原理简介:
是通过寻求结构化风险最小来提高学习
泛化能力,实现经验风险和置信范围最
小化,从而达到获得良好统计规律的目
的
优点:
可以解决小样本情况下的机器学习问题
可以解决高维、非线性问题
缺点:
对非线性问题没有通用解决方案,对核函
数的选择非常敏感
SVR最本质与SVM类似,都有一个margin,只不过SVM的margin是把两种类型分
开,而SVR的margin是指里面的数据不会对回归有任何帮助。
- 27. 销售预测现状与痛点CONTENTS0102 销售预测四大步骤
03 销售预测基本方法
04 销售预测效果评估方法与指标
05 某电商网站销售预测案例分享
- 28. 模型评估方法: k 折交叉验证法
K折交叉验证法
– 在k-折交叉验证中,初试数据被划分成k个互不相交的子集或“折”,每个折的大小大致相等。
训练和测试k次。在第i次迭代中,第i折用作测试集,其余的子集都用于训练分类法。
– 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。数据S1
S2……
Sk测试集训练集 导出
回归法评估
精度
- 29. 模型评估方法: k 折交叉验证法
K折交叉验证法
– 在k-折交叉验证中,初试数据被划分成k个互不相交的子集或“折”,每个折的大小大致相等。
训练和测试k次。在第i次迭代中,第i折用作测试集,其余的子集都用于训练分类法。
– 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。数据S1
S2……
Sk测试集训练集 导出
回归法评估
精度
- 30. 模型评估方法: k 折交叉验证法
K折交叉验证法
– 在k-折交叉验证中,初试数据被划分成k个互不相交的子集或“折”,每个折的大小大致相等。
训练和测试k次。在第i次迭代中,第i折用作测试集,其余的子集都用于训练分类法。
– 准确率估计是k次迭代正确分类数除以初始数据中的样本总数。数据S1
S2……
Sk测试集训练集 导出
回归法评估
精度
- 31. 𝑖=1(𝑦𝑖−𝑦𝑖)𝑖=1(𝑦𝑖−𝑦𝑖)𝑅𝑀𝑆𝐸 =𝑛 2𝑛– 其中,𝑦𝑖为第i个样本的真实值,𝑦𝑖为第i个样本的预测值,n为样本量。– 有时也用𝑀𝑆𝐸 =𝑛2𝑛来评估回归模型的准确率,与RMSE效果相同。模型评估指标: RMSE(均方根误差)
–RMSE
– 与分类模型不同,回归模型是对连续的因变量进行预测,因此判断回归模型的准确率需要考
虑的是预测值与真实值之间差异的大小。
- 32. 模型评估指标: AIC & BIC
AIC准则是评估统计模型的复杂度和衡量统计
模型拟合优度的一种标准:–𝐴𝐼𝐶 = −2ln 𝐿 + 2𝑝– 其中L是在相应模型下的最大似然估计值,p
是模型的变量个数。
– 增加变量的数目提高了拟合的优良性,但可
能造成过度拟合的情况。AIC鼓励数据拟合
的优良性但是尽量避免出现过度拟合
(overfitting)的情况。
– AIC值越小,模型越好。AIC准则是寻找可以
最好地解释数据但包含最少自由参数的模型。– BIC准则是依贝叶斯理论提出的一种模型选择
准则。–𝐵𝐼𝐶 = −2ln 𝐿 + ln(𝑛)𝑝– 其中L是在相应模型下的最大似然估计值,n
是样本量,p是模型的变量个数。
– BIC值越小,模型越好。
– AIC准则倾向于过拟合,BIC准则倾向于欠拟
合,BIC选出的模型相对于AIC的更为精简。
- 33. 销售预测现状与痛点CONTENTS0102 销售预测四大步骤
03 销售预测基本方法
04 销售预测效果评估方法与指标
05 某电商网站销售预测案例分享
- 34. 销售预测的企业案例分析
项目背景
某电商平台主营海外代购业务,由于海外代购物流时间长、发货时间慢等因素导致 该电
商平台存在大量库存积压情况,想通过销售预测模型改善安排进货、提高发货速度以及优化
库存。预测某类销量
排行Top20某单
品未来7天的销
量情况预测目标1.收集数据:
~18个月数据,样本
513,指标722.数据探索:
与销量的变量分析
3.数据预处理:
缺失值、Box-Cox变
换、stepBIC等收集数据时间序列方法
机器学习算法应用模型评估指标
可视化展示评价指标
- 35. 收集数据:采集影响商品销量指标维度 6维度
72指标商品销量指标体系季节特征(1个) 营销推广(14个)
商品优惠 商品抢购
商品促销 首页广告
商品分销商品换货
商品退款商品退货商品复购
用户评价商品税率
商品库存商品销量
商品物流商品产地
商品供货节假日消费等级零售价格
交易价格交易税率用户行为(21个)
浏览行为 购物车行为
咨询行为 下单行为
收藏行为 支付行为321 商品信息(10个)4价格变化(13个) 56 商品品牌
商品质量(13个)
- 36. 数据探索:节假日与销量关系节假日变量对销量的影响明显
- 37. 数据探索:预测变量之间的多重共线性结论:订单数、订单金额和订单用户数之间相关性较高!需要过滤多重共线性!
- 38. 模型效果:真实值与预测值对比图xgboost和随机森林的预测效果较佳,线性回归和ARIMA效果较差
- 39. 应用模型:xgboost红色点线:某商品的真实销量
绿色点线: 某商品的预测销量
RMSE(均方根误差):3.68837
- 40. 算法名称RMSE性能ARIMA5.32速度较慢,2.5min线性回归4.28速度快,<1min决策树5.02速度快,<1min随机森林2.85速度快,<1minxgboost3.68速度适中,1.5min神经网络4.99速度快,<1min支持向量回归3.27速度快,<1min模型评估:RMSE◇随机森林:采取的是重抽样,具有自动选择重要特征的功能,无需做特征筛选,在一定程度
上避免了过拟合◇ xgboost: kaggle比赛上表现卓越的算法之一,从本质上分析是一个集成的决策树,但是可
以让弱回归树集成成强回归树因此,它们可以在本案例中能够取得的好预测效果而其他算法: 处于数据的局限性或模型的参数未达到最优,会存在一定的过拟合,导致预测效果相对较差
- 41. 算法名称预处理变量选择可解释性准确性ARIMA缺失值/变量筛选stepBIC低低线性回归缺失值/标准化/变量筛
选stepBIC高低决策树缺失值/标准化信息增益率高低随机森林缺失值/标准化模型选择高高xgboost缺失值/标准化/变量筛
选stepBIC低高神经网络缺失值/标准化/变量筛
选stepBIC低低支持向量回归缺失值/标准化/变量筛
选stepBIC低高模型总结
- 42. 基于机器学习的销售预测总结 是场景局限性,机器学习不是万能的;
研究的是相关关系,而不是因果关系。
是核心,无数据或数据质量低,会影响模型预测效果;
是模型选择的先决条件,先数据,后模型。
评估需要参考业务对接、预测精度、模型可解释性和产业链整体能力等因素综合考虑;
不能简单作为企业利润增加的唯一标准。
对建模提供业务理论基础;
算法问题要回归到业务问题。机器
学习
数据
效果
业务
- 43. 基于机器学习的销售预测展望– 可以尝试使用更复杂的模型来做销售预测,如HMM,深度学习(Long Short-Term
Memory网络)等,同时,也需要考虑到模型的可解释性、模型的可落地性和可扩展
性、避免“黑箱”预测;– 可以尝试采用混合的机器学习模型,比如GLM+SVR,ARIMA + NNET等;
– 销售预测几乎是商业智能研究的终极问题,要解决终极问题还有一段路要走。