大数据及深度机器学习介绍


QCon北京2014大会 4月17—19日 @InfoQ infoqchina 大数据及深度机器学习介绍 张潼 2013年11月2日 大数据在互联网 数据是互联网公司的最大战略资源 创造用户体验 创造商业价值 核心技术 大数据管理:infrastructure 大数据分析: machine learning 应用:system integration 机器学习 • 目标:让计算机系统更智能 • 方法:大数据+计算能力+复杂模型+高效算法智能 搜索广告 机器学习问题 • 点击率(CTR)预估 • 问题规模: 数据存储和管理:上万台机器 数据量:百亿到千亿级 特征数:百亿到千亿级 (稀疏离散值特征) • 大型线性Logistic Regression模型 • 计算技术:分布式同步CPU并行计算 语音识别    你好 机器学习问题 • 把声学信号变成文字:多分类问题 • 问题规模 万小时级语料 百亿级训练数据 上万类别;几百维特征 (稠密连续值特征) • 深度神经网络模型 • 计算技术:分布式异步GPU计算 机器学习流程 大规模机器学习 • 基础架构 分布式数据存储,管理,和分析 分布式CPU/GPU计算平台 • 算法 模型和特征提取 数据抽样 大型机器学习模型优化 数据管理 • Hadoop: 大数据存储 de facto standard 分布式文件系统(HDFS) Map-Reduce 可用于机器学习特征提取 计算性能 CPU: complex tasks Large memory (128G) Few cores (8) Peak 100+Gflops 适合: 稀疏离散特征 树模型 GPU: simple tasks extreme parallel Small memory (5G) Many cores (2K cores) Peak 3Tflops 适合: 稠密连续值 深层神经网络计算 数学问题 • 大型机器学习训练优化问题: • 分布式多机并行训练 问题的分配方式 分配数据到多机 • 每个机器有所有模型参数 • 每个机器也不同数据 分配数据和特征到多机 • 每个机器有一些特征和一些参数 分配特征到多机 • 每个机器有所有数据的一些特征 • 每个机器有不同参数 大型线性模型 多机CPU分布式计算:特征和样本发给多机 树模型 多机CPU分布式计算 把特征发到不同机器 深度神经网络 多机GPU/CPU分布式计算 从浅层到深度学习 浅层网络: 人工特征抽取 学习线性组合 深层网络: 从原始特征出发 自动学习高级特征组合 高级特征 2 0 Image Speech 深度学习成功条件 • 2010-今:在工业界取得巨大成功 • 复杂模型 • 大数据:100x • 大规模计算能力:1000x • 大数据+计算能力+复杂模型+高效算法 数据规模 • 图像: 数千万训练样本 • 语音: 数百亿训练样本 • 广告: 数千亿训练样本 •… 11/4/2013 22 训练数据每年成倍增长 … 深度学习模型:图像 计算资源和算法 • 几十台GPU并行计算 • 分布式算法 深度学习在百度 • 2012年夏天投入研发 • 用GPU提升计算效率,处理海量训练数据 • 语音识别,OCR识别,人脸识别,图像搜索等巨大提 升 • 到目前,超过8项技术在产品上线 百度深度学习成果 • 语音:错误率相对降低20-30% • OCR:错误率相对降低30% • 人脸识别:世界最好结果 • 全网相似图像搜索:效果显著超谷歌同类产品 • 全流量上线广告CTR预估,显著提升广告点击率 语音产品 语音 搜索 输入 法 地图 搜索 语音 助手 百度技术 Google搜索结果 检索图片 图片搜索 大数据和深度学习的意义 • 目标:计算机智能和人工智能 • 手段: • 大数据 • 复杂模型 • 计算能力和算法 • 系统合成 • 深度学习:最接近人脑的复杂模型 • 目前向人工智能走得最近的方法 特别感谢 QCon上海合作伙伴
还剩29页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 1 人已下载

下载pdf

pdf贡献者

luanshan

贡献于2015-01-23

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf