淘宝数据架构分析


大数据分析与挖掘在淘宝的 应用与挑战 -毛波2009-8-22 目录 • 大数据之我见 • 大数据-甜蜜的烦恼 • 淘宝数据技术变迁 • 淘宝数据架构 • 瞬间爆炸式增长数据的应对 • 现在及未来 • 一些观点 大数据之我见 量大 商品 商家 用户 逻辑复杂 格式多样 大数据-甜蜜的烦恼 • 手中有数,心中无术 • 数据处理失控 • 数据不一致 淘宝数据技术变迁 • 业务背景(交易额) – 2007前 百亿级 – 2008-2011 千亿级 – 2012-万亿级 07 2009 2010 08 2011 2012 淘宝数据技术变迁(续) 数据处 理技术 数据 量 业务 需求资源 淘宝数据技术变迁(续) 数据库 脚本 数据库集群 脚本 BO/MSTR Hadoop集群 调度监控 数据门户 Hadoop集群 Storm 调度、监控 实时日志传输 实时数据库同步 数据门户 数据自助查询工 具 淘宝数据架构-逻辑 淘宝数据架构-物理 调 度 监 控 业务库(Oracle/Mysql) Log Server 外部数据 数 据 源 数 据 计 算 平 台 数据门户 自助查询平台 API接口多维分析 数 据 应 用 数 据 流 向 数 据 集 成 DBSync TTDataX …… Hive Map Reduce HDFS Hbase 实时计算平台 Storm SM Nosql OceanBase Hadoop离线/小时计算集群 …… 数据挖掘 … 瞬间爆炸式增长数据的应对 • 双11购物狂欢节 – 2011年11月11日,全网单日成交52亿 – 高峰期10分钟1亿 瞬间爆炸式增长数据的应对(续) • 提前做系统清理 • 硬件临时扩容 • 救急方案预备 – 服务降级方案 – 救火软硬件池 • 数据分散化 – 实时传输 – 实时计算 – 阶段性汇总 • 随时待命人肉处理 现在及未来 • 实时化 – 天->小时->分钟->秒 • 展现个性化 – 同一数据,不同视角 • 即席化 – 基于搜索引擎等技术 – 多维度 – 即席定制,秒级反馈 一些观点 • 结合事件看数据 • 别听TA的,给TA想要的 • 数据是血液,融在业务中 谢谢
还剩14页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 6 金币 [ 分享pdf获得金币 ] 2 人已下载

下载pdf

pdf贡献者

kinfion

贡献于2013-04-23

下载需要 6 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf