大型互联网广告应用系统架构-e淘


大型互联网广告应用系统架构 第14期: 《海量数据挖掘与应用 》- e淘专场 www.LAMPER.cn http://weibo.com/lampercn 大纲 • 一、介绍 • 二、高并发应用系统 • 三、海量数据存储系统 • 四、中间件应用 • 五、广告系统运维和监控 背景介绍 • 广告产品 – 淘宝直通车,一淘直通车 – 钻石展位 – Tanx – 淘宠 (阿里妈妈) 直通车整体架构 • 业务系统 – 广告主自助系统 – CRM – 実核系统 – 数据同步 – 开放API • 广告引擎 – 搜索 – 非搜索 • 数据平台,计算平台和算法 • 防作弊和点击结算 高并发应用系统 淘宠 API • 每天亿级的API调用 直通车API • 几十万广告主使用 • 直通车已开放上百个API供合作代理商使用 报表API • 历史报表数据查询和下载 • 实时报表数据开放 业务系统架构 事务型关系数据库 Tengine (Nginx) + Tomcat Tengine (Nginx) + Tomcat Tengine (Nginx) + Tomcat Session Tair 集群 消息队列 用户库 Oracle Oracle Oracle Oracle Redis Master Redis Slave HSF Service Provider HSFJDBC 海量数据存储系统 • Oracle:核心广告数据 • HDFS:日志,报表计算数据 • OceanBase:大宠户用户报表数据,实时报表数据 • Mysql:用户报表数据 • MongoDB: 用户操作日志 • Redis:消息队列数据 • Tair:Session数据,Online应用数据缓存 • TFS:图片,下载文件 中间件应用 • HSF – 远程服务调用 – 软负载均衡 • TDDL – 透明数据库切分 – 读写分离 – 数据复制(非对称) • Notify – 保证通知的消息中间件(MQ) • Meta – 保证分区时序的持久化消息队列 • Diamond – 静态配置中心服务 • Time Tunnel 3 – 日志收集 广告系统运维和监控 黄金眼 •实时监控(分钟级)广告位消耗 系统监控 •PE监控工具: tsar, nagios 监控门户 •哈勃应用系统监控 Q&A 谢谢!
还剩14页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf