迎接在线化与开放化分析时代 Welcome to the Online and Open Big Data Analytics Era 离哲（@flyinweb） 资深技术专家SACC2017 发展趋势 典型案例 解决方案 1 2 3 SACC2017 Relational [ SQL+OLTP ] 1970 12 Rules [ OLAP ] 1993 2005 GFS+MR [ Big Data ] Graph Time Series HTAP Vector Text Cube Federation Autonomous More... SACC2017 5M-More Accessible 内部服务 外部产品 100,000+ ~1s + ~100 VS SACC2017 5M-More Data 抽样 VS 全量 多数据源(DB/HD/HD/File/..) 场景优化 PB + 毫秒级 混合云 多场景 (Table/Graph/GIS/TS/Matrix..) SACC2017 5M-More Ways 数据驱动 业务驱动 流程化 敏捷化 数据展现 数据洞见 漏斗模型/标签模型/... SACC2017 5M-More Realtime 批量装载 VS 实时写入 自服务 预建模 VS 即时 10,000,000/s + 10,000 QPS + 人人都是分析师 SACC2017 5M-More Action Insight 营销管理 (VCRM...) 5000+ 10000+ 安全风控 1M+ 推荐 1M+ 预测 100K+SACC2017 CRM——洞察用户 用户属性多样化：几十甚至数百个用户标签 筛选条件多样化：“买了又买”，“买了又看”，“看了不买”.... 洞察指标多样化：性别分布、浏览次数、城市分布…. 电商业务 SACC2017 经营分析——洞察经营情况 维度多：品类、品牌、产品、型号 周期长：半年、一年、两年… 数据实时性：半个小时内的数据波动 电商业务 SACC2017 可视化大屏——洞悉业绩 海量实时数据：每笔订单、每次浏览都要立即呈现 交互式展现：收货地域、分品类… 复杂的计算：top排行、区域热点… 电商业务 SACC2017 DMP——精准营销 海量数据：万亿级的互联网行为数据 海量维度：自由组合上千标签，快速圈选人群 复杂功能：人群扩展、自有数据上传… ROI 787% 营销业务 SACC2017 O2O-CRM——数据体现价值 海量会员：线下门店、餐饮的刷卡客户/预定客户/咨询客户… 多种来源：交易数据、营销数据、wifi连接… 实时干预：针对刚刚到访的、刚刚路过的客户进行分析、投放 O2O SACC2017 交通 SACC2017 智慧搜索系统 一站式多维搜索 时空分析系统 一切皆有迹可循 档案系统 知识图谱 碰撞比对系统 多源极速碰撞 标签系统 对象标签化 网络舆情监测系统 舆情导控 安全 SACC2017 数据清洗 标准化 数据加 工 主题库+ 标签化 触达引擎 匹配服务 ID/POI/商品 规则引擎 规则管理/同步 Insight 预测/报表 应用场景 安全风控 CRM 营销 敏捷BI 推荐 .... Open API 生产业务 ETL 批量 实时 实时 回流 实时 同步/更新 典型架构 SACC2017 分析 API 透视分析 触达报表业务管理 前 端 触达引擎 触达日志业务数据库 MaxCompute/Streamcompute/Hadoop/Spark S3 /OSS Cache Cache 外部渠道 AnalyticDB/Impala/... 典型架构 SACC2017 挑战一：高并发访问-存储性能 内部测试 20X 列存 3X 压缩 全索引 100X 预排序 1000X SACC2017 挑战一：高并发访问-低延时 3秒法则 CPU Mem Net 内部测试 13% 时延方差 L4 混合负载 IO SACC2017 挑战二：实时数据&明细查询 Select TA.*,TB.* from.. Order by ... Desc Limit 100 Drill Down TOP N Insert into TA Values ... 10,000,000+/s SACC2017 挑战二：实时数据&明细查询 分布式 多版本合并 Pull vs Push?历史数据 Delta V1 Delta V2 Delta V... 内部测试 40x 行列混存 10x Block索引 SACC2017 挑战三：多集合交并差 Select * from subquery1 Minus (Select * from subquery2 Intersect Select * from subquery3 Union Select * from subquery4) 漏斗、标签模型 表组级多版本 多层缓存 内部测试 100+ 100x 局部并行SACC2017 挑战四：海量数据实时ETL&同步 AnalyticDB node1 node2 node3 node4 ... Hadoop/Spark/ MaxCompute OSS/S3 内部测试 EDM SMS TAG ETL 150万 exp 500万 imp 双边并行 SACC2017 挑战五：执行引擎 MPP+DAG双引擎 流式分时执行 细粒度资源分级 TPC-H/TPC-DS支持 SACC2017 挑战六：优化器 SACC2017 More 钉钉群 微信群SACC2017 SACC2017
