面向数据智能时代的大数据实践


© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 孔淼 创始人/CEO 诸葛io,面向数据智能时代的大数据实践 1990~2016大数据平台的三波浪潮 第一波浪潮 Age of oracle,sybase 少量结构化数据 —— 集中式软件时代 存储昂贵 采集特定数据 代表企业: Business Objects Cognos MicroStrategy 第一波浪潮面临的挑战 可生成数据的产品迅速增长 并且互联网在从信息化转向服务化 第一波浪潮背后的发展 全球数据增长迅速: 自2010年以来的复合年增长率为50% 数据基础设施成本迅速下降: 复合增长率为-20% @KPCB 第二波浪潮 Age of BigData 数据爆炸/孤岛 ——分散系统时代 (软件、网站、APP、智能硬件) 便宜的存储 随处可见的大数据 代表企业: VISUALIZATION CLOUD BI CACHING ETL 第二波浪潮面临的挑战 人口红利结束,经济增长放缓 第二波浪潮背后的发展 互联网产品 从信息化走向服务化 第二波浪潮背后的问题 大多企业缺少专业分析的人 所有分析依赖BI团队,效率低下 第三波浪潮 Age of big/fast 庞大数据规模 ——无处不在的软件服务 大而快的存储 数据驱动商业决策 代表企业: gainsight datadog insidesALES looker domo anaplan 新的知识工人做工作的方法 数据正在从工作流外的使用转变为商务应用本身的一部分 客户中心化 & 分析去中心化 打造高效的智能数据决策平台 多源整合,为企业提供 以“用户”为中心的数据统一管理平台 基于行业和部门模板提供个性化配置, 指导每一个岗位数据驱动业务决策 深度下钻,支持独立用户的全生命周期分析 为企业找准真正的核心用户 多维交叉分析 了解业务发展 漏斗分析 掌握流程转化 用户群分析 客户分群跟踪 自定义留存 观察客户使用 人人可用的强大分析组件,全面提升企业分析效率 分析之后,丰富的应用场景 以提升用户生命周期价值为目标的数据应用 敏捷灵活 的智能数据报告 全面提升企业分析效率 与数据流转效能 诸葛io的架构实践 从Lambda架构开始 Android iOS JS Server 负载均衡+数据接收服务 消息队列 ETL处理 实时统 计 数据仓 库 数据索 引 数据备 份 数据访问层 诸葛io 网站 内部服 务 数据挖 掘 开放API 第一次上线的架构 数据服务上传延时太高 https握手时间太长 —— 增加LVS,升级http2 连接超时,平均请求过百ms —— Nginx+Lua 数据处理Java进程不宜管理 换SAMZA平台 Infobright的瓶颈 数据量越来越大 —— 查询多数据库路由 DAU过50万查询速度太慢,Scalable差 —— 换GP, 诸葛PreAg 诸葛PreAg 内容App——iOS新增用户的七天阅读留存 iOS用户 今日阅读 用户 在第七天前的 新增用户 留存 1. 预计算 2. 业务分层 常用维度|非常用|常用|非常用|非常用 常用维度| 常用 非常用| 非常用 架构V2 AWS上的可扩展的架构 1. 可扩展性 —— 从 IDC机器 到 EC2(云端自动化) 2. 成本 —— 从HDFS到S3(协议切换) —— YARN到EMR(AWS hosted) 3. 性能 —— 从Greenplum 到 Redshift (同源PostgreSQL) 架构V3 —— 更多期待 Thank you!
还剩32页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

jacky_liu8

贡献于2016-09-21

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf