• 1. Analytics and Big Data on Power方案及案例分享
  • 2. 目录大数据与分析概述 高性能运算Symphony解决方案 DB2 BLU助力高性能数据集市 大数据案例分析
  • 3. 大数据与分析概述
  • 4. “上个月在瑞士达沃斯举行的世界经济论坛上,大数据是一个热点话题。在论坛的一份报告《大数据,大影响》中声明: 数据已成为一类新的经济资产,就像货币或黄金一样.“公司被数据淹没了—从客户的习惯到供应链的效率。但是许多经理却不能理解这些数据的意义.”“越来越多的企业使用大众媒体去分析公众对产品的反馈,例如Facebook或Twitter, 也有使用网站资源试着“了解客户,是什么让他们选择他们想要的东西” 负责IBM预测分析项目的迪阿德瓦说。" “大数据已抵达Seton医疗保健家庭,幸运的是, 通过使用这个分析工具,每年超过200万复杂病例的患者得到了帮助…”“数据是新型石油” 未开采的石油,没有什么价值。 加工及提炼后,将助力世界。 “…现在,沃森 正投入到工作中,消化了数百万页的研究, 结合最佳的临床实践和监测结果,以协助医生治疗癌症患者.”奥斯卡情感测量— 一种工具,是由洛杉矶时报、IBM和南加州大学安创新实验室共同开发的— 分析意见,“主要针对Twitter上共享的百万条奥斯卡奖项比赛的公共信息做出的分析意见.” “数据是新型石油.” Clive Humby
  • 5. 大数据来自哪里? 截至 2011 年末网络上有超过 20 亿人现在有300 亿 个 RFID 记 (2005 年时有 13 亿)全球有46亿 台照相手机每年售出数亿台支持 GPS 的设备在 2009 年有7600万 台智能仪表…… 至 2014 年将达到 2 亿台每天有超过3亿 活跃用户每天有超 过25 TB 日志数据每天有 超过1亿 条消息
  • 6. 大数据的特点综合分析覆盖面越来越宽的种类应对日益增长的速度有效地处理日益增长的数量建立大数据来源的真实性三分之一商界领袖感到无法信任那些帮助他们做决策的信息50x35 ZB20202010300亿 RFID传感器和计数器世界上80%的数据是非结构化的
  • 7. 大数据会影响到您业务的方方面面了解关于您客户的一切 从渠道交互到社交媒体,通过分析所有数据来源帮助您了解您的每位客户 零延迟操作 分析所有可用的操作数据并且实时做出反应,从而优化流程。通过成本效益技术降低IT成本。 在速度和规模上实现新产品创新 捕获所有来源的反馈,分析庞大的市场环境,研究大量的数据,从而推动创新。 即时的欺诈和风险意识 通过分析所有可用数据来打造更好的欺诈/风险模型,用流数据交易分析来实时监测欺诈 利用仪表化资产 监控资产通过实时数据反馈来预测和预防维修问题,并且开发新产品和新服务。
  • 8. 大数据主要与大型数据集相关 在大数据的新世界中,我们必须更换所有陈旧系统 大数据就是 Hadoop 较为陈旧的事务数据已经不再重要 数据仓库已是昨日黄花 大数据适合熟知互联网的企业。传统业务与大数据毫无关系 我们不具备相应的需求、预算或者技能,因此我们不必为此担心人们对于大数据的观点是怎样的
  • 9. 研究显示了实施大数据的4个阶段大数据采用当基于当前的大数据活动级别而划分为 4 个小组时,受调查者在组织行为上表现出显著的一致性 受调查者总数 n = 1061 由于舍入原因,各个比例总和不等于 100%6%部署两个或更多大数据计划,继续应用高级分析占总受调查者的百分比执行22%试点大数据计划,以验证价值和需求占总受调查者的百分比试点47%基于业务需求和挑战开发战略和路线图占总受调查者的百分比探索24%专注于知识收集和市场观察占总受调查者的百分比学习
  • 10. 智慧分析数据仓库大数据平台加速器流 计算数据 仓库Hadoop 系统信息整合与治理应用开发发现系统 管理内容管理数据仓库流计算Hadoop 系统信息整合与治理大数据平台系统、存储和云业务分析内容 分析决策管理风险 分析绩效管理商业智能与预测分析大数据分析内容 分析预测分析决策管理社交媒体分析分析整合与治理IBM提供了全面的、整合化的大数据和分析方法
  • 11. Hadoop 系统 管理多样化海量数据 企业级应用增强了开源Hadoop能力 流计算 用于分析流动的数据 能够处理分析多种数据 – 通过高级分析运算符来支持结构化,非结构化,视频,音频等 数据仓库 工作负载均衡的MPP架构,支持高性能的OLAP及混合型的操作和分析负载 数据可视化 企业级搜索引擎 图形展现海量分析结果IBM大数据平台
  • 12. BAO方案整体技术架构从哪里来?是谁?到哪里去?
  • 13. 大数据解决方案出现之前传统的计算模式数据源数据抽取数据仓库 场景模型 策略 / 计划 平衡计分卡 预测 / 预报绩效分析价值分析数据集市数据分析前端展示风险分析企业数据仓库数据仓库 事实表ETL 工 具数据管理基于门户的 Web页面固定报表多维分析即席查询数据集市 MOLAP Relational 立方体管理 行业情报ERPHRSCMCRMStatistics外部数据财务预算数据员工状态 设备状态客户信息分析报告ETL: 抽取、转换和加载
  • 14. 数据源数据抽取数据仓库 场景模型 策略 / 计划 平衡计分卡 预测 / 预报绩效分析价值分析数据集市数据分析前端展示风险分析企业数据仓库数据仓库 事实表ETL 工 具数据管理基于门户的 Web页面固定报表多维分析即席查询数据集市 MOLAP Relational 立方体管理 行业情报ERPHRSCMCRMStatistics外部数据财务预算数据员工状态 设备状态客户信息分析报告ETL: 抽取、转换和加载电商、微博、社交网站、平安城市等产生大量社交数据、日志、图片、视音频数据…. 海量数据汇总、统计耗时太长,满足不了业务部门的时效性需求;传统计算模式遇到的困难某些业务部门需要实时数据分析,数据一边产生,一边进行分析,以应对市场压力 数据产生速度快,数据量巨大,种类繁多,非结构化数据占了80%以上
  • 15. Hadoop 并行计算模式HDFS—Hadoop Distributed File System。 HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制(replicas),并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在它们所在的节点上处理这些数据了。MapReduce
  • 16. 大数据技术与传统数据处理技术的关系 超越和补充传统数据处理技术实时 数据处理Internet 级别 海量数据 存储与分析传统 数据仓库In-Motion AnalyticsData Analytics, Data Operations & Model BuildingResultsInternet ScaleDatabase & WarehouseAt-Rest Data AnalyticsResultsUltra Low Latency ResultsInfoSphere Big Insights传统/关系型 数据源传统/非关系型数据源传统/关系型 数据源传统/非关系型数据源
  • 17. 高性能运算Symphony解决方案
  • 18. 大数据常见应用场景举例影像管理(各类单据的扫描件、地图影像),非结构化/半结构化数据存储和分析(XML文件、文本日志文件) 典型应用: 测绘行业系统、地图服务提供商产品、公安部、银行/税务票据管理、电信详单日志分析、各类终端采集数据分析…… 常见痛点:存储成本/性能,关系型数据库性能/功能问题。 业务/产品/服务创新 典型应用: CDR分析,舆情分析,LBS,广告精准投放,移动终端服务/智慧XX (电表数据分析、HIS,电子支付),精益生产、反洗钱…… 常见痛点:实时性、数据来源多样、数据量大 计算密集型应用 高性能计算技术非常适用 典型应用:保险精算、银行风险分析、信用卡欺诈分析…… 常见痛点: 实时性、多种数据源要形成统一视图
  • 19. (本页无文本内容)
  • 20. IBM大数据平台优势1-高性能国内运营商进行的基于Hbase的数据查询测试,取得3~15倍的性能优势 国内运营商进行的基于Hive的数据分析测试,取得9~11倍的性能优势 数据加载场景每核加载速度为x86核的11.18倍数据分析场景每核分析速度为x86核的9.63倍
  • 21. 为什么Symphony更快?Job Tracker/Task Tracker 用C++/C编写 资源管理和任务管理解耦. 支持300 并发job trackers; 1000 并发 jobs/job tracker SOA架构,共享服务(reuse JVM across many tasks) 使用TCP原语和二进制编码,取代 http and text/XML Push protocol avoids task tracker pulling tasks and the delay caused by pulling interval 专利的 asynchronous persistency protocol 以保证可靠性和性能Note: Hadoop Results were published by Cloudera at Hadoop World event Dec, 2011. Hadoop jar example.jar sleep –mt 1 –rt 1 – m 5000 –r 1 Tested on 10 hosts21
  • 22. IBM大数据平台优势2-高可靠从硬件、文件系统和分布式计算框架所有层面采用高可靠设计架构,杜绝基于开源产品的不可靠问题 Symphony计算框架:经过接近20年全球成功企业应用考验的高可靠性框架,不仅本身可靠性高,不存在单点故障,而且通过对下层硬件资源的先进管理功能,实现物理资源与逻辑资源的解耦,实现资源的动态加减和黑名单等机制,彻底解决硬件故障的透明failover问题 GPFS-FPO文件系统:经过20多年全球无数应用验证的分布式文件系统,成熟、可靠,GPFS-FPO采用去中心化设计(元数据分散存储),天生不存在NameNode的单点故障和可靠性瓶颈问题 PowerLinux在RAS特性方面全面领先X86平台
  • 23. IBM大数据平台优势3-好维护
  • 24. IBM大数据平台优势4-高度兼容性Symphony和GPFS具有最广泛的兼容性,只要是基于Hadoop架构标准接口开发的软件都可以100%兼容,如Hadoop Hbase, Pig, Hive, Java MR, Oozie等各种知名的Hadoop开源方案 不仅兼容开源方案,还支持各种商业分析软件,如SAS、SPSS、Murex, Algorithmics, Sugard, Calypso, TillingHast 等 兼容各种Java、R、C/C++等各种开发语言,兼容各种文件系统及数据库,如HDFS, GPFS-FPO,RDMBS, MPP等,兼容Linux、Windows、AIX等各种OS平台,兼容X86、Power等各种硬件平台,支持虚拟机和物理机混合组网使用
  • 25. IBM大数据平台优势5-技术支持核心产品由IBM自主开发,拥有完全的技术研发与支持力量 全球26个研发和销售机构,300+的研发团队分布在北京和西安两地 强大的QA和服务支持团队,强大的本地售后支持力量 专业的定制化开发团队 业界公认的大型网格/工作负载管理的领导者全方位的技术支持服务评估规划与咨询服务建设设计与实施服务管理管理与维护支持服务
  • 26. IBM大数据平台优势6-高效可靠文件系统
  • 27. GPFS-FPO替换HDFS,更可靠、更高效对于需要随机I/O的 SQL查询,JAQL查询等 对于需要线性排序的sort操作来说 BigInsights 提供2至3倍与开源Hadoop技术的性能 文件索引等查找效率 17倍于开源Hadoop技术,得益于Client Cache能力Hadoop Indexing (HDFS)Database Upload (ext3)Web Service LayerCopyFetchHDFS: Extra copy overhead and network fetch, separate clusters for analytics and databaseHadoop Indexing + Database Upload (GPFS)Web Service LayerCacheGPFS: Single cluster for analytics and database, no copying required, caching for web layerWorkload IsolationProven data integrity Replicated metadata services Yahoo keeps 3 copies of 3 versions of HDFS because of unknown data integrity [1] Quantcast deletes files once HDFS is 50% full [2][1] Care and Feeding of Hadoop Clusters, Marc Nicosia, Usenix 2009 [2] The Komos Distributed File System, Sriram Rao, Quantcast Inc.GPFS-FPO Key technology Locality awareness Write Affinity Metablocks Pipelined replication Distributed recovery超过20年发展的成熟的企业级文件系统 vs HDFS 4年发展历史 IBM企业级支持的商用软件 vs HDFS开源软件 POSIX兼容,同时支持传统文件访问和Hadoop应用 vs HDFS不兼容POSIX 内建的安全特性和高可用性(集群管理节点 e.g.) vs HDFS namenode单点 跨数据中心复制容灾 vs HDFS无远程复制
  • 28. GPFS-FPO去中心化设计,高性能与高可靠
  • 29. 可扩展的IBM SystemsConfiguration初始配置半机柜配置1st Thru 4th 满机柜附加满机柜Usable StorageUp to 108TBUp to 324TBUp to 684TB per rackUp to 720TB per rackUser spaceUp to 36TBUp to 108TBUp to 228TB per rackUp to 240TB per rack 可扩展得多个入门方式 从很小的规模起步逐步扩大 支持多种工作负载的灵活的 CPU, 内存, 存储和网络 选项
  • 30. IBM PowerLinux 7R1– 便捷、高效的入门级产品可靠设计 Single socket , 2U rack 8-core 3.55GHz POWER7 processor Up to 128 GB memory with 8/16/32 GB DIMMs First 32 GB included in base package 高扩展性和强大虚拟化能力 Up to 24 SFF hard drives per 2U storage expansion drawer (L1S) PowerVM™ exploiting integrated hypervisor 8246-L1C / 8246-L1S GA on August Virtualization & ManagementOperating SystemsLinux only POWER7 One socket, 2U rack
  • 31. IBM PowerLinux 7R2 -高性能、灵活配置Operating SystemsVirtualization & Management 高系统密度 Two Socket, 2U Rack 16-cores 3.3 GHz and 3.55GHz POWER7 processor 256 GB maximum memory with 2/4/8 GB DIMMs - First 32GB included in 3.55GHz processor base package - First 64GB included in 3.3GHz processor base package Up to 20 7R2s in a single 42U rack 强大的I/O和硬盘扩展性 Up to 24 SFF hard drives per 2U storage expansion drawer PCIe (Gen 1) Expansion Drawers – 4U – two flavors (L2S only) 高效的虚拟化能力 PowerVM™ exploiting integrated hypervisor Support up to 10 VMs / core, 160 VMs / server Linux only POWER7 Two socket, 2U rack 8246-L2C/8246-L2S GA on June
  • 32. IBM Storwize V7000 – 在单一系统整合了块和文件存储 自动存储分层 基于实时应用分析模式的先进的技术,可以自动在存储层之间迁移数据 新一代图形化界面(GUI) 易于使用的数据管理图形化用户界面,拥有极其简便的“点选式”系统管理功能 性能 针对在线备份、测试和数据挖掘,支持更快和更高效的数据拷贝Virtualized Storage System300% Performance Improvement Automatic migration to high-performing SSD’s
  • 33. XIV 系列为应用程序提供顶级的性能Oracle Data Warehouse (IOPS) Oracle DHW WorkloadWatch the video: XIV Gen 3 “Straight Talk on Performance”SAS Business Analytics Workload Analytics reports created
  • 34. Flash无处不在的优化和调节是解决方案的主题Flash 将被同时部署在整体架构的每一层 存储子系统 网络设备 PCIe 设备 Application ServerApplication ServerStorage systemNetworkStorage based Remote replicationSSDSSDVMVMVMVMVMVMEphemeral Storage High perf, working set Data MoverEasy Tier CoordinationDRAMSSDWhy? 性能敏感的应用程序 HDD的性能优势 Flash 超越内存的性价比优势分离的缓存和分层的协调是至关重要的 效率 数据完整性/缓存一致性 DRAM
  • 35. DB2 BLU助力高性能数据集市
  • 36. 使用DB2 BLU on Power构建高效内存数据集市 DB2 BLU是一种能极大提高OLAP业务性能的新技术 DB2 BLU为DB2数据库添加列式存储功能 充分利用CPU架构的新运行时技术,直接内置在DB2内核中 高达10倍的压缩比 极大提升OLAP查询性能 DB2 BLU 利用SIMD 处理指令获得更好的性能
  • 37. Cognos BI ,带有 BLU Acceleration多平台软件分析 数据集市 (BLU 表)Oracle 或 Teradata 仓库的性能较差创建表,加载并启动! 即时性能提高 处理 TB 级数据 无需创建和调优索引/聚合 多平台软件的灵活性Cognos BI ,带有 BLU AccelerationDB2 BLU on Power用例1 – 企业数据仓库卸载 数据集市加速EDW 应用程序OLAP 应用程序轻松创建和加载 BLU Acceleration 内存中集市
  • 38. 多平台软件分析 数据集市 (BLU 表)ERP 或其他事务性系统 轻松创建和加载 BLU Acceleration 内存中集市事务性 数据库DB2 BLU on Power用例2 –分析数据集市 从事务性数据库创建表,加载并启动! 即时性能提高 处理 TB 级数据 无需创建和调优索引/聚合 多平台软件的灵活性业务线分析数据集市
  • 39. (本页无文本内容)
  • 40. 运营 只需加载数据就可以启动 像所宣称的那样易于评估和执行 BI 开发人员和 DBA - 更快地交付成果 无需配置或物理建模 无需索引或调优 - 开箱即用的性能 数据架构师/DBA 可专注于业务价值,而不是物理设计 ETL 开发人员 无需聚合各个表 - 更简单的 ETL 逻辑 更快的加载和转换速度 业务分析师 真正的即席查询 - 无调优,无索引 针对大型数据集提出复杂的查询DB2 BLU七大特点之一 :简单易用
  • 41. © 2013 IBM CorporationDB2 BLU七大特点之二 :卓越的压缩 更少的数据存储空间 同未压缩数据比较,平均可以节省95%的数据存储空间 只需要存储表数据,不需要额外空间来存储索引等其它类型数据 应用了多种压缩技术 所有操作都在压缩数据上进行 针对不同数据类型应用最优的压缩算法 更多的细节参考后面的内容
  • 42. 42没用SIMD 技术的CPU每条指令职能处理一个数据DB2 BLU七大特点之三 :充分利用CPU的SIMD特性 利用Single Instruction Multiple Data (SIMD)特性增加性能 DB2 BLU 能够在一个指令中同时对多个数据进行操作 包括比较,Join, 分组和数学计算 Compare = 2005Compare = 2005Compare = 20052001指令结果数据200220032004200520052006200720082009201020112012Processor CoreCompare = 20052001指令结果数据200220032004200520062007Compare = 2005Compare = 2005Compare = 2005Compare = 2005Compare = 2005Compare = 20052005Processor Core
  • 43. DB2 BLU七大特点之四 :内核友好的并行化 更加关注于服务器的硬件设计因素 DB2 BLU中对表的查询将自动以并行化的方式处理 将CPU缓存,高速缓存块(cacheline)的效率最大化QUAD CORE CPUQUAD CORE CPUQUAD CORE CPUQUAD CORE CPU
  • 44. © 2013 IBM Corporation44DB2 BLU七大特点之五 :列式存储 © 2013 IBM Corporation44© 2013 IBM Corporation44减少I/O 只处理查询关注的列中的数据 直接对相关列进行运算 所有的运算,Join仅对关注列进行 在必须返回结果集前,数据将不会组合成行的形式 提高内存中的数据密度 列中的数据在内存和存储中始终保持着压缩的形态 卓越的压缩 提供更高的压缩比10:1(DB2 BLU) 高效的缓存 数据被组合成利于缓存和寄存器处理的格式
  • 45. © 2013 IBM CorporationDB2 BLU七大特点之六 :优化内存/缓存管理 © 2013 IBM Corporation© 2013 IBM Corporation全新的缓存算法使内存使用更高效 更高的内存命中率 新算法尽量保证热点数据保存在内存中 数据可以大于内存空间 不同于常见的内存数据库,数据不必完全在内存中 优化以减少内存和存储的I/O交互 RAMDISKSNear optimal caching
  • 46. © 2013 IBM CorporationDB2 BLU七大特点之七 :数据跳过 © 2013 IBM Corporation自动监测一段数据是否符合查询的忽略条件 能够节省大量的I/O,内存和CPU资源 不需要数据库管理员进行任何定义
  • 47. 大数据案例分析
  • 48. 大数据实施案例:某国外大型汽车制造企业大数据平台
  • 49. 某市智能交通项目
  • 50. 50IBM Platform Computing 支持多种不同金融应用类型工作负载Murex Microsoft Excel Sungard Front Arena, Adaptiv Algorithmics Algo Risk Milliman Hedge, Alfa Polysys Moodys / Fermat Calypso SAS Enterprise Miner / Data Miner Sophis / Misys Risque GGY Axis Openlink Kondor+ Revolution R ISV 应用软件风险估值 VaR (value at risk) 信用值调整CVA (credit value adjustments for CCR) 资产负债建模ALM (asset liability modeling) 灵敏度分析 信用等级评分 抵押分析 可变年金建模 模型回溯测试 投资组合压力测试 数据的提取,转换和加载 ETL 策略提取Strategy mining 精算分析
  • 51. 在爱Citi分析网格Citi – 计算和数据结合型网格系统,主要为风险分析在一个共享的网格资源里运行着200 以上不同的 BI 和零售分析应用 全球动态共享的40,000 cores 能够持续维持70% 以上的利用率 超强的管理效率 – 管理者与主机的比为 1:400 作业吞吐量 – 400,000,000 作业 / 天 14 条不同的业务线共享着全球的HPC资源 为每个商业业务单元确保SLA s时间指标, 实现广泛的资源共享 4 个数据中心包含了异构的Linux & Windows 主机, 一处在伦敦,一处在香港,还有两处在美国 处理国内增长的风险,定价应用和其他的商务应用,与SAS, Murex 等集成. 异构的工作内容 (批处理, SOA, 计划部署 Map Reduce) 自定义服务, 报表和退款实时的监控和管理主机, 所有全球资产的完全可视化针对整个企业相关应用和风险控制的全球资源分配方案在数据中心和功能域基础上的有关LOBs和应用的弹性的资源分配模式横跨整个地域的有关 LOBs 和应用的全球资源共享视图案例分析 – 花旗银行
  • 52. 根据银监会的要求,国内商业银行需要2015年前满足中国版巴塞尔协议III对银行业风险控制的要求,国内目前已经有多家银行使用Algo风险管理模块 流动性风险管理模型属于计算密集型,RiskWatch阶段占任务的95%以上,可以通过Symphony将RW作业并行化 随着银行业务及数据量的增加,提高计算效率只需要增加Symphony的计算节点数目,可扩展性强 银行业有很多计算模型都可以通过Symphony来解决问题,比如MOSES, CALYPSO, RMATLAB, R Language业务场景Financial Risks 1. 选择感兴趣的地理区域 客户挑战: 目前基于Algo流动性风险分析系统风险管理应用每周运行一次,每次计算需要100+小时,不能满足未来应用扩展和可靠性需求,不能及时得出风险分析结果 XX银行风险管理系统-业务描述1/3
  • 53. Algo EngineSym ServiceAlgo EngineSym ServiceAlgo EngineSym ServiceAlgo EngineSym ServiceAlgo EngineSym ServiceSym Compute Hosts: 6 nodes * 32 cores = 192 coresSym MasterSchedule, Monitor, ManagementSym Master CandidateShare StorageSchedule, Monitor, ManagementSchedule, Monitor, ManagementAlgo EngineSym ServiceScale out 53Algo BatchCITIC RW Analysis Algo EngineClient RequestSingle Computing“使用了Platform Symphony 软件,计算机资源的利用率大幅提高,Algo 计算时间大幅缩短,达到了预期的技术指标, 且Symphony 软件有丰富的API接口,易于集成其他软件,为以后的业务拓展和升级留下了巨大空间。” -- 客户证言方案优势: 单节点情况下客户的任务需要100+小时完成,使用Symphony后业务计算可以在10小时以内完成,速度提高10倍以上;例如:晚上运行风险分析任务,次日凌晨可得到分析结果,满足业务需求; 可靠性大大提高,单一节点故障不影响整体系统运行; 银行业务数据增加、业务计算时间要求缩短,可以通过增加Symphony的节点来完成银行风险管理系统-方案结构2/3
  • 54. Customer Case and Pain PointSolutionsResultDemo PointsClient use Algo for the risk management. It’s based on C/S architecture running Single node. With the business growth, the process cycle reached 100+ hours per week. Management could not get the report in the a business day. Symphony Scal-out the Algo application from single node to 192 nodes. Symphony acting as middleware roles get the Algo client input and schedule the task in a distributed grid. The tasks can be processed in the grid concurrently. Symphony response to Algo client once the task finished. Show the single server process and say it can not be finished in 10 hours and stop it. Show the similar application process with same data in Symphony Grid and finished in 10 hours. See task progress on the GUI See the host manager from GUI See the CPU, I/O and show the finish time Client can get the result in 10 hours. The time can be controlled by adding more server in the Algo grid with business growth and process time is predicable. Besides, Symphony acting as general middleware can scale-out application like Murex, Moses, Calypso, Matlab, R etc. 银行风险管理系统-案例总结3/3
  • 55. 某市人民检察院
  • 56. 客户行为分析 - 业务流程说明北京电信互联网行为标签系统,是汇聚电信用户通信、终端等上网数据,解析用户移动互联网流量行为,全角度刻画用户,为用户画像,细分客户群的分析系统,其输入数据为北京电信用户DPI上网基础数据,输出为用户行为分析统计报表。主要功能模块 APP数据采集:根据目前各市场及各省手机应用下载情况,选择建立标准APP库。 站点信息采集 :站点信息定期爬取及更新,建立标准URL库 用户行为解析识别:将用户的上网访问信息与app库进行比对匹配,对用户日志进行处理,解析用户下载和使用应用产生的记录 分析统计输出:根据用户的应用下载、使用行为,输出满足客户需求的各项报表,并上传数据。
  • 57. (本页无文本内容)
  • 58. 性能案例:(来自文献:CloudBurst:highly sensitive read mapping with MapReduce): 输入数据:测序数据7.06 minllion条36bp reads,人基因组genome(2.87G) 软件环境:Hadoop 0.15.3, CloudBurst 硬件环境:12nodes, 24cores(3.2GHz Intel Xeon), 250G硬盘 测试结果:如下图,横坐标为reads数,纵坐标为运行时间,“0、1、2、3、4”为容错数。 DNA测序分析平台:Cloudburst数据过滤插入/缺失识别基因组学- SNP分析流程FastQ-Progressing (MR) FastQC (Single)Crossbow (MR) CloudBurst (MR) Soap2 (Single)Crossbow (MR) Soapsnp (Single)融合基因发现结构变异发现全基因组关联研究BlueSNP (MR)输入文件 用户期望和挑战: 性能案例中的数据量(7.06 minllion条36bp reads,人基因组genome,2.87G)在日常分析的数据量中算一般大小。一般对两个生物学样品进行对照分析,每个样品进行三次重复,产生6倍于性能案例中的数据量。而CloudBurst所做的map工作,仅为分析流程中的一步,用户希望尽快得到结果进行下一步工作,故6倍数据的期望运行时间为2-3h。reads 比对SNP识别质量控制DNA测序: 确定序列中碱基的排列顺序,这项工作不仅可以用于物种间的比较研究,也有助于发现特定基因的功能和性状表现,尤其对第三代遗传标志(单核苷酸多态性,SNP)研究有极大的意义。基因组测序不但帮助人们探索生命起源和进化的奥秘,也会促进未来的个体化医疗、生物制药研发、农植物培养等各种致力于人类福祉的实际应用。41h27h13hCloudBurst是第一个可以在Hadoop分布式框架下运行的高通量测序片段定位算法.
  • 59. 计算节点实时分析平台Symphony 客户端大数据平台 (离线分析)主节点 SSMSymphony 计算集群信息入库卡口流动车辆信息主节点 SSM (备)1.主节点SSM读取黑名单数据以Common Data形式下发到各个计算节点 2.Symphony客户端读取Message后形成Task提交到集群主节点 3.主节点SSM分发接收到的Task到各个计算节点 4.计算节点运行SI获取Task内容根据黑名单进行最终的比对分析 5.计算节点将比对成功的记录发送到实时预警平台 6.计算节点将数据持久化到大数据平台实时预警平台 (110布控)比对结果计算节点计算节点计算节点分布式集群上做黑名单比对黑名单更新黑名单
  • 60. IBM Confidential指纹、人脸对比系统P7R2 P7R2 P7R2 P7R2 Sym主节点(任务调度) 内存网格(200G人脸特征库)Sym客户端人脸样本200T人脸图像库Hbase存储MapReduce特征转化、加载SOA调度,并行对比优势(相对传统数据库方案): 海量分布式存储 线性扩展 并行对比 快速查询
  • 61. XX银行统一考核数据平台介绍统一考核平台数据库核心系统票据系统个贷系统. . .基金系统MDS考核平台数据仓库ETL广州分行平台数据集市南京分行平台数据集市下发XX分行平台数据集市广州分行考核流程广州分行考核数据集市南京分行考核数据集市南京分行考核流程XX分行考核数据集市XX分行考核流程绩效及报表查询绩效及报表查询绩效及报表查询集中存放的全行数据仓库数据源分行数据集市客户端© 2013 IBM Corporation
  • 62. 统一考核数据平台当前痛点痛点痛点:各分行考核流程负责从分行的数据集市生成各分行考核数据集市。这个过程主要包含多表的关联操作。随着数据量大增大,流程处理的时间也越来越大。 执行时间过长,对业务考核产生影响,业务人员经常无法及时查询到自己的考核绩效。 流程由分行自行开发,总行DBA无法过多介入来保证性能。针对目前平台痛点的2种可能优化方法: 优化现有的分行的行存储数据集市。 利用DB2 BLU来管理分行数据集市分行考核流程© 2013 IBM Corporation
  • 63. 优化方案结果对比建立额外的索引 使用range partition分区表 采用页压缩技术 收集统计信息 调优内存配置方案1 充分优化的行数据库方案2 DB2 BLUDB2_WORKLOAD=ANALYTICS 建库,加载数据 运行VSDB2 BLU无需繁杂的调优过程取得了19倍的性能提升19 X© 2013 IBM Corporation
  • 64. 谢谢!