• 1. Oracle容灾备份: 实时备份、 数据迁移应用实践 iStream DDS Oracle数据库复制软件介绍
  • 2. 概要 DDS实时复制软件的技术体系 DRS逻辑备份与恢复 DDS解决方案与案例 DDS产品特点 技术交流
  • 3. DDS技术架构传输进程 sSQL数据查询透明压缩传输采集进程分析进程 s业务系统交易合成 sredo logShare memoryDisk生产数据库 接收进程 s交易装载 sOCIShare memoryDiskSQL复制数据库 IP网络DTF
  • 4. 源端体系结构PTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系统参数以及状态信息PMERGESHM-MEM 交易信息交换区域Redo log Blocks共享内存区后台进程Msg.log磁盘缓存目 标 数据库操作指令PTRACK跟踪到redo log增量信息,将其写入共享内存,并通知 PMERGE 进行处理,PTRACK同时将此数据包写入缓存目录以便后续进程没有成功处理或系统其它异常情况时,这些数据能够恢复并重新进行处理。 PMERGE收到PTRACK的通知,将收到的数据包进行各种必要的处理,生成处理后的数据包,将新数据包写入共享内存,并通知PCOMM 进行处理。 PCOMM 收到PMERGE的通知,将收到的数据包发送到目标端系统,如果发送不成功(目标系统未启动、网络故障),将数据包写入缓存目录 。 PCLEAN清道夫进程,负责将缓存中不再需要的文件删除掉。
  • 5. 目标端体系结构PPUTPMONTPMSGTSHM系统运行状态以及参数Msg.log磁盘缓存后台进程目标 数据库操作指令PMONT负责建立共享内存、信号灯、消息队列,监控系统其它进程的状态,重起异常退出进程并报告状态; PMSGT负责收集其它所有进程报告的各种错误信息,将错误信息存放到日志文件msg.log中; PRECVT负责接收界面发送来的管理命令并执行,接收增量数据包,装载历史数据; PPUT负责装载历史、增量信息到数据库中,做数据验证;PRECVTPCLEAN共享内存区
  • 6. 数据库日志分析技术的概念
  • 7. delete from xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxcommitcommitupdate xx set xx where xxupdate xx set xx where xxrollback事务合成 transaction mergeMemoryMerge完整交易Track processInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitMerge processMerge process 以交易为单位传输,保证数据的一致性和完整性 rollback的DML放弃处理Redo log翻译DML
  • 8. 批量同步和增量复制生产数据库复制数据库datafiledatafileRedo logArchive logDDSDDSApplydatafile步骤1:批量数据初始化同步 (快照方式与直接读取数据文件) 步骤2:增量数据实时更新 (支持裸设备、文件系统、OCFS)Instance SGA Shared pool SGA压缩传输
  • 9. 目标系统源系统缓存队列和传输保证Comm processComm processOKTrack processPUT process两端都设置磁盘缓存,交易文件按照交易顺序传输 缓存队列缓存队列在网络中断、系统宕机、数据库shutdown等故障情况下,仍能保证复制数据的连续性等目标端确认写入磁盘后才删除源端数据
  • 10. 选择性复制对象过滤Sys系统表Table复制Schema复制Schema复制Table复制表级复制 组级复制(多表) 用户级复制 Table Partition Table Temporary Table IOT View Sequence Index Procedure Function Package Synonym Trigger Role Privilege UDT Materialized View
  • 11. 支持异构平台支持异构平台,硬件可自由选择 存储系统异构 DAS、NAS、SAN、IPSAN…… 服务器异构 IBM aix、HP hpux、SUN solaris、Linux Windows…… 装载传输读取OracleOracleOracle
  • 12. 完善的复制方式Where 方式复制 优点:源端目标段相互切换方便 缺点:同步速度慢 rowid方式复制 优点:同步速度快 缺点:源端目标段相互切换需做全同步
  • 13. 灵活复制方式灵活的复制方式 单向1:1复制,可实现完全复制和选择性复制 N:1复制,可实现海量数据整合,集中(N无限制) 1:N复制,可实现数据分发、筛选、迁移(N无限制) 支持双向复制(where模式)OracleOracleOracleOracleOracleOracleOracleOracleOracle
  • 14. 什么是DRS?Data Rollback Server 利用DDS产生的过程文件进行数据库回滚和前滚 重现数据库的历史状态,审计、查询、恢复 单表回滚 全部数据回滚 交易系统DB容灾系统DBDDS软件0.dtf.bak1dtf.bak。。。100.dtf.bak101.dtf.bak。。。1000.dtf.bak10001.dtf.bak。。。10019.dtf10020.dtfDTF列表恢复交易数据库恢复时刻恢复数据回复同步时刻
  • 15. DRSDRS恢复truncate的表truncate误操作给用户带来巨大损失 利用传统技术如何恢复? DRS自动“保存”数据 保存时间通过配置参数指定 Truncate table xxRename XX to XX’ Create table XXXXXXXX’
  • 16. 解决方案1 - 数据库实时远程容灾传统容灾技术的局限 不能支持异构环境,产品选择余地小,成本不可控; 在传输方面对带宽和距离的限制颇多; 系统部署时间长、步骤复杂、对生产系统影响较大; 容灾切换存在一定的风险;iStream DDS容灾方案特点 支持异构硬件平台和异构操作系统环境 传输数据量小,带宽要求低,距离无限制 数据可以复用,可获更多投资回报 容灾切换没有风险1生产容灾234距离 100公里1生产容灾距离 无限制
  • 17. 兴业证券同城灾备数据库 Linux AS4U4 Oracle 10g异地灾备数据库 Oracle 10g 2个节点RAC Linux AS4U4集中交易数据库 Oracle 10G 2个节点RAC IBM AIX5L本地复制 100M带宽-总部福州--福州同城营业部灾备机房-10M-上海-
  • 18. 合肥华安 期货单实例 Linux 10g单实例 Linux 10g 本地容灾查询 2个节点 IBM AIX5LDDS本地复制 1000M带宽-合肥总部--总部机房-2M-同城营业部灾备机房-
  • 19. 解决方案2 - 跨平台无缝数据迁移关键系统数据迁移的难点 必须长时间停止业务交易用于导出导入数据; 过长的业务中断时间,可能是几小时,也可能是几天; 7*24运行的业务系统如何迁移? iStream DDSiStream DDS数据迁移优势 实时数据迁移,无需暂停业务交易; 只有系统割接需要停止交易,分钟级; 支持异构硬件、操作系统平台迁移; 支持Oracle数据库不同版本之间的迁移;
  • 20. 广发证券 应用案例5节点Linux 10g RAC4节点Linux 10g RAC本地容灾查询 单实例Linux 10g5公里DDS复制 10M带宽DDS本地复制 1000M带宽应用查询应用效果: 已经集中的用户量100万左右 实时复制过程中交易系统主机CPU占用率<5% 本地数据复制平均延迟2~6秒 异地系统平均延迟4~8秒。 -总部--同城营业部灾备机房-
  • 21. 解决方案3 - 分担生产数据库负载复制数据库实时打开 原来在生产系统上的操作可以转移到复制系统 支持数据查询 支持数据抽取 支持数据回滚到历史时间点
  • 22. 中银国际证券查询数据库 10g单实例 HP UINX 11.23容灾数据库 10g单实例 HP UINX 11.23集中交易数据库 Oracle10g 2个节点RAC HP UINX 11.23DDS本地复制 1000M带宽-上海总部--同城营业部灾备机房-100公里 10M
  • 23. 解决方案4 - 企业多节点数据集中建立企业第二数据中心 支持硬件及操作系统异构环境 支持不同的Oracle版本 支持数据过滤及筛选 支持本地或远程部署 支持数据源数据库数量可达256个 Oracle 10giStream DDSOracle 9iOracle 10giStream DDSOracle 9iOracle 10g
  • 24. 河北财政多对一应用案例各地市生产交易库 AIX(oracle为10g 或9i)-主交易2-各县生产交易库 AIX(oracle为10g 或9i)-主交易1-AIX10g加 HACMP-异地容灾机房-DDS复制DDS复制多对一:容灾、查询、实时监控等多种用途有效结合 应用查询,web实时监控源端节点数总共为204台容灾查询端只安装l了一个数据库与一套DDS目标端软件
  • 25. 吉林公安 多对一应用案例IBM 小型机(AIX)+ Oracle 10g-主交易5~9-IBM PC SERVER(Linux)+ Oracle 10g-主交易1~4-IBM PC SERVER(Linux)+ Oracle 10g RAC-异地容灾机房-DDS复制DDS复制多对一:容灾、查询、实时监控与警综平台测试等多种用途有效结合 应用查询,web实时监控源端主机分别放在各地市,共九台机器,总数据量约为1.8TB容灾查询端只安装l了一个数据库与一套DDS目标端软件
  • 26. 更高灵活性: 适合异构IT环境部署,跨越平台障碍 一对一、多对一、一对多等多种部署模式iStream DDS产品特点更高投资回报: 支持灾备数据实时复用 缓解生产系统压力 减少硬件采购成本更低部署、维护成本: 最小网络带宽使用 最小数据传输量 最少业务停机时间 简单高效的web浏览器管理更多应用价值: 实时远程数据容灾 业务压力负载均衡 数据实时迁移 企业数据集中 业务数据分发
  • 27. 交流