• 1. 数据分发平台培训 2008年10月20日
  • 2. 培训大纲数据分发平台(DSP)简介 flowline功能介绍 BI接口在flowline上的实现 组任务组件功能介绍
  • 3. 数据分发平台的设计目的给BOSS框架之外的其他的外围系统提供所需数据(举例:BASS-经营分析系统 大客户系统) 减轻BOSS各业务在线系统的压力 和1.0的比较 使数据提供方式更灵活 在和第三方厂商协商好相关规范之后,开发工作迅速简单
  • 4. 数据分发平台的主要功能DSP 根据实际的需要对源文件(表)进行数据处理节点转变成新的文件(目标文件)存处到另一个指定的位置。主要实现了数据的的拷贝、复制、分流、过滤、分组等功能。 如下图:
  • 5. flowline功能介绍flowline基本原理模型 一个处理器有1个输入库,可以有1…n个输出库, 库是连接处理器与处理器的桥梁,一个库可以作为多个处理器输出,但只能作为一个处理器输入。处理器输入库输出库_1输出库_n输出库_2
  • 6. 数据分发平台框架数据分发平台框架
  • 7. 数据分发平台数据分发平台和其他系统的关系CRM库帐务库计费库经分系统大客户系统其他外围系统BOSS其他业务系统DSP平台
  • 8. 工具下载地址http://192.168.5.190:8080/flowline-ide/ 在点击此链接前确保你已经安装jre1.4.2以上版本
  • 9. (本页无文本内容)
  • 10. 界面与控件介绍
  • 11. 界面与控件介绍流程管理器: 作用是为了建立一个流程的名称也就是整个流程的一个名称。一般定义方法看其名知其流程图的作用。 eg:bi_10001001,bi_11001002 st1_user_in,st2_person_month, trade_in 如果你想新建一个新的流程图,在菜单中选择文件—> 新建流程定义—>输入流程名、选择文件目录。
  • 12. 界面与控件介绍资源库: 作用是创建全局资源类型与库,在用户创建一个流程后一定有源文件(数据库)与目标文件(数据库),而每个文件(数据库)都有不同的类型(字段的个数与类型)。 而全局资源类型的创建是为了方便建立流程图服务的。
  • 13. 界面与控件介绍系统: 包括数据库与主机。它的作用就是为了创建、修改、删除系统的数据库与主机的。 在创建一个具体资源库时要指定主机和数据库的具体位置。
  • 14. 节点方法介绍
  • 15. 节点方法介绍复制器:功能跟文件拷贝基本相同不同点就是他复制多个拷贝 分拣器:该节点的功能是:就是过滤符合要求的数据例如:有一个表(table)有若干字段(ID,name ,….)我们过滤ID小于10,放到缓冲池dst1中其它放到缓冲池dst2语句为:ID <= 10? 'dst1':'dst2'。
  • 16. 数据分拣器flowline处理器介绍 数据分拣器 将内存中的数据根据一定的分拣条件分发到不同的内存块中去。 分拣表达式:src.a==4?‘t1’:src.a==5?‘t2’:‘t3’ 分拣srct1t2t3
  • 17. 数据分拣器
  • 18. 映射处理器flowline处理器介绍 数据映射处理器 将内存块中的数据根据处理器中配置的映射规则 写到下一块内存中去,同时在映射过程中支持数据集的合并以及简单运算。 图:
  • 19. 数据映射处理器
  • 20. 节点方法介绍批处理阶段、交付阶段: 批处理阶段是交付之前不能提交只能存在于缓存中,一般使用不多。交付阶段可以包含批处理阶段,两个节点是用来存放流程图的所有节点。 数据流:—>是流程图的中各个节点的连接符也是数据流向。 关联: 缓冲池中的内容与一个或多个文件关联(这些文件存在某种关系)从而生成新的文件。(该功能还未能实现)。
  • 21. 如何完整的创建一个流程图 在系统框中添加一个新的主机地址为(IP)用户名与口令是可以进入该主机的用户。
  • 22. 如何完整的创建一个流程图创建全局资源库类型 在资源库中建立两个全局资源库类型 ([BI接口]test经分互动、 [BI接口]test经分互动表(增量表,全量 表)) 分别为源与目标文件服务的
  • 23. 全局资源库类型
  • 24. 全局资源库类型FLOWLINE支持的类型有:数值,字符串,日期 数值类型为最高19位、日期为8位、字符串类型不要超过255就可以了
  • 25. 整个流程运行:主机bin 目录fl test_lisj1 查看日志:select * from tl_fl_cycle_log
  • 26. BI接口建设背景在源系统与经营分析系统之间架起一座桥梁,屏蔽了源系统(源系 统包括:BOSS系统、客服系统、网管系统、OA、其他数据源等,下文所说源系 统与此同)之间的差异,最大限度地减少了经营分析系统集成商与源系统集成商 之间针对接口问题的重复讨论
  • 27. 接口单元的编码规则
  • 28. BI接口文件命名规则 [接口单元编码][yyyymmdd][序列号].AVL 其中,“XX”为一位大写字母,表示接口数据文件的类型: I:一次性抽取数据文件 P:日全量抽取数据文件 A:增量数据文件 M:月全量数据文件 [接口单元编码][yyyymmdd][序列号].CHK [yyyymmdd].KPI
  • 29. BI接口文件命名规则KPI:客户数 新增用户数 GPRS用户数 欠费金额 通话时长 实收金额 ……
  • 30. BI接口在flowline上的实现营业帐务部分 基本原理:根据不同的数据内容和数据周期要求从CRM库、帐务库等源系统抽取全量或者增量数据到数据分发平台上,然后做对应的分拣和转换,最后生成对应的接口文件到指定的主机目录中。 CRM库 DSP平台外围系统 帐务库
  • 31. DSP在flowline上的实现营帐部分 增量数据采集方法: CRM部分:首先以tf_bh_trade为的增量为驱动,采集tf_f_user的增量数据,然后后续的tf_f_customer,tf_f_cust_person等资料表的采集都是都是依赖于tf_f_user的增量。 帐务部分:以tf_a_paylog表的增量为驱动,采集tf_a_writeofflog等日志表以及accountdeposit等资料表的增量。
  • 32. DSP在flowline上的实现营帐部分 全量数据抽取方法:现在全量数据抽取方式比较简单,从数据分发平台直接连到CRM等源数据库上,读取对应的数据表(每次读取的记录条数可以在flowline中设定),将数据集写到内存中,最后生成对应的接口文件。
  • 33. DSP在flowline上的实现计费清单部分 基本原理: 1、计费将批完价后入库前的文件放到备份目录中供分发平台ftrans -cXX 进程读取 2、统计入库程序将从计费主机上读取的文件做完入库操作后,备份到DSP主机上的文件目录中 3、清单文件转换流程定时将统计备份目录中文件读取到内存中,经过分拣、过滤等数据处理器转换成一定格式后生成接口文件。 计费主机入库进程 DSP平台清单转换外围系统
  • 34. 计费文件分发
  • 35. DSP在flowline上的实现计费清单部分 清单转换执行周期: 1、神州行充值卡、IP充值卡、固定IP、IP记帐卡这四种清单的数据转换是每天执行一次; 2、GSM清单、GPRS清单等其他所有的清单数据转换是每一个小时执行一次,所以每天最多会有24个接口文件产生
  • 36. 组任务组件功能介绍基本原理 组任务组件是运行在UNIX操作系统环境下的常驻进程。通过定时扫描任务运行参数表去执行满足执行条件的工作。每个工作是由一个或多个任务组成,每个任务都是一个独立的逻辑单元,当所有任务都执行完毕,此工作才算完成。组件执行过程将严格按照任务执行线路(路由)进行。每项工作只有一个任务路由,每个任务路由是由多条任务路径构成。
  • 37. 组任务组件功能介绍工作定义(td_s_work) 每项工作都有一个work_id,每项工作的ID是区别一个工作的唯一标识;每项工作主要包含的信息有:工作名称、工作的状态、执行类型、下次执行时间、时间间隔、工作执行类型标志。 现在的系统中只有两种执行类型:定时触发执行、手工触发执行。
  • 38. Td_s_work每月执行一次:add_months(next_date, 1) 每三周执行一次:next_date+3*7 每两天执行一次:next_date+2 每三个小时执行一次:next_date+3/24 每四十分钟执行一次:next_date+40/(24*60)
  • 39. 组任务组件功能介绍任务定义(td_s_task) 每项任务都有自己唯一标识的ID、任务名称、任务类型等信息。 现在的任务类型主要有两种:1、shell脚本命令 2、存储过程;存储过程需要配置一下信息:本地或远程标志、连接用户名、连接口令、连接SID
  • 40. 组任务组件功能介绍路由说明(td_s_route) 每一个工作都对应着一个唯一的执行路由。主控进程按照路由中展示的任务先后执行顺序,执行满足条件的任务。当执行到路由中最后一个虚拟结束任务结点时,预示着整个工作完成,这时工作的状态从运行状态回到准备就绪状态,等待下次执行时间的到来。
  • 41. 组任务组件功能介绍路由分类 1、串行路由 :TB->T1->T2->T3->T4->T5->TE 在上述工作路由图中,只有当任务Ti(i=1..4)执行完成后才能执行Ti+1;当最后一个Ti+1(即T5)执行完成后才能执行TE; 2、并行路由 :任务T1、T2、T3、T4、T5并发执行。 当Ti(i=1..5)都执行完成后,才能执行TE。
  • 42. 谢谢Thank You地址: 南京市中山南路弓箭坊40号 邮编: 210006 电话:(8625)2209888 传真:(8625)2202288 客服热线:(8625)2207799 网址: http://www.lianchuang.com