数据抽取之kettle工具介绍


目 录 1.1 kettle 工具的优势..................................... 2 1.1.1 kettle 开源、高效................................ 2 1.1.2 kettle 非常强大而且易于使用的设计界面............2 1.1.3 有非常强大而且众多的使用群体,应用广泛...........2 1.1.4 可用java进行集成开发............................2 1.2 kettle 工具使用介绍................................... 3 1.2.1 资源库连接.......................................3 1.2.2 创建转换(transformation)或工作(job)..............3 1.2.3 数据库连接.......................................3 1.2.4.1 数据抽取....................................4 1.2.4.1 数据转换....................................6 1.2.5 其他转换数据功能.................................6 1.3 Java应用程序中集成Kettle.............................9 1.3.1 java程序分析.................................... 9 1.3.2 代码演示........................................ 12 数据抽取之 kettle kettle kettle kettle 工具 1.1 kettle 工具的优势 1.1.1 kettle 开源、高效 Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高 效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针 对数据的基础转换,job 则完成整个工作流的控制。 1.1.2 kettle 非常强大而且易于使用的设计界面 1.1.3 有非常强大而且众多的使用群体,应用广泛 1.1.4 可用 java 进行集成开发 提供了基于 JAVA 的脚步编写功能,可以灵活地自定义 ETL 过程,使自行定制、批量处理等 成为可能,这才是一个程序员需要做的工作,而不仅是象使用 Word 一样操作 kettle 用户界 面。 1.2 kettle 工具使用介绍 1.2.1 资源库连接 kettle 有两种方式连接资源库: 一种是纯数据库式,也就是你所有的转换全部都保存在一个数据库中,一般你在开始使 用kettle 的时候,它都会要求你建立一个资源 仓库,这个资源仓库的连接方式就是你的数 据库连接,你需要能够有相应的数据库驱动和对应的连接用户名和密码。 另外一种连接方式是使用文本文件,也就是 xml 文件,在做完任何转换之后,我们都 可以把转换或者 Job 变成 xml 文件输出,这个输出文件包含你所有转换的全部信息。 1.2.2 创建转换(transformation)或工作(job) 以文本文件连接方式时,新建转换或工作,可将其保存为.Ktr 或.Kjb 格式, 也就是 xml 文件; 1.2.3 数据库连接 使用 kettle 进行数据抽取和转换之前必须连接数据库,你可以同时创建几种不 同的数据库连接,如:Oracle、sql server、MySQL 等。 1.2.4 介绍两个例子 1.2.4.1 数据抽取 要求:将数据库中交易表和账户表的数据合并并输出到文本文件中,并将这个文 本文件导入到数据库的另一张表中。 首先,第一步要先创建一个新 transformation,再创建数据库连接; 第二步从输入中找到【表输入】,拖到主窗口释放鼠标。 接下来双击表输入写 查询语句; 第三步点击查询,选中【数据库查询】,拖到主窗口释放鼠标。 按住 shift 键,用鼠标点中表输入与数据库查询进行连接; 第四步双击【数据库查询】,可在查询表中写入另一表的名字,并可以在表字段中写入相关 字符进行比较; 在查询表返回值中填入需要返回的字段; 接下来第五步是找到【过滤记录】 和【Scripting】 方法同上,双击打开过滤 记录,在里面进行字段选择,并在中键入 1值。 可双击【scripting】,在里面写入 javascript 脚步语句;如: 然后再找到【增加常量】 ,拖到主窗口释放鼠标,并对其进行连接; 双击【增加常量】,名称写入 value,类型选择 string,值写入“这是一笔对公客户发生的交 易”,确定保存。 最后找到【文本文件输出】,对其连接,并将文件名称写入电脑路径; 注意在【文本文件输出】中的字段中,点击获取字段,可自动获得; 点击保存,然后点击运行可进行转换。 整个结构图如下: 得到的结果: number;tradename;tradedate;number_1;name;password;money_cn;value 1;aheadsoft;20090506; 1;aheadsoft;aheadsoft;privat;这是一笔对私交易 2;aheadsoft;20090507; 2;aheadsoft;aheadsoft;public;这是一笔对公交易 然后可将此文本文件导入到数据库中,方法类似; 得到的结果: 1.2.4.1 数据转换 要求:实现从两种不同数据库中抽取数据,并将其合并转换到另一数据库的表中 。 操作步骤与上类似,只是在数据库连接中需多创建一次与另一数据库的连接;设 计图如下: 得到的结果: 1.2.5 其他转换数据功能 转换数据库中的信息表到 xml 1:创建数据库的连接 2:拖拉出输入表和 xml 输出 3:注入输入表中的信息,与 sql 语句 4:执行 sql 语句 5:执行. 转换 xml 信息到数据库的表 1:创建数据库的连接 2:拖拉出 xml 输入和输出表 3:添加 xml 路径--> * 进入内容,设置位置,-->进入字段,获取字段,注意:获取的字段 在表中的状态,可以删掉的空列 4:注入输出表中的信息 5:执行 sql 语句 注:设置位置很重要!否则会报元素重复路径在 转换 xml 到xml 1:创建数据库的连接 2:拖拉出 xml 输入和 xml 输出 3:添加 xml 路径-->进入内容,设置位置,-->进入字段,获取字段,注意:获取的字段在表 中的状态,可以删掉的空列 4:执行 注:设置位置很重要!否则会报元素重复路径在 转换数据库中的信息到 access 1:创建数据库的连接 2:拖拉出输入表和输出 access 3:注入输入表中的信息,与 sql 语句 4:注入输出 access中的信息 注意:access中创建数据库和创建表就是在输入数据库名和 表名后选中对应下面的 create 项 5:执行 sql 语句 6:执行转换 转换 access数据库中表中的信息到其他数据库中 1:创建数据库的连接 2:拖拉出 access输入和输出表 3:注入输入表中的信息,与 sql 语句 4:注入 access输出中的信息,输入 access数据库路径,-->content 输入该数据库中的表名 --> field 获取表中的信息 5:执行 sql 语句 6:执行转换 还有类似的其他功能,如:CSV、Cube、XBase、文本文件输入、web services及其他查询、 脚本命令等其他功能。 1.3 Java 应用程序中集成 Kettle 1.3.1 java 程序分析 如果你需要在自己的 Java 应用程序中集成 Kettle , 一般来说有两种应用需求; 一种是通过纯设计器来设计 ETL 转换任务,然后保存成某种格式,比如xml 或者在数据 库中都可以,然后自己调用程序解析这个格式,执行这种转换,是比较抽象的一种执行方式 , ETL 里面转换了什么东西我们并不关心,只关心它有没有正常执行。 另一种是通过完全编程的方式来实现,详细 的控制每一个步骤,需要知道转换执行的 成功与否,这种方式可能需要更多的理解 kettle 的API 以便更好的跟你的应用程序紧密结 合,不过难度也比较大,可以很好的定制你的应用程序,代价自然是入门门槛比较高。 本文主要向你解释第一种 Kettle 的集 成方式,文中所列出的代码节选自 pentaho , 不过应用程序本身跟 pentaho 没有什么关系。 Pentaho 集成 kettle 的代码主要是两个类,KettleSystemListener 和 KettleComponent; 看名字就猜出 KettleSystemListener 主要是起监听器的作用,它主要负责初始化 kettle 的一些环境变量,这个类主要包含四个方法: startup() , readProperties(),environmentInit(),shutdown(),程序入口自然是 startup()方法,然后 它会调用 environmentInit() 方法,这个方法就调用 readProperties()方法读一个配置文 件kettle.properties,这个文件主要记录者 kettle 运行时可以调用的一些环境 变量, readProperties()方法读完这个文件之后就把里面的键值对转换成变量传给 kettle 运行 环境.当kettle 运行完了之后就调用 shutdown()方法结束转换. 介绍重点类:KettleComponent KettleComponent 的方法主要有三种类型,一类是用来初始化 工作,做一些验证工作, 第二类是执行转换的方法,也是主要需要讨论的方法,第三类是取得数据结果的,有时候你 需要得到转换的结果交给下一个步骤处理. 执行转换 当读完了这些配置文件并且验证了之后,KettleComponent 就开始把前面读到的转换文件或 者资源库类型变成 Kettle 的API,这主要是在 executeAction()方法里面进行,它当然根 据连接方式也分两种执行类型: 1. 文本执行方式 2. 资源库连接方式 文本执行方式需要接受一个你指定的运行转换的文件或者 Job 的文件,然后把这个 xml 文件 解析成 Kettle 能够执行的模式, 根据执行的类型又可以分成两种: 1. Trans 任务 2. Job 任务 两个执行的逻辑差不多,下面先介绍 Trans 的执行方式: 执行 Trans 任务 transMeta = new TransMeta(fileAddress, repository, true); transMeta.setFilename(fileAddress); 然后它会调用: executeTransformation(TransMeta transMeta, LogWriter logWriter) 这个方法是真正的把前面的来的 transMeta 转换成 trans 对象 连接资源库 连接资源库使用的是 connectToRepository() 方法,先取得 RepositoriesMeta 对象,然后 根据你在 setting.xml 文件里面定义的 repository 的名字来连接对应的 repository.理论 上来说我们一般都只使用一个 repository ,但如果在产品中需要使用多个 repository 的 话,你需要自己配置多个 repository 的名字和对应的用户名和密码。 从资源库读取 Trans 连接到资源库之后自然是想办法读取数据库的表,把里面的记录转换成为 Trans 对象,使 用的是 loadTransformFromRepository,这个方法的函数原型需要解释一下: TransMetaloadTransformFromRepository(String directoryName, String transformationName, Repository repository,LogWriter logWriter) 第一个参数 String directoryName 代表是你储存转换的目录,当你使用 kettle 图形界面 的时候,点击repository 菜单的 explorer repository , 你会发现你所有的东西都是存储 在一个虚拟的类似与目录结构的地方,其中包括 database connections , transformations , job , users 等,所以你需要的是指定你连接的目录位置,你也可以在 目录里面再创建目录。 String transformationName 自然指的就是你转换的名字. Repository repository 指的是你连接的资源库。 LogWriter logWriter 指定你的日志输出,这个log 指的是你 kettle 转换的日志输出,不 是应用程序本身的输出。 从资源库读取 Job 跟Trans 的步骤基本是一样的,同样需要指定你存储 Job 的目录位置. 1.3.2 代码演示 注:此简化代码为以文本文件连接方式时的转换数据方式; public static void runTransformation(String filename) { try { StepLoader.init(); EnvUtil.environmentInit(); TransMeta transMeta = new TransMeta(filename); Trans trans = new Trans(transMeta); trans.execute(null); // You can pass arguments instead of null. trans.waitUntilFinished(); if ( trans.getErrors() > 0 ) { throw new RuntimeException( "There were errors during transformation execution." ); } } catch ( KettleException e ){ //TODO Put your exception-handling code here. System.out.println(e); } }
还剩11页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 15 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

luxiaogang

贡献于2012-06-30

下载需要 15 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf