经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实记录，并且这些数据以几何的方式增长由于缺乏集中存储和管理，这些数据不能为本企业加以利用,不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？如何预先发现和避免企业运作过程中不易察觉的商业风险？面临的挑战面临的挑战什么是数据仓库？

Cognos8.3 (web配置安装)

1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。<br> 　　2.Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Cognos高级知识库议程系统架构安装与配置系统管理安全性管理高级报表设计Cognos8的BI产品Cognos8的BI产品，对以往的技术和思想进行了较大幅度的提升和创新，把用户的操作方式全面推向以浏览器为前端的Web方式。它在一个产品中、一个架构上提供了极其丰富的业务智能功能。

BillInmon（数据仓库之父）在Buildingthe Data Warehouse（John Wiley&Sons Inc.,1996）书中把数据仓库描述为一个“面向主题的、完整的、非易失的、不同时间的、用于支持决策管理的数据集合”。数据仓库是只用于制作报表的数据库。对我们而言，数据仓库是某个“宽广”的数据仓储。它包括许多的主题领域。而一个数据集市，恰恰相反，它把眼睛盯在商业活动的某个非常有限的部分上。


HIVE学习笔记。B2B-技术部-数据产品平台。Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

1.Map输入合并小文件对应参数：setmapred.max.split.size=256000000;

这篇文档的目的是教会开发人员如何开始进行 Pentaho 的开发。这篇文档解释了如何在 Eclipse 中设置一个开发环境，包括如何连接到 Pentaho Subversion repository，检出 Pentaho 项目，使用一个 '1stand-alone'1 Java 应用和Eclipse JBoss IDE 来构建调试它们。这篇文档也解释了 Pentaho repository 结构和对于开发Pentaho 来说，许多很重要的 build targets。<br> 目标读者是软件开发人员。我们假设读者已经很熟悉 Eclipse 平台和 Java 开发。如果目的是将平台配置为一个 J2EE 应用，我们假设读者了解 J2EE 和应用服务器。我们此处就是使用 JBoss 应用服务器进行演示。虽然不是很重要，但如果读者有使用 Apache Ant 的经验也会很有用处。

数据仓库与数据挖掘原理及应用目录数据仓库基础7.分类和预测数据仓库设计和实现8.关联分析数据仓库实例9.Web挖掘OLAP和OLAM10.数据挖掘实例5.数据挖掘基础11.知识聚类分析12.语义网和本体1数据仓库基础1.1引言1.2体系结构1.3组成1.4元数据1.5数据粒度1.6数据模型1.7ETL1.1引言数据仓库定义数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。此定义由最为权威的、被称为“数据仓库之父”的WilliamH.Inmon先生给出。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。目录1Hive定义2Hive体系结构2.1用户接口2.2元数据存储2.3解释器、编译器、优化器、执行器2.4Hadoop3Hive的数据存储1Hive定义Hive[1]是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）(Extraction-Transformation-Loading)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

数据挖掘在软件工程中的应用摘要随着软件系统的规模和复杂性日益增长,软件开发已经演变成一项复杂的系统工程。软件工程中的对象、活动和过程更加难以控制和管理,因此该领域原有的经验直觉型的处理模式已经不能适应新的需求,而数据挖掘技术的引入为实现知识智能型软件工程提供了重要契机。以软件工程领域中的数据对象为主线,对在程序代码分析、故障检测、软件项目管理、开源软件开发等软件活动中所运用到的数据挖掘技术进行了系统的介绍和归纳,并在每一环节作了方法间的优劣性对比分析。

算法（Algorithm）：一个定义完备（well-defined）的过程，它以数据作为输入并产生模型或模式形式的输出 描述型挖掘（Descriptive） vs 预测型挖掘（Predictive） 描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征 预测型挖掘：根据观察到的对象特征值来预测它的其他特征值 描述型挖掘可以是目的，也可以是手段

1决策树算法机器学习中，决策树是一个预测模型；它代表的是对象属性值与对象值之间的一种映射关系。树中每个节点表示某个对象，每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应具有上述属性值的子对象。决策树仅有单一输出；若需要多个输出，可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习,通俗说就是决策树。决策树学习也是数据挖掘中一个普通的方法。

Mahout简介什么是机器学习Mahout算法介绍聚类K-means分类贝叶斯分类过程手机上网推荐实例推荐算法讲解Mahout开源（apache许可）可伸缩的机器学习算法库与Hadoop紧密结合Mahout主要功能应用程序Examples分类推荐聚类通用工具包数学工具包集合类Hadoop集成机器学习监督学习（supervisedlearning）利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Kettle使用方法说明文档

BI开源工具调研报告BI系统的简述从技术角度来说BI包含了ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据，通过ETL工具抽取到主题明确的数据仓库中，OLAP后生成Cube或报表，透过Portal展现给用户，用户利用这些经过分类、聚集、描述和可视化的数据，支持业务决策。

利用Kettle做集成的两种方式简要说明

　　　Heer ETL Tool主要功能是将老系统原有的数据通过整合器将数据标准化后入库，并按照需求保持与原有系统中数据的同步，使新老系统的数据可以共享。