同时包括REST服务器以响应客户端请求 扩展: 支持额外功能和特性的插件 整合: 与调度系统，ETL，监控等生命周期管理系统的整合 用户界面: 在Kylin核心之上扩展的第三方用户界面

简单的描述，这些描述基本来自官网介绍以及各类技术网站的推介。 调度与管理服务 Azkaban 是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工

分布式文件系统（HDFS ） ：支持对应用数据高吞吐量访问的分布式文件系统。 Hadoop YARN ：用于作业调度和集群资源管理的框架。 Hadoop MapReduce ：基于YARN的大数据并行处理系统。

数仓开发：支持ETL的一站式开发和管理，同时在任务状态、诊断、SLA保证方面也有强力的支持；针对流程测试以及数据回收进行了隔离，使用统一的test.db和backup.db； 调度系统：自研的调度系统支撑了

，这种管理器可以用来从执行基本的shell命令到在Hadoop, Hive 和Spark之上实现ETL-风格的计算在内的广泛的数据处理用户需求。 我们所有的工程团队都在用Pinball。它基本上每

平衡计分卡 预测 / 预报绩效分析价值分析数据集市数据分析前端展示风险分析企业数据仓库数据仓库 事实表ETL 工 具数据管理基于门户的 Web页面固定报表多维分析即席查询数据集市 MOLAP Relational

6、分布式计算 使用MapReduce , Hive、Hadoop进行大规模数据统计和运算和大数据集合的ETL 三、淘宝的推荐系统 1、淘宝数据特点 数据量巨大：数百万店铺、数亿激活用户、数亿的在线商品、数十亿的收藏信息…

stack）。此外，他还是Chronos的主要作者，Chronos是一个Apache Mesos框架，主要用于对ETL系统进行管理和调度（managing and scheduling）。 Mesosphere可以允

较大挑战性。 YARN通过全局唯一的Resource Mananger调度资源， 好处是RM拥有整个集群全局信息，能做出更好调度决策， 缺点是资源分配的性能不足。 Impala每个查询都需要分配资源，

hadoop的整个生态体系，涵盖了系统数据存储、数据收集、数据导入导出到关系数据库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。

river负责把用户代码进行DAG切分，划分为不同的Stage，然后把每个Stage对应的task调度提交到Executor进行计算，这样Executor就并行执行同一个Stage的task。 （

系统将指标包含在OLAP引擎中，数据的出处将只有唯一的出口，确保数据的一致性。 更快的异常处理能力和数据恢复能力（高效调度）： 数据的计算过程中，将中间数据以 < 存储+转发>的形式处理，每个处理单元都能快速恢复到某个时

系统将指标包含在OLAP引擎中，数据的出处将只有唯一的出口，确保数据的一致性。 更快的异常处理能力和数据恢复能力（高效调度）： 数据的计算过程中，将中间数据以 < 存储+转发>的形式处理，每个处理单元都能快速恢复到某个时

s性能方面的东西。 4.ETL有点慢，用FDWs 如果有大量的微服务或不同的应用程序，那么可能需要很多不同的数据库来支持它们。默认情况是创建一些数据仓库并通过ETL连接，但是这样做有时候太重度

系统信息、数据库信息、区域信息、文件信息、报表信息、表信息、字段信息、维度信息、指标信息、线： 系统间关系信息、数据库间关系、 ETL加工关系（表间关系、字段间关系）、基础指标和复杂指标的关系、指标和指标主题的关系面： 基于数据关系的系统组织信息

检查表存在 2 4.45 等待 2 4.46 简单评估 2 秘密 第1章 系统介绍 1.1 系统简介 ETL平台用于数据的抽取、转换、加载，为数据比对提供数据的采集、转换、导入、导出等功能。 第2章 系统管理

架构体系 2 3.1 总体架构 2 3.1.1 总体架构 2 3.2 数据平台 2 3.2.1 ETL平台 2 3.2.2 ODS 2 3.2.3 EDW 2 3.2.4 大数据平台 2 3.2.5 ODS与生产系统的功能定位

的基础上再“抽取”。 产生数据仓库技术理论来规范。 信息系统1 信息系统2 信息系统n ETL 数据集成 调度机制 。。。 数据仓库 DSS 数据应用 。。。 （DSS：决策支持系统） 方法的变迁 原始数据/操作型数据

JAVA半自动持久层框架，灵活配置，特别针对平台性的业务开发，能同时满足灵活和效率上的平衡。 Ø 任务调度组件Quartz 纯Java开发的调度组件，灵活管理任务的调度管理，对任务进行监控管理，并能够灵活配置触发条件启动任务。 2.2.2

HBase的Coprocessor、Hive等。 集成的组件部分。生命周期管理器支持集成作业调度器、ETL工具、监控和报警系统。 用户界面部分。允许第三方用户基于Kylin 核心组件定制自己的用户界面。