P48 省移动业务支撑平台mboss信息架构 文档
综合资源管理涉及逻辑资源和物理资源的管理 ,通过统一的数据模型,提供资源管理的单一视图 - 施工调度系统 通过安排、调度、监控和优化人力资源保证现 有资源能够以最低成本完成相关工作要求 - 综合网络管理系统
huoxp
P5 开源项目 Kettle 介绍 文档
你是深入研究还是初窥门径。估且google一把，勾一勾同行的成就，你必会获益良多。 说到ETL开源项目，Kettle当属翘首，因此，偶决定花点时间了解一下。 项目名称很有意思，水壶。按
kalaamong
Hadoop老矣，为什么腾讯还要花精力在其开源发布上？ 资讯
o、Storm、Flink、Sqoop 等组件服务。不同组件也发挥了不同的用处：数据存储和计算资源调度由 Hadoop 来实现，数据的导入可以用 Sqoop，HBase 提供了 NoSQL 数据库服务，离线数据处理由
jopen
微店实时计算平台实践 经验
监控预警，比如用户行为预警、app crash预警、风控 3. 实时ETL，主要是进行数据清洗，归并，结构化 4. 实时报表，比如交易大盘，微团购大盘
Hadoop/Spark生态圈里的新气象 资讯
g之类的工具。此外，Spark的RDD/DataFrames API并不是进行抽取、转换和加载(ETL)及其他数据转换的糟糕方法。与此同时，Tableau及其他数据可视化厂商已宣布打算直接支持Spark。
P49 文档式数据库在Hadoop集群中的应用 文档
2年的历史数据 当前Oracle数据库无法满足实时查询的需求使用MapReduce与Hive作为ETL处理的补充进行数据清洗和转换 使用Hive将最终结果并行加载入SequoiaDB 小规模x86集群平台降低TCO
P122 DATASTAGE 培训 文档
七、job的运行及调试 3. 一，datastage的介绍 本章主要讲解ETL的概念，datastage的介绍、组成及主要功能。 4. ETL概要 ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。
汉明
P3 elt 之 kettle 开发规范 文档
本ETL流程规范试图建立一个通用的ETL流程开发规范，针对不同项目组的实际情况，可自行进行逐步的完善和修改。 本流程应该是在需求分析阶段结束后实施。 ETL流程： 可以把ETL分为五个阶段，按照开发的顺序分：
P20 Hadoop 主要子项目介绍 文档
4、Hive Hive 是一种建立在 Hadoop 之上的数据仓库架构。它提供了： • 一套方便的实施数据抽取(ETL)的工具。 • 一种让用户对数据描述其结构的机制。 • 支持用户对存储在Hadoop中的海量数据进行查询和分析的能力。 Hive
P38 Cognos体系结构（补充） 文档
的各种服务提供了对Cognos资料库的管理和查询服务，Content Manager管理包括报表的模板，元数据信息，调度信息等，报表静态结果，个人个性化信息等。 16. Cognos8结构的逻辑分层资料库层 Cognos
Hadoop主要子项目介绍（Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra ） 经验
是一种建立在 Hadoop 之上的数据仓库架构。它提供了： • 一套方便的实施数据抽取(ETL)的工具。 • 一种让用户对数据描述其结构的机制。 • 支持用户对存储在Hadoop中的海量数据进行查询和分析的能力。
如何打造一个日均PV千万级别的大型系统？ 经验
业务逻辑调整客户端能及时得到最新更新； 部署Service的服务器采用集群部署，Nginx实现调度； NoSQL采用了Redis，与Memcached相比，Redis支持的数据类型更多，同时R
Hadoop VS Spark 资讯
textFile at:12 (1 partitions) Spark对于有向无环图Job进行调度，确定阶段（Stage），分区（Partition），流水线（Pipeline），任务（Task）
P39 HBase技术研究与应用分析 文档
长的、计算分析任务：如：海量日志分析、海量视频处理、数据挖掘、海量话单分析、DPI数据分析、并行ETL等等。 不适合场景 事务性问题？银行交易系统？ 挑战： 海量管理、多类型、变化快、无中心节点模型…
P14 浅谈数据仓库中的元数据管理技术 文档
据，它贯穿数据中心构建、运行和维护的整个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。
Kylin 大数据时代的OLAP利器 资讯
值得采用的。 kylin的总体架构 Kylin 作为一个Olap引擎完成了从数据源抓取数据，ETL到自己的存储引擎，提供REST服务等一系列工作，其架构如图所示： Kylin 的生态圈包括：
P44 中国移动Big Cloud平台(经分培训)v1.0 文档
并行计算框架 MapReduce 分布式数据库 BigTable 分布式锁服务 Chubby 云计算集群管理和调度系统创新数据中心技术 分布在全球的绿色节能数据中心 定制化网络及硬件设备Google App Engine
大众点评的大数据实践 资讯
这一阶段的主要工作是建立了一个小的集群，并导入了少量用户进行测试。为了满足用户的需求，我们还调研了任务调度系统和数据交换系统。 我们使用的版本是当时最新的稳定版，Hadoop 0.20.203 和 Hive
P133 DATASTAGE 培训 文档
十一、创建Basic表达式 3. 一，datastage的介绍 本章主要讲解ETL的概念，datastage的介绍、组成及主要功能。 4. ETL概要 ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。
P19 Informatica PowerCenter 7.1 简易使用手册 文档
到此，数据源结构和目标结构都已经引入，接下来就可以设计Mapping 了。 Mapping 是ETL 设计的开始，是具体的ETL 规则设计，它包含三方面的信息：数据源信息、转换信 息、目标信息。在Mapping