Hive在腾讯数据仓库TDW中的应用

jopen 9年前

Hive是Apache基金会下的一个在Hadoop上构建数据仓库的开源软件,它支持通过类SQL的HQL语言操作结构化数据。Hive的主要功 能是将类SQL的HQL语言翻译成MapReduce代码并在Hadoop上运行。Hive的出现使使用Hadoop做大数据分析变得更简单,节省了数据 分析人员编译和调试MapReduce代码的繁琐工作。目前,Hive在国内互联网公司应用很多。TDW作为一个数据仓库产品,对外主要提供SQL语言接 口。TDW中的SQL解析,主要是基于Hive实现的,在TDW中,Hive作为TDW的查询引擎(Query Engine,简称QE)而存在。如下图所示:

Hive在腾讯数据仓库TDW中的应用

用户通过TDW集成开发环境(IDE)或者PL Client提交SQL给Hive、Hive经过Parser做词法、语法分析后,经过SemanticAnalyzer做语义分析并生成查询计划,这些 查询计划以一个无环有向图(DAG)来表示,图中的每个节点是一个MapReduce任务。最后通过Executor将这个DAG中的MapReduce 任务按照依赖顺序提交给Hadoop执行。Hive具有一些很好的特性,使得在用它构建TDW时,获得了巨大的方便和成功:

  • Hive实现了基本的SQL功能。这使得使用Hive可以很快搭建一个数据仓库,并且可以做基本的数据分析。
  • Hive具有良好的扩展性。Hive支持UDF、UDAF,可以扩充SQL函数。另外,Hive支持自定义序列化和反序列化的格式,也就是自定义SerDe,可以方便的进行存储格式的扩展。
  • Hive代码具有良好的结构。Hive中代码中,词法、语法分析,语义分析,查询优化,查询执行,元数据,类型系统等结构清晰,便于进行原理分析,方便进行二次开发。

利用Hive的这些特性,构建TDW获得了一定程度的成功。然而,构建TDW时所基于的Hive-0.4.1版本本身存在一些问题,在技术上不够成熟,这些问题严重制约了TDW的运营和推广。这些问题表现在:

  • 数据仓库功能不完善。缺乏权限管理、过程语言、list/range分区功能、窗口函数、多维分析等功能等——这些功能对于一个数据仓库产品,是 不可或缺的;并且,腾讯多数业务在其他数据仓库上大量使用这些功能。要推动业务从其他数据仓库转向基于Hive的TDW,这些功能是必须完善的。
  • 使用门槛高。用户界面简陋,运行调试麻烦,问题定位困难,查询计划不直观。Hive比起Hadoop直接写MR任务,虽然已经有很大进步,但是对 比其他成熟的数据仓库产品,Hive在易用性上的考虑明显不足。用户需要在命令行下进行操作,如果SQL运行失败,常常需要通过Hive日志,甚至是 MapReduce的后台日志进行问题定位。在查询计划的显示上,Hive的explain结果较为复杂,若通过查询计划来调优SQL,则需要操作者具有 较多的Hadoop知识。总体来讲,Hive的使用门槛较高,影响数据分析业务的开发效率。
  • 性能差。Hive-0.4.1版本的Hive在查询优化上较为简单,有很多SQL翻译的MR执行效率很低,或者不合理。性能差,不仅浪费了机器资源,也相对影响了产品的口碑。
  • 不够稳定。Hive-0.4.1版本的Hive在生产环境中经常会出现卡死、元数据损坏、进程异常退出等问题。在实际运营过程中,腾讯遇到Hive大量上述问题,造成服务中断、报表延迟、计算错误等,严重影响了TDW的服务质量。

基于以上这些问题,对Hive-0.4.1版本的Hive进行了大量的优化和改造,这些优化和改造主要包括:功能扩充、易用性提升、性能优化、稳定性优化。通过这些优化,最终使基于Hive的TDW成为腾讯内部广泛使用的一个易用、高效、稳定的大数据处理平台。

TDW对Hive的优化

A: 功能扩充

开源Hive的功能简单,甚至可以说比较简陋,缺乏数据仓库应该具备的很多功能,在TDW研发和应用阶段,功能的缺失曾经使TDW不断受到业务的挑 战,这些挑战一度影响到TDW的应用推广进度和口碑,因此,腾讯对HIVE进行了大量的功能扩充。在功能扩充上,腾讯以业务使用TDW的需求为主,为 TDW实现了大量Oracle特性。这些特性一方面使TDW功能更强大,另一方面,为TDW的应用推广、业务迁移做出了巨大贡献,主要是使业务从 Oracle数据仓库转向TDW变得简单。在功能上,腾讯实现的几个主要特性有:

1.基于角色的权限管理

腾讯参考MySQL和Oracle的权限管理功能和语法形式,为Hive扩充了基于角色的权限管理功能。这项工作主要分三个方面:

  • 为Hive增加了一些与权限相关的元数据表用来存放角色、权限相关的元数据信息
  • 增加了相关的SQL语法,包括create role、grant、revoke等命令,这些命令能够实现将权限相关的信息记录在元数据中。
  • 对原有的Hive SQL解析流程进行改变,在SQL解析时增加相关的权限检查。解析时可根据元数据中的权限信息,判断用户是否有执行此SQL,访问此库、表的权限,以达到权限控制的目的。

通过以上三个方面的功能扩充,腾讯完善了TDW权限管理,提高用户数据存入TDW的安全性,同时方便了TDW管理员的日常工作。

2.兼容MySQL的分区功能

为了满足用户的需求,腾讯也实现了MySQL的分区功能。TDW的分区表建表语法与MySQL类似,并且支持list、range两种分区类型,还 支持子分区功能。这部分修改主要是修改Hive的文法,使它支持MySQL的建分区语法;增加分区相关的元数据表;修改查询优化部分代码,使TDW支持 list、range等分区优化;增加add partition、drop partition、truncate partition等命令。

3.窗口函数

窗口函数又称分析函数,在数据分析中经常使用。TDW在Hive上开发了用户自定义窗口函数(UDWF)框架和窗口函数算子。通过这个开发,TDW 实现了常见的窗口函数,如lag、lead、row_number、rank等。UDWF框架,参考了Hive原有的UDAF设计,使一个窗口 partition的数据可以在同一个reduce内被处理,窗口函数算子中,进行具体的窗口函数计算。

4.过程语言

TDW使用Python语言作为过程语言框架,使用户可以用Python控制SQL的执行逻辑。除此之外,TDW还提供了一些公共库,如打点日志库 等,方便用户进行过程语言的开发。除此之外,为了方便用户将一些Oracle的PL/SQL转换成TDW的Python过程语言,腾讯与中科院合作研发了 一个将PL/SQL翻译成TDW Python SQL的转换工具,可以减小业务迁移的手工工作量,提高迁移效率。

5.多维分析功能

TDW的一些用户原有的业务使用了较多的cube、rollup功能,为了能让业务顺利高效的迁移到TDW,TDW支持了多维分析功能。TDW的多 维分析功能实现比较简单,通过对语法分析后产生的抽象语法树(AST)进行变换,将cube、rollup变换成group by+union all。

其他功能如公用表达式(CTE)、update/delete、入库数据校验等功能,TDW已经实现,这里不再赘述。目前,TDW在功能上较为成熟,Oracle的常用功能在TDW一般都有对应的功能,用户对TDW的目前表现也十分满意。

B: 易用性提升

开源的Hive在易用性上,考虑欠妥——没有Windows下的开发环境;HQL语言虽然与SQL语言很接近,却不一致,语法比较怪异;从其他数据 库语言转向HQL门槛较高。这些易用性方面的问题严重影响了TDW业务迁移和开发的效率。为此,腾讯在易用性上对Hive进行了如下的改造:

1.TDW集成开发环境

腾讯为TDW开发了Windows下的集成开发环境(TDW IDE),用户可以在它上面进行过程语言的编辑和调试、SQL的编辑和调试。它支持很多现代集成开发环境都有的易用性特性,比如语法高亮、自动补全、用法提示、进度显示、代码格式化、图形化显示查询计划等。

TDW IDE也是基于开源软件进行开发,腾讯使用Eclipse提供基本的IDE功能,使用PyDev提供TDW Python过程语言的编辑和调试环境,使用Jython提供Python与Java的粘合、SQL的编辑和调试功能,借鉴了Eclipse上的开源 SQL插件QuantumDB的实现原理。

Hive在腾讯数据仓库TDW中的应用

Hive在腾讯数据仓库TDW中的应用

Hive在腾讯数据仓库TDW中的应用

2.改善SQL语法细节,使它更标准、更易用

腾讯希望TDW的SQL更符合标准,或者更通用,降低用户的学习成本。为此,腾讯为TDW实现了exists、not like、insert values、select expression without from、show create table、comment on等SQL功能。这些功能都需要对Hive语法分析、语义分析、优化器等方便进行改造实现。

3.提供SQL/MED功能,使TDW方便与PostgreSQL互联互通

随着TDW应用的不断广泛,TDW与外部数据的交互也越来越多。一些用户希望在TDW中能够实时访问保存在PostgreSQL中的数据配置信息或 者维度表信息。腾讯借鉴了PostgreSQL的外表功能,实现了TDW的SQL/MED功能。用户可以在TDW中建PostgreSQL的外表,然后在 TDW中像访问普通表一样对这些外表进行访问,包括进行TDW中的表与外表的关联。这部分主要是修改TDW建表语法,使在建表使可以提供相关的外表信息, 然后将这些信息保存在元数据中。当在TDW中访问这些外表时,会先去相应的数据库中读取数据,再进行TDW的SQL操作。

通过这些改造,TDW易用性显著提高,业务的迁移和开发也顺利了。目前TDW IDE在公司内的用户数已经接近1500人,他们每天使用TDW IDE进行数据开发工作,数据提取工作等,它已经成为TDW用户的必备工具。

C: 性能和稳定性优化

开源的Hive在性能和稳定性上面,也有很多问题。随着TDW业务的不断增多,这些问题日益凸显,迫使腾讯必须在性能和稳定性上优化Hive。

在性能上面,Hive原本支持的文本格式,效率比较低,腾讯自己研发了二进制的存储格式,不但读写效率增加,而且直至lzo压缩。而且内部有自己的 索引,使它随机读性能很好。腾讯还为Hive扩充按行split、orderby+limit等优化技术,使它的SQL性能更好。除了这些腾讯原创的 Hive优化,腾讯也会将Hive社区的优化补丁打到TDW中。比如腾讯今年的SQL MR并行优化,就是来自社区的补丁,在生产环境的效果不错(如下图和表格所示)。

Hive在腾讯数据仓库TDW中的应用

Hive在腾讯数据仓库TDW中的应用

在计算性能方面,腾讯还引入了估值优化,来提升系统的计算效率。腾讯引入了HyperLogLog算法,来代替准确的count distinct,对于那些不需要计算准确值得业务(如计算uv、App独立用户数等),可以用来提升计算效率,降低计算成本,下表示各类基数估值算法与 它的内存使用量,精度的比较,来自这篇论文:HyperLogLog: the analysis of a near-optimal cardinality estimation algorithm

Hive在腾讯数据仓库TDW中的应用

在稳定性方面,开源的Hive有很多潜在问题。TDW对Hive的应用,其规模之大、复杂度之高,在业内是很少见的,因此很多开源的Bug,也只有 腾讯才能遇到。这些bug有的使Hive异常退出、有的使它无法响应、有的式它元数据遭破坏,这些都会影响TDW的正常服务,使TDW不稳定。为了使 Hive稳定运行,腾讯做了大量的稳定性工作,包括:Hive Server容灾与负载均衡、大结果集获取接口优化、元数据接口优化、内存泄漏检测、服务过载保护(最大连接数限制、SQL长度限制等)、非线程安全容器 (多线程访问static HashMap)梳理等。通过这些工作,使TDW的不会因为Hive的问题而停止服务,服务质量得到保证。

TDW在稳定性方面的一个很大增强是元数据方面。腾讯重构了Hive的元数据模块。社区的Hive使用一层ORM(使用JDO接 口,datanucleus的实现)来简化元数据的访问API,并且提供灵活的元数据存储配置。但是这带来了性能和稳定性上的问题。先实际运营中,腾讯发 现ORM层在扩展性、性能、数据的一致性、出现问题时定位的方便性上,都有问题。在TDW运营初期,元数据量比较小,问题不是那么突出。但是当TDW元数 据到达一定规模时,腾讯经常遇到元数据访问接口卡住,或者将表的元数据写脏,或者多个Hive Server的元数据不一致等等。一旦出现元数据问题,修复起来都非常麻烦,需要手工操作元数据DB,风险很大。对业务造成的影响也很大。腾讯最终选择对 Hive的元数据进行重构,将ORM层去掉,使用JDBC直接访问元数据DB,效率和透明性大大提升;同时腾讯将元数据分散化,引入global database和segment database。Global database中存放用户、权限、segment路由信息等,segement database中存放具体的表的元数据信息。通过这种架构,使TDW的元数据可以线性扩展和负载均衡,消除了之前的元数据单点问题。新的元数据架构如图 所示。

Hive在腾讯数据仓库TDW中的应用

Hive优化的未来方向

经过过去约三年多时间的Hive优化,TDW已经成为腾讯内部易用、高效、稳定的大数据处理平台。但是对于Hive的优化工作,腾讯不会停止。随着TDW在腾讯的普及,以及腾讯数据分析业务的不断增长,腾讯未来需要在三方面进行长期的优化工作:

  • 查询计划优化:TDW的查询计划仍然有优化空间。目前TDW的查询优化算法主要是基于规则的,未来腾讯将引入基于代价的查询优化算法。这个优化方向难度比较大,但是腾讯会持续去优化。
  • 数据安全:随着TDW内数据的增多,业务和用户越来越关心数据的安全,腾讯要对比TDW与传统DB在安全机制和功能上的差距,为用户提供更多安全特性。
  • 数据管理功能:TDW核心功能已经基本具备,但是数据管理功能还有欠缺,比如元数据管理、数据生命周期管理、成本管理等,都需要不断优化。

参考链接:

  • http://code.csdn.net/news/2819976