• 1. Hive
  • 2. 什么是Hivehive和pig等语言类似,只是一个shell,一个包装了mapreduce的shell,他使得编写m/r程序更加的方便入手,使得步入云计算的程序员门槛更低。 Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成
  • 3. Hive体系结构
  • 4. 用户接口用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。
  • 5. 元数据Hive 将元数据存储在数据库中,如 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。
  • 6. 内核解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有 MapReduce 调用执行。
  • 7. HQLHQL是一个类SQL的查询语言。它模仿SQL语法来创建表,读表到数据,并查询表。HQL也允许用户嵌入他们自定义的map-reduce脚本。