京东开源的分布式SQL查询引擎:Presto

wge7 9年前

Presto是什么?

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。

Presto的设计和编写完全是为了解决像非死book这样规模的商业数据仓库的交互式分析和处理速度的问题。

它可以做什么?

Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。

Presto以分析师的需求作为目标,他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择,要么使用速度快的昂贵的商业方案,要么使用消耗大量硬件的慢速的“免费”方案。

谁在使用它?

非死book使用Presto进行交互式查询,用于多个内部数据存储,包括300PB的数据仓库。 每天有1000多名非死book员工使用Presto,执行查询次数超过30000次,扫描数据总量超过1PB。

领先的互联网公司包括Airbnb和Dropbox都在使用Presto。

Presto令人吃惊。 首席工程师Andy Kramolisch刚在生产环境使用了几天。 在大多数情况下它比Hive快几个数量级。 与Redshift不同,它直接从HDFS读取数据,在使用前不需要大量的ETL操作,就可以工作。

Christopher Gutierrez, 在线分析经理, Airbnb

我们对Presto感到非常兴奋。 我们打算用它快速获取用户使用Dropbox的不同方式,以及诊断他们遇到的问题。 在我们目前的测试中,它应用于某些最重要的特别用例,它表现稳定并且非常快。

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。

京东开源的分布式SQL查询引擎:Presto

需求

Presto的基本需求

  • Linux or Mac OS X
  • Java 8, 64-bit
  • Python 2.4+

连接器

Presto支持插接式连接器提供的数据。 各连接器的设计需求会有所不同。

Hadoop / Hive

Presto支持从以下版本的Hadoop中读取Hive数据:

  • Apache Hadoop 1.x
  • Apache Hadoop 2.x
  • Cloudera CDH 4
  • Cloudera CDH 5

支持以下文件类型:Text, SequenceFile, RCFile, ORC

此外,需要有远程的Hive元数据。 不支持本地或嵌入模式。 Presto不使用MapReduce,只需要HDFS。

Cassandra

必须有Cassandra 2.x。 这种连接器完全不依赖Hive连接器,只需要一个安装好的Cassandra。

TPC-H

TPC-H连接器动态生成数据,可以用于实验与测试Presto。 此连接器没有额外要求。

部署

详细的部署方法见 Presto部署 说明。

执行查询

完成Presto部署后,你可以使用 命令行接口 执行查询。


项目主页:http://www.open-open.com/lib/view/home/1435239682278