Hive配置运行及表的操作 经验

2)      Hiveserver 通过提供Thrift接口服务来运行Hive服务,可供多种客户端通过Thrift来于Hive进行通讯。Thrift服务我们后续来讲。 3)      Hwi

jopen 2014-01-28   42701   0

服务端工程师入门与进阶 Java 版 资讯

SQL 必知必会》、《高性能 MySQL》。 了解 NoSQL。我们大规模使用 Hadoop、HBase、Hive,同时部分项目使用 Redis、Storm。你需要学会这些工具最基本的使用。 学习 web

fdwm 2015-04-19   53097   0
Java  

实时日志收集系统Flume入门 经验

系统 Source组件: 专门收集日志文件,可以处理各种类型的日志数据,如:Avro、Thrift、Exec、JMS、Spooling Directory、Twitter、Kafka、NetCat、Sequence

jopen 2015-07-01   130478   0
P62

  hadoop2.6ha 及hive安装与部署 文档

/home/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib/*, # /home/hadoop/hbase-1.2.0-cdh5.7.1/lib/* # # yarn.nodemanager.aux-services

1497181054 2017-01-03   2611   0

8个值得关注的SQL-on-Hadoop框架 资讯

Hive-QL,一个类似于SQL的查询接口 一个命令行客户端 通过中央服务支持元数据共享 JDBC 驱动 多语言 Apache Thrift 驱动 一个用于创建自定义函数和转换的Java API 何时使用它? Hive 是一个几乎

jopen 2014-07-01   22905   0
Hadoop  
P7

  开源日志系统比较 文档

scribe agent实际上是一个thrift client。 向scribe发送数据的唯一方法是使用thrift client, scribe内部定义了一个thrift接口,用户使用该接口将数据发送给server。

vv2011_p 2012-12-21   606   0

开源日志系统比较:scribe、chukwa、kafka、flume 经验

scribe agent实际上是一个thrift client。 向scribe发送数据的唯一方法是使用thrift client, scribe内部定义了一个thrift接口,用户使用该接口将数据发送给server。

jopen 2013-12-11   163521   0
P4

  使用 Zookeeper 构建 LogServer 文档

程序可以基于它实现同步服务,配置维护和命名服务等。目前zookeeper被应用于hadoop/hbase中进行节点的管理,通过zookeeper你可以很方便的开发出一些分布式控制的工具,比如分布式lock

mercykevin 2012-11-05   6120   0

Storm企业级应用:实战、运维和调优——1.1 什么是实时流计算 经验

rkeleyDB等内存数据库提供数据实时查询服务,由这些系统进行持久化操作。 全磁盘:使用HBase等以分布式文件系统(HDFS)为基础的NoSQL数据库,对于KeyValue内存引擎,关键是设计好Key的分布。

NoSQL数据库的四大家族 经验

预测它的查询方式,而一旦查询方式改变,我们就必须重新设计列族。 产品:Cassandra、HBase Cassandra Cassandra是一套开源分布式NoSQL数据库系统,是一个混合

TravisGodin 2016-09-26   38097   0

值得尝试的10款出色NoSQL数据库 资讯

2下载 ) 8. Hadoop的HBase HBase (Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上

jopen 2012-10-18   37422   0
NOSQL  

Tumblr:150亿月浏览量背后的架构挑战(下) 经验

发布文 件和 grep。 内部的 firehose 就像装载着信息的大巴,各种服务和应用通过 Thrift 与消防管线沟通。(一个可伸缩的跨语言的服务开发框架。) LinkedIn 的 Kafka 用于存储信息。内部人员通过

fmms 2012-02-17   42796   0
P23

  分布式运算平台-Hadoop-基础篇 文档

FS。 HDFS是为达到高数据吞吐量而优化的,这有可能会以延迟为代价。 目前,对于低延迟访问,HBase是更好的选择。 大量的小文件 名称节点(namenode)存储着文件系统的元数据, 因此文件数量的限制也由名称节点的内存量决定。

zhpboy 2013-10-12   3298   0

Presto DB 简介 经验

口函数(window functions)。它采用 Java 实现。它的数据源包括 HIVE、HBase、关系数据库,甚至专有数据存储。 2012 年秋天 Facebook 启动 Presto 项

jopen 2015-11-21   19768   0

大众点评的大数据实践 资讯

换为 RCFile,并开发了 Hive Web 供公司内部使用。2012 年底,我们开始调研 HBase。 图 2 Wormhole 的结构图 Wormhole( https://github

jopen 2013-12-18   46925   1
大众  

详解Hadoop核心架构 经验

e和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运

jopen 2015-07-30   19557   0

Github上关于大数据的开源项目、论文等合集 资讯

distribuited datastore, inspired by BigTable. Apache HBase - column-oriented distribuited datastore, inspired

jopen 2014-08-20   57775   0
Github  

大数据相关资源集合:Awesome Big Data 经验

distribuited datastore, inspired by BigTable. Apache HBase - column-oriented distribuited datastore, inspired

jopen 2014-10-11   79484   0

那些年,追过的开源软件和技术 问答

Li编程框架,是一款REST+JSON框架,使用动态发现和简单的异步API即可构建健壮可伸缩的服务架构体系。 Thrift :Apache Thrift 是Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。

jopen 2015-03-09   47481   5
P72

  hadoop原理与实践01_v1.0 文档

e31 32. 没有Reduce的处理过程32 33. 有Reduce的处理过程33 34. HBase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“

小辉x 2016-05-16   660   0
1 2 3 4 5 6 7 8 9 10