Facebook 的系统架构 经验

g++编译,这样就可以为模板和Web逻贺业务层提供高的性能。 业务逻辑以Service的形式存在,其使用 Thrift [2]。这些Service根据需求的不同由PHP,C++或Java实现(也可以用到了其它的一些语言……)

jopen 2015-03-24   29946   0

Facebook架构解读 经验

[2]及HipHop虚拟机,将PHP代码转译为HipHop ByteCode[3]。 其业务逻辑以服务形式存在,使用Thrift框架[4]。其中一些服务根据具体需求,在实现时使用了PHP、C++或者Java语言(可能还用到了一些其他语言)。

jopen 2016-01-19   25626   0

Hadoop和Hadoop的生态系统资源列表:Awesome Hadoop 经验

horizontally scalable. Apache HBase - Apache HBase Apache Phoenix - A SQL skin over HBase happybase - A developer-friendly

jopen 2014-10-15   40861   0

日志集群分析器:hblog 经验

of: dfs-nn hbase-master-gc mr-jt dfs-nn-gc hbase-regionservers mr-jt-gc dfs-slaves hbase-regionservers-gc

xg48 2015-04-10   12535   0

开源大数据处理系统/工具大全 经验

贡献者:: Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于 GitHub 上,并且提供了一个客户端可嵌入的JDBC驱动。

ew45 2015-03-12   325553   0

大数据(七) - Flume 经验

出到存储文件系统,数据库,或远程服务器 多种实现方式如Avro sink、HDFS Sink、HBase Sink、Logger Sink(测试用,后台打印) 小数据可以存储在文件或数据库中,海量数据

jopen 2016-01-20   13661   0
P6

  Tumblr:150亿月浏览量背后的架构挑战 文档

  Tumblr 最开始是非常典型的 LAMP 应用。目前正在向分布式服务模型演进,该模型基于Scala、HBase、Redis(著名开源K-V存储方案)、Kafka(Apache 项目,出自 LinkedIn

gmmxx 2015-12-21   2924   0

Tumblr 架构设计 经验

Tumblr最开始是非常典型的LAMP应用。目前正在向分布式服务模型演进,该模型基于 Scala 、 HBase 、 Redis 、 Kafka 、 Finagle ,此外还有一个有趣的基于Cell的架构,用于支持Dashboard 

jopen 2013-05-26   78089   0

在Hadoop集群上运行R程序--安装RHadoop 经验

packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的 rhbase。 下载网址为 https://github.com/RevolutionA

jopen 2013-01-06   14531   0

Tumblr:150亿月浏览量背后的架构挑战(上) 经验

最开始是非常典型的 LAMP 应用。目前正在向分布式服务模型演进,该模型基于 Scala 、 HBase 、 Redis (著名开源K-V存储方案)、 Kafka (Apache 项目,出自 LinkedIn

fmms 2012-02-17   89104   0

数据序列化框架Apache Avro 开源项目

一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase和Hive的Client端与服务端的数据传输也采用了这个工具,Avro可以做到将数据进行序列化,适用于远程或本地大批量数据交互。

码头工人 2019-01-17   831   0
P46

  云计算之Hadoop 文档

dfs(Hdfs) MapReduce 分布式并行计算模型 Hadoop扩展 Hadoop base(Hbase)基于hadoop核心的高扩展性分布式数据库 Pig-一种高级数据流语言和并行计算的执行框架,也基于hadoop核心

huafenged 2011-08-17   4776   0
P46

  云计算之Hadoop 文档

dfs(Hdfs) MapReduce 分布式并行计算模型 Hadoop扩展 Hadoop base(Hbase)基于hadoop核心的高扩展性分布式数据库 Pig-一种高级数据流语言和并行计算的执行框架,也基于hadoop核心

daibiao 2012-06-13   5056   0
P46

  云计算之Hadoop 文档

dfs(Hdfs) MapReduce 分布式并行计算模型 Hadoop扩展 Hadoop base(Hbase)基于hadoop核心的高扩展性分布式数据库 Pig-一种高级数据流语言和并行计算的执行框架,也基于hadoop核心

qiu.n@sand 2011-10-26   5538   0

时间戳服务器:XiaoMi Chronos 经验

Chronos 采用主备架构,主服务器挂了以后备服务器迅速感知并接替服务,从而实现系统的高可用。服务端使用Thrift框 架,经测试每秒可处理约60万次RPC请求,客户端单线程每秒可请求6万次(本地服务器),保证高性能与低延时。全局只有唯一的

jopen 2014-06-27   12313   0
Chronos  

NoSQL的对像/数据存储映射框架:Kundera 2.1 发布 资讯

MongoDB HBase 关系数据库 Kundera 2.1 包含 bug 修复 , 性能提升以及以下新的特性: CQL 版本配置 实现 Cassandra/MongoDB/HBase的批量新更与插入

jopen 2012-09-24   9597   0
NOSQL  

微服务与 RPC 经验

在支付系统的微服务架构中,基础服务的构建是重中之重, 本文重点分析如何使用Apache Thrift + Google Protocol Buffer来构建基础服务。 一、RPC vs Restful

jhalbert 2017-02-22   25037   0
RPC   微服务  
P6

  大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 文档

pig入门简单操作及语法包括支持数据类型、函数、关键字、操作符等 hadoop家族Pig和Hive有什么不同? HBase: Apache HBase是Hadoop数据库,一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时

tony2007 2015-06-19   2795   0

开源大数据利器汇总 经验

http://phoenix.incubator.apache.org/ Salesforce公司出品,Apache HBase之上的一个SQL中间层,完全使用Java编写 Stinger http://hortonworks

dgy7 2015-05-21   56121   0

Spring Hadoop 1.0.0 M1 发布 资讯

MapReduce, Streaming Jobs and Tool HBase 配置 Hive server and thrift client Pig configuration Embedded API

jopen 2012-02-29   23811   2
Spring   Hadoop  
1 2 3 4 5 6 7 8 9 10