小米11.11:海量数据压力下的推送服务 资讯

上跑的数据格式可以是不一样的。消息推送服务是其中一个 channel,这个 channel 上传输的数据是通过 Thrift 进行二进制化的协议格式。 再来看一下小米推送服务的 服务端架构 。下图是后台服务端的一个基本架构图。整个服务端包含如下几层:

jopen 2014-11-13   11129   0
小米  

知名网站的技术发展历程 资讯

News Feed、Search 等较通用的功能作为 Service 提供给前端的 PHP 系统使用,前端的系统通过 Thrift 访问这些 Service。Facebook 采用了多种语言来编写各种不同的 Service,

jopen 2012-05-25   35441   1
网站  

微服务架构实践总结 经验

而向外提供接口(比如HTTP API接口)。各个微服务可以通过RPC接口供应用层调用,比如利用Thrift、Avro。 微服务拆分方法 微服务架构中的微服务一般按照业务功能来拆分,将关联性较强

jopen 2015-07-24   45692   0

Apache Accumulo 1.7.0 发布,K/V 存储方案 资讯

存储解决方案。Accumulo的设计也来自Google的BigTable,实现基于Hadoop、Zookeeper和Thrift。所以它与HBase很像,但也 有不少创新点,比如基于cell的访问控制,称为iterator的服务器端

jopen 2015-05-20   9229   0

spark用程序提交任务到yarn 经验

注意,如果引入了hbase依赖,需要这样配置 org.apache.hbase hbase-thrift

jopen 2014-04-11   186436   0

大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm 经验

Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。 HBase: Apache HBase是Hadoop数据库,一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实

jopen 2014-11-22   190566   0
P31

  内存计算Spark和 SQL on Hadoop 文档

on SQL HIVE优势 实现了基本的SQL功能 可扩充UDF/UDAF 可自定义SerDe Thrift协议,支持多语言客户端 HIVE劣势 太慢 SQL on Hadoop过渡产品 19. 安装配置与简介PrestoPresto是什么

pnx8 2014-08-17   756   0

开源大数据处理工具汇总(下) 经验

写到各种数据接受方(可定制)的能力。 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系

jopen 2016-01-05   77527   0

Aragog:Pinterest的爬虫框架 资讯

Aragog Fetcher 是一个 Thrift服务 。它会发出一个HTTP请求,并返回一个封装了页面内容、HTTP头、抓取延迟、重定向链等数据的Thrift结构。为了实现礼貌抓取,Aragog Fetcher会将特定域名的robots

jopen 2015-11-30   10609   0
Aragog  

开源大数据处理工具汇总(上) 经验

贡献者:: Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于 GitHub 上,并且提供了一个客户端可嵌入的JDBC驱动。

jopen 2016-01-05   78569   0
P1

  系统设计面试题思路综述 文档

开了论文而未开源代码,开源界对此非常有兴趣,仿照这三篇论文实现了一系列软件,如:Hadoop、HBase、HDFS、Cassandra等。 在google这些技术还未出现之前,企业界在设计大规模分布式

wujiuliu 2013-06-01   8501   0

8种Nosql数据库系统对比 问答

Mongodb 、 CouchDB 、 Redis 、 Riak 、 Membase 、 Neo4j 和 HBase 进行了比较: (编注1:NoSQL:是一项全新的数据库革命性运动,NoSQL的拥护者们

openkk 2011-12-15   27329   7
NOSQL   JavaScript   C/C++   Ruby   Go  

8种Nosql数据库系统对比 经验

Mongodb 、 CouchDB 、 Redis 、 Riak 、 Membase 、 Neo4j 和 HBase 进行了比较: (编注1:NoSQL:是一项全新的数据库革命性运动,NoSQL的拥护者们提倡

jopen 2014-05-13   28131   0

8种NoSQL数据库系统对比 博客

Mongodb 、 CouchDB 、 Redis 、 Riak 、 Membase 、 Neo4j 和 HBase 进行了比较: (编注1:NoSQL:是一项全新的数据库革命性运动,NoSQL的拥护者们提倡

jopen 2012-09-11   1247   0

盘点大数据开源软件Google Trends指数 资讯

ce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 ZooKeeper 是一个分布式的应用程序协调服务,是Hadoop和Hbase的重要组件。它是一个为分布式

jopen 2017-04-06   46308   0

分布式日志收集收集系统:Flume 经验

、Storage storage是存储系统,可以是一个普通file,也可以是HDFS,HIVE,HBase,分布式存储等。 4 、Master Master是管理协调Agent和Collecto

jopen 2014-12-04   67408   0
Flume  
P32

  基于hadoop的数据仓库技术 文档

成,主要包括:HDFS、MapReduce、HBase、Hive、Pig 和 ZooKeeper, 其中HDFS是Google的GFS开源版本, HBase 是Google的 BigTable开源版本

xcxc 2015-08-24   524   0
P32

  基于hadoop的数据仓库技术 文档

成,主要包括:HDFS、MapReduce、HBase、Hive、Pig 和 ZooKeeper, 其中HDFS是Google的GFS开源版本, HBase 是Google的 BigTable开源版本

cqn1512 2013-05-02   3410   0
P21

  移动大数据平台的一些实践经验 文档

控制、控制控制SDK大小 SDK模块化设计,不同功能可以自行组合 控制数据包大小 使用二进制数据包格式,thrift 6. 再控制控制与服务端交互策略 多种发送模式,满足实际业务需求 数据包去重,多重校验 SDK端按规则调整+服务端动态控制

cpp45 2015-02-06   548   0
P5

  淘宝实时数据传输平台-TimeTunnel介绍 文档

TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点(基于Hbase)。 目前TimeTunnel在阿里巴巴

daliao8888 2014-11-26   6634   0
1 2 3 4 5 6 7 8 9 10