ELK 集群部署 经验

代表es内部节点或集群与客户端的交互方式,默认内部是使用tcp协议进行交互,同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。

jopen 2015-12-25   21200   0

Mock Server实践 经验

在美团服务端测试中,被测服务通常依赖于一系列的外部模块,被测服务与外部模块间通过REST API或是Thrift调用来进行通信。要对被测服务进行系统测试,一般做法是,部署好所有外部依赖模块,由被测服务直接调用。然而有时被调用模块尚未开

jopen 2015-10-19   44458   0

基于Go实现的分布式MQ 经验

一、RPC与MQ之间对比 我们通常接触到的RPC同步调用的种类非常多比如fb 的thrift/阿里的dobbo 腾讯的taf、淘宝的hsf这类同步调用框架 从图里面可以看到作为一个业务完成后端要发生非常多的RPC通信

jopen 2015-09-15   30878   0

Cassandra操作入门 经验

1c65f178-0742-4379-bd8d-9011b9f7c4a3 Gossip active : true Thrift active : true Load : 78.18 KB Generation No : 1374563151

foreverlys 2016-02-13   57952   0

赶集网三年 DBA 总结 经验

wiki 业务文档说明。 自动化用技术来约束,而不是人工。同比业务接口强约束,现在服务化都用 thrift 了。 对赶集的记忆已经越来越模糊了,唯有... 总结写了一部份后,原同事都说遗漏了一些,那就一齐追加到后面,版权不归我:)

KarPokorny 2017-02-15   25331   0
DBA   SQL   运维  

使用 Nginx 优化面向侧面的架构 经验

的 webServer 的方式内部通信,稍微复杂点的基于 TCP 的 RPC 通信方案(例如 thrift),或者某些特殊的情景,例如是生产者/消费者关系的话,则可能通过 MQ 来进行通信。 最终我们采用的是通过

jopen 2015-11-11   8415   0

java应用一般架构 经验

不需要对外部系统(外部公司的系统)提供服务的情况以前我们一般会选择用EJB等来构建分布式应用,但是现在我们可以使用 dobbo、thrift、avro、hessian这类RPC框架来构建分布式应用实现不同应用和数据来源的交互。这种结构模式下我们需要对其他公司提

jopen 2015-11-09   23964   0

WEB 应用安全的总结 经验

目前支持四种部署方式: REST Web Service SOAP Web Service Thrift Local (Embedded Java) Shadow Daemon Shadow Daemon

jopen 2015-04-25   27514   0
P28

  内网api设计风格对比分析 文档

基于Google Protocol Buffer数据交换格式的各种RPC协议 基于Apache Thrift的各种RPC协议,例如唯品会的OSP 表述性状态移交(Representational State

wubudomain 2017-02-22   909   0
Apache   HTTP   HTML   Java   Go  

你真的很熟分布式和事务吗? 资讯

你选择MySQL分库、表、区,还是选择Redis,MongoDB作sharding?还是你直接就上HBase了? 二级索引在哪里? 其实很佩服一篇文章,几个图表,看起来很cool的架构图就把这些问题说得一清二楚,架构嘛。

y35w 2015-07-09   11656   0
事务  

Apache kafka 工作原理介绍 经验

是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相反地,Flume 被设计成特定用途的工作,特定地向 HDFS 和 HBase 发送出去。Flume 为了更好地为 HDFS 服务而做了特定的优化,并且与 Hadoop 的安

jopen 2015-08-11   22359   0

storm简介 经验

出现在实时统计、实时风控、实时推荐等场景中。一般来说,我们从类kafka的metaQ或者基于 hbase的timetunnel中读取实时日志消息,经过一系列处理,最终将处理结果写入到一个分布式存储中,提供给应用程序访问。我们每天的实时消息

jopen 2013-11-04   78329   0

量化派基于Hadoop、Spark、Storm的大数据风控架构 经验

储需要经常变化的状态类数据。 除了系统运行日志直接存放在HDFS之中,大量的数据利用HBase来进行管理。HBase中的数据按照不同的数据源存放在不同的表中,每张表按照业务和 存储需求对rowkey进

jopen 2015-10-06   52802   0

浅谈分布式服务协调技术 Zookeeper 经验

于是我们有了Hadoop;根据GFS,于是我们有了HDFS;根据BigTable,于是我们有了HBase。而在这三篇论文里都提及Google的一个Lock Service —— Chubby,哦,于是我们有了Zookeeper。

30种IT技能让你年薪过10万美元! 资讯

多条与之相关的招聘启事。 26、Hbase 平均年薪 12.6369 万美元。 Habase 同样是基于 Hadoop 技术的一个项目。一旦使用 Hadoop 分布式文件系统存储了数据,Hbase 便可对这些数据

dy223 2015-03-26   12296   0
IT技  

飞起来的大象:Hadoop从离线到在线 资讯

下降,未来将中间结果按Partition聚合和批处理等方案也在讨论当中。 【HBase:1.0时代】 HBase开始进入1.0时代,系统在稳定性、可用性、易用性方面有质的提升,主要体现的特性如下。

jopen 2015-07-28   24766   0
Hadoop  
P4

  ZooKeeper 应用场景 文档

通过比如http方式,向一个地方获取master。 · 在Hbase中,也是使用ZooKeeper来实现动态HMaster的选举。在Hbase实现中,会在ZK上存储一些ROOT表的地址和 HMaste

ainubis 2014-06-27   306   0

Spark编程指南 经验

你的驱动程序中已存在的集合,或者引用一个外部存储系统的数据集,例如一个共享文件系统,HDFS、HBase、或者任何可以提供一个Hadoop InputFormat的数据源。 并行集合 并行集合通过

jopen 2014-08-24   162840   0

GOOGLE分布式数据库技术演进研究 经验

MapReduce GFS技术搭配,构成了GOOGLE分布式云计算的三架马车,对应开源社区推出HBASE产品,也在近年得到了广泛应用。 第二个阶段以Dremel产品为代表,Dremel产品采用了与

jopen 2015-01-09   27394   0
Google  

陈超:Spark这一年,从开源到火爆 资讯

ush predicates to data source,譬如你要从HBase取数据后做一些筛选,一般我们需要把数据从HBase全取出来后在Spark引擎中筛选,现在可以把这个步骤推到 data s

jopen 2015-03-10   34447   0
Spark  
1 2 3 4 5 6 7 8 9 10