0推荐
14K 浏览

微店分布式监控系统实践

早期我们和很多公司一样使用的是zabbix监控, 应该说zabbix的功能还是蛮强大的。但是随着公司的业务发展,我们很快发现有很多问题zabbix很难解决。
0推荐
9K 浏览

R3公开发布分布式账本平台Corda源代码

Corda is a decentralised database system in which nodes trust each other as little as possible.
0推荐
7K 浏览

Python 并发编程:锁、信号量和条件变量

目前为止,我们专注于如何创建、解释和执行程序。在第一章中,我们学会使用函数作为组合和抽象的手段。第二章展示了如何使用数据结构和对象来表示和操作数据,以及向我们介绍了数据抽象的概念。在第三章中,我...
0推荐
12K 浏览

Apache Beam: 下一代的大数据处理标准

Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery...
0推荐
15K 浏览

分布式团队面临的五大问题及解决办法

现在,许多人都会与来自不同地方的人一起工作。当和你一起合作工作的人不在同一个办公室里时,就会出现各种状况。我一直在研究这些状况,我研究它们的时间超过了十年。在大多数情况下,它可以被归结为我们所面对的五大问题。
0推荐
18K 浏览

RabbitMQ 高级指南:实现分布式通信

分布式系统是指: 通过网络把多个组件连接起来,并提供组件之间消息传递和协作的系统。 分布式系统要解决的问题很多,异构、伸缩性、开放、安全、容错等,但是基本问题是—— 提供组件之间消息通信 。没有...
0推荐
28K 浏览

分布式系统,你真的了解吗?

当一个互联网业务获得大众欢迎的时候,最显著碰到的技术问题,就是服务器非常繁忙。当每天有1000万个用户访问你的网站时,无论你使用什么样的服务器硬件,都不可能只用一台机器就承载的了。因此,在互联网...
0推荐
12K 浏览

使用 Python 进行分布式系统协调

随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用Python,利用开源...
0推荐
9K 浏览

你还需要知道的9个大数据技术

Hadoop是大数据领域最流行的技术,但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外,另外9个大数据技术也是必须要了解的。
0推荐
5K 浏览

如何设计稳定性横跨全球的Cron服务

这篇文章主要来描述下 Google 是如何实现一套可靠的 分布式Cron服务 ,服务于内部那些需要绝大多数计算作业定时调度的团队。 在这个系统的实践过程中,我们收获了很多,包括如何设计、如何实现...
ArlField 3年前   
0推荐
45K 浏览

生成全局唯一 ID 的 3 个思路

标识(ID / Identifier)是无处不在的,生成标识的主体是人,那么它就是一个命名过程,如果是计算机,那么它就是一个生成过程。如何保证分布式系统下,并行生成标识的唯一与标识的命名空间有着密不可分的关系。
0推荐
10K 浏览

JLiteSpider:轻量级的分布式 Java 爬虫框架

这是一个强大,但又轻量级的分布式爬虫框架。jlitespider天生具有分布式的特点,各个worker之间需要通过一个或者多个消息队列来连接。消息队列我的选择是 rabbitmq 。worker...
0推荐
13K 浏览

jedisLock—redis分布式锁实现

分布式锁可以基于很多种方式实现,比如zookeeper、redis...。不管哪种方式,他的 基本原理 是不变的: 用一个状态值表示锁,对锁的占用和释放通过状态值来标识。
0推荐
20K 浏览

分布式系统互斥性与幂等性问题的分析与解决

随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。为了解决这...
0推荐
32K 浏览

Spring Session + Redis实现分布式Session共享

通常情况下,Tomcat、Jetty等Servlet容器,会默认将Session保存在内存中。如果是单个服务器实例的应用,将Session保存在服务器内存中是一个非常好的方案。但是这种方案有一个...
0推荐
37K 浏览

如何设计一个复杂的分布式爬虫系统?

一个复杂的分布式爬虫系统由很多的模块组成,每个模块是一个独立的服务(SOA架构),所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf,或...
0推荐
6K 浏览

分布式系统的事务处理

数据服务的高可用性只能通过第二种方法来完成——数据的冗余存储 。 但是,加入更多的机器,会让我们的数据服务变得很复杂,尤其是跨服务器的事务处理,也就是跨服务器的数据一致性。
0推荐
14K 浏览

腾讯云分布式高可靠消息队列 CMQ 架构最佳实践

在分布式大行其道的今天,我们在系统内部、平台之间广泛运用消息中间件进行数据交换及解耦。CMQ是腾讯云内部自研基于的高可靠、强一致、可扩展分布式消息队列,在腾讯内部包括微信手机QQ业务红包、腾讯话...
0推荐
8K 浏览

腾讯云分布式高可靠消息队列CMQ架构最佳实践

在分布式大行其道的今天,我们在系统内部、平台之间广泛运用消息中间件进行数据交换及解耦。CMQ是腾讯云内部自研基于的高可靠、强一致、可扩展分布式消息队列,在腾讯内部包括微信手机QQ业务红包、腾讯话...
0推荐
26K 浏览

腾讯QQ团队开源分布式后台服务引擎msec

毫秒服务引擎(msec, 取英文名Mass Service Engine in Cluster的首字母组合)是腾讯的一个开源框架,适用于在廉价机器组成的集群上开发和运营分布式后台服务。毫秒服务引...
1 2 3 4 5 6

经验分享,提升职场影响力

投稿

热门问答

    热门文档