0推荐
25K 浏览

Zeppelin:一个分布式 KV 存储平台之概述

过去的一年多的时间中,大部分的工作都围绕着Zeppelin这个项目展开,经历了Zeppelin的从无到有,再到逐步完善稳定。见证了Zeppelin的成长的同时,Zeppelin也见证了我的积累进...
0推荐
27K 浏览

CAP 理论与分布式系统设计

在现代分布式系统中,节点数目是巨大的。在 CAP 理论的范围内, MichaelStonebraker 断言分区必然会发生,并且系统内发生节点失败的机会随着节点数的增加而呈指数级增加
0推荐
21K 浏览

伯克利AI分布式框架Ray,兼容TensorFlow、PyTorch与MXNet

不久之前,机器之心推荐了一篇论文,介绍 UC Berkeley 研究员发布的分布式系统 Ray。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法仅需加入数行代...
rwv8660 2年前   
0推荐
30K 浏览

分布式事务的总结与思考

思来想去,个人觉得要理解 「分布式事务」 ,必须先知道什么是“事务(Transaction)”。
0推荐
31K 浏览

像Apache Storm一样简单的分布式图计算

本文从计算机领域的“祖师爷”艾伦·图灵提出的图灵机概念开始,介绍了图形计算的概念,并以示例介绍了apache storm,基于apache storm如何进行分布式图形计算。apache sto...
0推荐
31K 浏览

基于云上分布式NoSQL的海量气象数据存储和查询方案 已认证的机构

气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到...
0推荐
33K 浏览

应用架构对技术的追求要有所止境

说起架构,大多人想到的是技术语言、技术框架、SOA、微服务、中间件等,这些都是纯粹的系统架构或基础架构,它们基本不受业务影响,大多可以独立于具体业务进行开发和发展,形成自己独立的体系甚至标准化的技术产品。
0推荐
34K 浏览

分布式架构的演进

初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征:应用程序、数据库、文件等所有的资源都在一台服务器上。描述:通常服务器操作系统使用linux,应用程序...
0推荐
40K 浏览

分布式机器学习平台比较

机器学习,特别是深度学习(DL),最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存在着非常有前景...
0推荐
34K 浏览

CoCoA:大规模机器学习的分布式优化通用框架

CoCoA 是一个通用分布式优化框架,可以在分布式集群中实现通信高效的原始-对偶优化。它的方式是利用对偶性将全局目标分解成局部二次近似子问题,而这些子问题可以使用架构师选择的任意当前最佳的单机求...
0推荐
44K 浏览

[译] 如何选择合适的分布式机器学习平台

机器学习和深度学习是近年技术的热点,面对众多的机器学习平台如何进行选择,这是一个很困扰的问题。本文对分布式机器学习(ML)平台中使用的设计方法进行了调查,并提出了未来的研究方向。
0推荐
17K 浏览

浅谈分布式消息技术 Kafka

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日...
0推荐
20K 浏览

浅谈分布式服务协调技术 Zookeeper

Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDFS;根据Big...
0推荐
32K 浏览

滴滴出行海量数据背后的高可用架构

许令波,花名君山,现任滴滴出行技术研究员,从事容器化和资源调度方面的技术建设。曾在淘宝工作七余载,经历了淘宝网 PV 从 1 到 50 亿的增长历程。其中涉及端与管道、应用层代码级、应用架构和端...
0推荐
44K 浏览

给Java开发者的10个大数据工具和框架

当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,中软卓越专家列出了Java程序员在过去1...
0推荐
21K 浏览

Java 中最简单的分布式调用 RMI

摘要:本文属于原创,欢迎转载,转载请保留出处: https://github.com/jasonGeng88/blog
0推荐
18K 浏览

基于Ignite+Lucene+Log4j2的分布式统一日志查询最佳实践

应用开发时的常规做法,是调用日志系统的API进行日志的记录,日志的具体记录方式,通过日志系统实现库对应的配置文件进行配置,比如使用log4j2的话,可能就是 log4j2.xml 文件,日志通常...
0推荐
24K 浏览

这些优秀的国产分布式任务调度系统,你用过几个?

分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理的要求较高,既要保证高效性,也要保证准确性和安全性,相对比较耗时的业务逻辑往往会从中剥...
0推荐
21K 浏览

分布式一致性算法Paxos

最近在学习zookeeper原理的时候了解到了paxos算法,看了几篇文章之后还是感觉有些迷糊,后来看了知行学社的 paxos视频 才对这个算法有了一定的了解,这里就做一下总结.
0推荐
17K 浏览

以交易系统为例,看分布式事务架构的五大演进

在支付、交易、订单等强一致性系统中,我们需要使用分布式事务来保证各个数据库或各个系统之间的数据一致性。
1 2 3 4 5 6

经验分享,提升职场影响力

投稿

热门问答

    热门文档