• Zeppelin:一个分布式 KV 存储平台之概述

     发表于 11 个月 前

    过去的一年多的时间中,大部分的工作都围绕着Zeppelin这个项目展开,经历了Zeppelin的从无到有,再到逐步完善稳定。见证了Zeppelin的成长的同时,Zeppelin也见...

  • CAP 理论与分布式系统设计

     发表于 11 个月 前

    在现代分布式系统中,节点数目是巨大的。在 CAP 理论的范围内, MichaelStonebraker 断言分区必然会发生,并且系统内发生节点失败的机会随着节点数的增加而呈指数级增...

  • 伯克利AI分布式框架Ray,兼容TensorFlow、PyTorch与MXNet

     发表于 1 年 前

    不久之前,机器之心推荐了一篇论文,介绍 UC Berkeley 研究员发布的分布式系统 Ray。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法...

  • 分布式事务的总结与思考

     发表于 1 年 前

    思来想去,个人觉得要理解 「分布式事务」 ,必须先知道什么是“事务(Transaction)”。...

  • 像Apache Storm一样简单的分布式图计算

     发表于 1 年 前

    本文从计算机领域的“祖师爷”艾伦·图灵提出的图灵机概念开始,介绍了图形计算的概念,并以示例介绍了apache storm,基于apache storm如何进行分布式图形计算。apa...

  • 基于云上分布式NoSQL的海量气象数据存储和查询方案 已认证的机构

     发表于 1 年 前

    气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量...

  • 应用架构对技术的追求要有所止境

     发表于 1 年 前

    说起架构,大多人想到的是技术语言、技术框架、SOA、微服务、中间件等,这些都是纯粹的系统架构或基础架构,它们基本不受业务影响,大多可以独立于具体业务进行开发和发展,形成自己独立的体...

  • 分布式架构的演进

     发表于 1 年 前

    初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征:应用程序、数据库、文件等所有的资源都在一台服务器上。描述:通常服务器操作系统使用lin...

  • 分布式机器学习平台比较

     发表于 1 年 前

    机器学习,特别是深度学习(DL),最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存...

  • CoCoA:大规模机器学习的分布式优化通用框架

     发表于 1 年 前

    CoCoA 是一个通用分布式优化框架,可以在分布式集群中实现通信高效的原始-对偶优化。它的方式是利用对偶性将全局目标分解成局部二次近似子问题,而这些子问题可以使用架构师选择的任意当...

  • HBase原理 – 所有Region切分的细节都在这里了

     发表于 1 年 前

    Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多...

  • [译] 如何选择合适的分布式机器学习平台

     发表于 1 年 前

    机器学习和深度学习是近年技术的热点,面对众多的机器学习平台如何进行选择,这是一个很困扰的问题。本文对分布式机器学习(ML)平台中使用的设计方法进行了调查,并提出了未来的研究方向。...

  • 深入浅出时序数据库之分布式计算

     发表于 1 年 前

    物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内...

  • Raft算法

     发表于 1 年 前

    Raft的应用十分广泛,比如etcd项目就是使用Raft来保证分布式一致性的。...

  • 浅谈分布式消息技术 Kafka

     发表于 1 年 前

    Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/ngin...

  • 深入理解Hystrix之文档翻译

     发表于 1 年 前

    在分布式系统中,服务与服务之间依赖错综复杂,一种不可避免的情况就是某些服务将会出现失败。Hystrix是一个库,它提供了服务与服务之间的容错功能,主要体现在延迟容错和容错,从而做到...

  • 浅谈分布式服务协调技术 Zookeeper

     发表于 1 年 前

    Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDF...

  • 滴滴出行海量数据背后的高可用架构

     发表于 1 年 前

    许令波,花名君山,现任滴滴出行技术研究员,从事容器化和资源调度方面的技术建设。曾在淘宝工作七余载,经历了淘宝网 PV 从 1 到 50 亿的增长历程。其中涉及端与管道、应用层代码级...

  • 给Java开发者的10个大数据工具和框架

     发表于 1 年 前

    当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,中软卓越专家列出了Java...

  • Java 中最简单的分布式调用 RMI

     发表于 1 年 前

    摘要:本文属于原创,欢迎转载,转载请保留出处: https://github.com/jasonGeng88/blog...