• Zeppelin:一个分布式 KV 存储平台之概述

     发表于 2 个月 前

    过去的一年多的时间中,大部分的工作都围绕着Zeppelin这个项目展开,经历了Zeppelin的从无到有,再到逐步完善稳定。见证了Zeppelin的成长的同时,Zeppelin也见...

  • CAP 理论与分布式系统设计

     发表于 2 个月 前

    在现代分布式系统中,节点数目是巨大的。在 CAP 理论的范围内, MichaelStonebraker 断言分区必然会发生,并且系统内发生节点失败的机会随着节点数的增加而呈指数级增...

  • 伯克利AI分布式框架Ray,兼容TensorFlow、PyTorch与MXNet

     发表于 3 个月 前

    不久之前,机器之心推荐了一篇论文,介绍 UC Berkeley 研究员发布的分布式系统 Ray。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法...

  • 分布式事务的总结与思考

     发表于 3 个月 前

    思来想去,个人觉得要理解 「分布式事务」 ,必须先知道什么是“事务(Transaction)”。...

  • 像Apache Storm一样简单的分布式图计算

     发表于 3 个月 前

    本文从计算机领域的“祖师爷”艾伦·图灵提出的图灵机概念开始,介绍了图形计算的概念,并以示例介绍了apache storm,基于apache storm如何进行分布式图形计算。apa...

  • 基于云上分布式NoSQL的海量气象数据存储和查询方案 已认证的机构

     发表于 4 个月 前

    气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量...

  • 应用架构对技术的追求要有所止境

     发表于 5 个月 前

    说起架构,大多人想到的是技术语言、技术框架、SOA、微服务、中间件等,这些都是纯粹的系统架构或基础架构,它们基本不受业务影响,大多可以独立于具体业务进行开发和发展,形成自己独立的体...

  • 分布式架构的演进

     发表于 6 个月 前

    初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征:应用程序、数据库、文件等所有的资源都在一台服务器上。描述:通常服务器操作系统使用lin...

  • 分布式机器学习平台比较

     发表于 7 个月 前

    机器学习,特别是深度学习(DL),最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存...

  • CoCoA:大规模机器学习的分布式优化通用框架

     发表于 7 个月 前

    CoCoA 是一个通用分布式优化框架,可以在分布式集群中实现通信高效的原始-对偶优化。它的方式是利用对偶性将全局目标分解成局部二次近似子问题,而这些子问题可以使用架构师选择的任意当...

  • [译] 如何选择合适的分布式机器学习平台

     发表于 8 个月 前

    机器学习和深度学习是近年技术的热点,面对众多的机器学习平台如何进行选择,这是一个很困扰的问题。本文对分布式机器学习(ML)平台中使用的设计方法进行了调查,并提出了未来的研究方向。...

  • 浅谈分布式消息技术 Kafka

     发表于 8 个月 前

    Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/ngin...

  • 浅谈分布式服务协调技术 Zookeeper

     发表于 8 个月 前

    Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDF...

  • 滴滴出行海量数据背后的高可用架构

     发表于 10 个月 前

    许令波,花名君山,现任滴滴出行技术研究员,从事容器化和资源调度方面的技术建设。曾在淘宝工作七余载,经历了淘宝网 PV 从 1 到 50 亿的增长历程。其中涉及端与管道、应用层代码级...

  • 给Java开发者的10个大数据工具和框架

     发表于 11 个月 前

    当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,中软卓越专家列出了Java...

  • Java 中最简单的分布式调用 RMI

     发表于 11 个月 前

    摘要:本文属于原创,欢迎转载,转载请保留出处: https://github.com/jasonGeng88/blog...

  • 基于Ignite+Lucene+Log4j2的分布式统一日志查询最佳实践

     发表于 11 个月 前

    应用开发时的常规做法,是调用日志系统的API进行日志的记录,日志的具体记录方式,通过日志系统实现库对应的配置文件进行配置,比如使用log4j2的话,可能就是 log4j2.xml ...

  • 这些优秀的国产分布式任务调度系统,你用过几个?

     发表于 11 个月 前

    分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理的要求较高,既要保证高效性,也要保证准确性和安全性,相对比较耗时的业务逻...

  • 分布式一致性算法Paxos

     发表于 1 年 前

    最近在学习zookeeper原理的时候了解到了paxos算法,看了几篇文章之后还是感觉有些迷糊,后来看了知行学社的 paxos视频 才对这个算法有了一定的了解,这里就做一下总结....

  • 以交易系统为例,看分布式事务架构的五大演进

     发表于 1 年 前

    在支付、交易、订单等强一致性系统中,我们需要使用分布式事务来保证各个数据库或各个系统之间的数据一致性。...