BlockChain 是 世界上最流行的比特币钱包 背后的公司，正在开发一个 非常有趣的项目，叫做 Thunder 。Thunder 网络是多节点网络的替代品，可以在几秒内完成链外的比特币支付，...

Spark的性能分析和调优很有意思，今天再写一篇。主要话题是shuffle，当然也牵涉一些其他代码上的小把戏。

路由器是整个网络的核心。一个网络内的所有主机往往都设置一条缺省路由，这样，主机发出的目的地址不在本网段的报文将被通过缺省路由发往路由器，从而实现了主机与外部网络的通信。在通常只使用单路由器来承担...

王联辉，曾在腾讯，Intel 等公司从事大数据相关的工作。2013 年 - 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop 发行版的 ...

日前，Twitter在 Github 上基于Apache 2许可证协议 开源了其日志服务DistributedLog（DL） 。DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功...

这篇文章将介绍基于流式API数据来演示如何预测资源需求变化来调整资源分配。

继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。

春晚直播期间讨论春晚的微博达到5191万条，网友互动量达到1.15亿，网友抢微博红包的总次数超过8亿次。

随着乐视硬件抢购的不断升级，乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环，保证用户快速稳定的完成支付尤为重要。所以在15年11月，我们对整个支付系统进行了全面的架构升级，...

当前的云计算领域，OpenStack在IaaS层的主导地位毋庸置疑，然而仅仅靠基础架构层的云化并不能满足企业所需的敏捷性、灵活性，前沿的云计算技术实践，还需要通过PaaS层的变革实现应用的高效交...

数据分析的统计计数和多维分析，我们通常称之为数据探索式分析，这个步骤旨在了解数据的特性，有助于我们进一步挖掘数据的价值。而基于我们对数据的理解，再引入机器学习的算法对数据做出预测就变得水到渠成了。

这是用微服务开发应用系列博客的第七篇也是最后一篇。第一篇中介绍了微服务架构模式，并且讨论了微服架构的优缺点；接续文章讨论了微服务架构不同方面：使用API网关，进程间通信，服务发现，事件驱动数据管...

摘要： 先从产品层⾯面介绍一下Feed业务。Feed本⾝身就是一段简短文字加一张图片，带有位置信息，发布之后可以被好友和附近的人看到，通过点赞评论的方式互动。类似微博和朋友圈。

继上文 Flink 原理与实现：架构和拓扑概览 中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。

要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作...

远程过程调用 （RPC）范式的出现可以追溯到40年之前。时至今日，它仍是在编写分布式应用时使用率最高的一种编程模型。

如今，Twitter 每秒可以创建并保存 3000 张（20GB）的图片。2015 年，Twitter 甚至从对媒体存储策略的优化中节省出了 600 万美元。

《IBM发布首个深度学习类脑超级计算平台IBM TrueNorth》 ：IBM 日前发布了一款用于深度学习的类脑超级计算平台 IBM TrueNorth。新智元芯片专家群的几位专家讨论后认为：T...

QCon北京2016 全球软件开发大会已于 4 月 23 日在北京国际会议中心顺利闭幕。在21日进行的“ 基于云的 IT 系统升级部署”厂商共建专场活动中，来自才云、 又拍云 、 逸创云客服、云...