处理960亿张照片需要怎样的技术架构支撑？ 经验
新的挑战。然而，照片的存储只是一小部分，每周新功能的上线，每天的版本更新，都对服务器、数据库等IT架构带来不小的挑战。 过去，当遇到用户大规模增加、照片数量增加，或是新功能上线这些需求时，Ca
jopen 垂直型爬虫架构设计(1) 经验
从事爬虫方向开发马上也将近两年时间了,今天基友问我关于爬虫的架构设计问题.其实这么久也想总结一下自己的整个开发的过程,架构的设计问题..对自己进行一些总结..仅作参考. 1.爬虫的分类 : 对于我来说
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合 经验
kafka分布式订阅架构如下图：--取自Kafka官网 罗宝兄弟文章上的架构图是这样的 其实两者没有太大区别，官网的架构图只是把Kafka简洁的表示成一个Kafka Cluster，而上面架构图就相对详细一些；
fefre 深入微服务架构内部进程间通信 经验
[编者的话]这是采用微服务架构创建自己应用系列第三篇文章。第一篇介绍了微服务架构模式，和单体式模式进行了比较，并且讨论了使用微服务架构的优缺点。第二篇描述了采用微服务架构应用客户端之间如何采用API
Python开源爬虫框架：Scrapy架构分析 经验
Scrapy 使用 Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。 Scrapy整体架构如下图所示，其中包含了它的主要组件及系统的数据处理流程（绿
MySQL主从复制架构搭建及读写分离测试 经验
问量也呈线性地增长。特别是在用户访问高峰期间，并发访问量突然增大，数 据库的负载压力也会增大，如果架构方案不够健壮，那么数据库服务器很有可能在高并发访问负载压力下宕机，造成数据访问服务的失效，从而导致网站的业务中
构建高并发高可用的电商平台架构大纲 经验
在大规模的数据中，数据存在一定的局部性的特征，利用局部性的原理将海量数据计算的问题分而治之。 MR 模型是无共享的架构，数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理 (map) ，将处理后的数据进行合并
腾讯分析系统架构解析 经验
的实时数据更新频率也获得业界的认可。本文将从实时数据处理、数据存储等多个方面带你深入探寻TA的系统架构及实现原理。 网站分析（Web Analytics）主要指的是基于网站的用户浏览行为，对网站的
软件架构模式读书笔记 经验
com/2015/04/08/software-architecture-patterns/ 软件架构模式 本文是我在阅读O'Reilly免费的电子书 Software Architecture
Kafka剖析（一）：Kafka背景及架构介绍 经验
Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注 Kafka的应用以及发展 ，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。 背景介绍 Kafka创建背景 Kafka
分布式服务器集群架构方案思考 经验
nginx-reverse-proxy-conf 研究了一套完整的分布式服务器集群架构方案。 0x01.大型网站演化 简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通
Android应用架构变更背后的经验、失误与推论 经验
用来构建Android应用的架构与技术一直在不断进化。在本文中，我们将具体阐述这些架构变更背后的经验、失误还有推论。 过去 早在2012年，我们的代码库总是采用基础架构，并未使用任何网络库，还是用
大数据技术hadoop入门理论系列之二—HDFS架构简介 经验
因此HDFS架构的一个核心设计目标就是能够快速检测硬件失效并快速从失效中恢复工作。 流式访问要求 在HDFS集群上运行的应用要求流式访问数据，HDFS设计为适用于批处理而非交互式处理，因此在架构设计时更加强调高吞吐量而非低延迟。
.net 大型分布式电子商务架构说明 经验
.net大型分布式电子商务架构说明 背景 构建具备高可用，高扩展性，高性能，能承载高并发，大流量的分布式电子商务平台，支持用户，订单，采购，物流，配送，财务等多个项目的协作，便于后续运营报表，分析，便于运维及监控。
微信Android客户端架构演进 经验
去年7月，笔者在InfoQ举办的ArchSummit深圳2014的架构师峰会上，分享了微信Android客户端的架构演进史。可以说，这是一个典型的Android应用在从小到大的成长过程中的“踩坑”与“
大众点评数据平台架构变迁 经验
以下从 数据&架构&应用 的角度对2012.07-2014.12期间大众点评数据平台的架构变迁做一个概括性的总结，希望对还处在数据平台发展初期的同学有一些帮助，欢迎线下沟通。 1、1.0（2012.07）
[ Laravel 5.2 文档 ] 架构 —— 一次请求的生命周期 经验
当我们使用现实世界中的任何工具时，如果理解了该工具的工作原理，那么用起来就会得心应手，应用开发也是如此。当你理解了开发工具如何工作，用起来就会更加游刃有余。
构建高并发高可用的电商平台架构大纲 经验
在大规模的数据中，数据存在一定的局部性的特征，利用局部性的原理将海量数据计算的问题分而治之。 MR 模型是无共享的架构，数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理 (map) ，将处理后的数据进行合并
Solr学习总结（七）Solr搜索引擎的整体架构 经验
讨解决办法。 最后讲一讲，实际生产过程中，solr 是如何使用的，Solr整体的架构（但是这也只是个基础的架构，实际情况可能比这个复杂的多）。 1. Window索引服务，负责定时增量更新
从零开始搭建架构实施Android项目 经验
服务端需要有一定的并发能力。 前提：原型已设计完成。 1 服务端概要设计 1.1 系统架构 先给出服务端的架构图。 由于服务端开发有Java、PHP背景，为了快速完成开发任务，我们选择PH