日邮件发送量千万级,谈京东的EDM平台优化之路 经验

京东的EDM平台每日发送量千万级别,峰值数据2T(每日),如何能在峰值到来时保证系统的稳定,以及从大量的邮件发送任务中筛选出高优先级发送任务并及时发送是构建这个平台的难点之一。 老平台日益突出的问题 原有的老平台已经是5年

jjxg6932 2016-10-11   11759   0
P32

  kafka 文档

Kafka简介 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发,使用 Scala语言编写,之后成为 Apache 项目的一部分。Kafka 是一个分布式的,可划分的,多订阅者,

516304276 2016-11-23   853   0
P32

  区块链原理详解 文档

区块链简介区块链是一个分布式账本,一种通过去中心化、去信任的方式集体维护一个可靠数据库的技术方案。定义从数据的角度来看 区块链是一种几乎不可能被更改的分布式数据库。这里的“分布式”不仅体现为数据的分布式存储,也体

413125808a 2017-06-30   891   0
P41

  Hadoop Map/Reduce教程 文档

台计算机是超多核的(很多个CPU),一个超级大的硬盘,而且容错和写入速度都很快。 2.如果你的计算任务可以拆分,那么通过map/Reduce,他可以统一指挥你的那一帮烂机器,让一堆机器帮你一起干活(并

Tonywang 2011-08-08   5052   0
P41

  Hadoop Map/Reduce教程 文档

台计算机是超多核的(很多个CPU),一个超级大的硬盘,而且容错和写入速度都很快。 2.如果你的计算任务可以拆分,那么通过map/Reduce,他可以统一指挥你的那一帮烂机器,让一堆机器帮你一起干活(并

wentao 2012-02-03   2837   0

HTML5离线便签,Anytodo1.1.0 发布 资讯

Tasks; 定时提醒; Anytodo目前最新版本为1.1.0,更新内容如下: 由Hosted app改为真正的Chrome插件(Extension); 增加了Chrome中右键添加任务功能; 增加了按完成状态和处理时间过滤显示的功能;

openkk 2012-03-08   5851   0
HTML5  
P97

  RedhatLinux服务与软件包管理 文档

服务与软件包管理B2B–运维部–朱贤军 2. Agenda服务管理initSysV Scriptxinetd计划任务crontabat软件包管理rpmyumrpmbuild2 3. 服务管理 (Service)3 4

eric23 2011-12-26   3359   0
Linux   Apache   HTTP   x86   Java  

iOS - NSTimer循环引用的解决办法 经验

算了,timer 的功能就是定时调某个方法,NSTimer 的调用时间是不精确的!它挂在 runloop 上受线程切换,上一个事件执行时间的影响。 利用 dispatch_asyn() 定时执行函数。看下面代码。

LeonidaK12 2017-04-27   10490   0

MySql+Memcached架构的问题 经验

的方式来保证高速访问,同时提供数据落地的功能, 实际这正是Redis最主要的适用场景。 2.海量数据存储,分布式系统支持,数据一致性保证,方便的集群节点添加/删除。 3.这方面最具代表性的是dynamo和bigtable

jopen 2014-06-24   197529   0

Redis 应用场景 经验

的方式来保证高速访问,同时提供数据落地的功能, 实际这正是Redis最主要的适用场景。 2.海量数据存储,分布式系统支持,数据一致性保证,方便的集群节点添加/删除。 3.这方面最具代表性的是dynamo和bigtable

jopen 2014-12-12   74295   0

Java线程池应用 经验

1.减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务。 2.可以根据系统的承受能力,调整线程池中工作线线程的数目,防止因为消耗过多的内存,而把服务器累趴下(每个线程需要大约

jopen 2014-10-16   13039   0

深入浅出数据仓库中SQL性能优化之Hive篇 经验

。Reduce数的设置虽然相较Map更灵活,但是也可以像Map一样设定一个自动生成规则,这样运 行定时Job的时候就不用担心原来设置的固定Reduce数会由于数据量的变化而不合适。 Hive估算R

jopen 2015-01-14   35509   0
Hive   SQL  

数据仓库中的 SQL 性能优化(Hive篇) 经验

展。Reduce数的设置虽然相较map更灵活,但是也可以像map一样设定一个自动生成规则,这样运行定时job的时候就不用担心原来设置的固定reduce数会由于数据量的变化而不合适。 Hive估算r

jopen 2014-09-01   28344   0

深入浅出Mesos(一):为软件定义数据中心而生的操作系统 经验

Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克 利分校的AMPLab开发的,后在Twitter得到广泛使用。InfoQ接下来将会策划系列

jopen 2015-04-17   31048   0

Storm企业级应用:实战、运维和调优——1.1 什么是实时流计算 经验

这是因为Hadoop MapReduce框架为批处理做了高度优化,系统典型地通过调度批量任务来操作静态数据,任务不是常驻服务,数据也不是实时流入;而数据流计算的典型范式之一是不确定数据速率的事件流流入系统,系统处理能力必须与事件流量匹配。

Java多线程编程模式实战指南一:Active Object模式(下) 经验

Active Object模式还有个好处是它可以将任务(MethodRequest)的提交(调用异步方法)和任务的执行策略(Execution Policy)分离。任务的执行策略被封装在Scheduler的实现

wenrouedao 2016-01-30   11214   0
P25

  Mysql Event 文档

..........................................10 巧妙的制定时间计划(Schedules)...................................

hfm316 2012-08-29   505   0
P29

  NoSQL 数据库的事务机制实现 文档

手工修复 分布式系统中事务机制复杂,大部分NoSQL数据库过于年轻 8. NoSQL支持ACID是未来趋势业界需要分布式系统是一大趋势 NewSQL从关系型数据库基础开始,做减法以提供分布式功能的支持

b2f5 2015-06-12   397   0
P29

  NoSQL数据库的事务机制实现 文档

手工修复 分布式系统中事务机制复杂,大部分NoSQL数据库过于年轻 8. NoSQL支持ACID是未来趋势业界需要分布式系统是一大趋势 NewSQL从关系型数据库基础开始,做减法以提供分布式功能的支持

dwe6b 2015-01-14   7173   0

微软数据库拥抱Hadoop 资讯

在西雅图举行的 PASS 峰会上,微软副总裁 Ted Kumert 宣布 , Hadoop 分布式计算平台将整合到下一个版本的关系数据库 SQL Server 2012、Windows Server 和

jopen 2011-10-14   30596   2
Hadoop  
1 2 3 4 5 6 7 8 9 10