基于hive的日志数据统计实战 经验

中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换,最终生成一系列基于 hadoop 的 map/reduce 任务,通过执行这些任务完成数据处理 。 Hive

jopen 2013-12-11   48080   0

去哪儿网正式开源内部使用的消息中间件QMQ 资讯

,消息的端到端延迟可以控制在 10ms 以内。 QMQ 主要提供以下特性: 异步实时消息 延迟/定时消息 基于 Tag 的服务端过滤 Consumer 端幂等处理支持 Consumer 端

jopen 2018-12-09   13141   0
去哪儿   QMQ  

Android 线程池 经验

文是基础篇,后面会分享下线程池一些高级功能。 1、new Thread的弊端 执行一个异步任务你还只是如下new Thread吗? new Thread(new Runnable() { @Override

dgy7 2015-05-21   13167   0

java 线程池详解 经验

Thread的弊端及Java四种线程池的使用 1、new Thread的弊端 执行一个异步任务你还只是如下new Thread吗? new Thread(new Runnable() { @Override

jopen 2013-11-29   19429   0

异步的JavaScript 经验

单线程执行的,意味着同一个时间点,只有一个任务在运行。单线程就意味着,所有任务需要排队,前一个任务结束,才会执行后一个任务。如果前一个任务耗时很长,后一个任务就不得不一直等着。 从诞生起,Java

panel 2017-12-25   29509   0
P9

  Jmeter 使用技巧 文档

 每个线程均独立运行测试计划。因此, 线程组常用来模拟并发用户访问。假如客户机没有足够的能力来模拟较重的负载,可以使用Jmeter的分布式测试功能来通过一个Jmeter控制台来远程控制多个Jmeter引擎完成测试。   参数 ramp-up

ccixxii 2012-04-29   5705   0

Spark在腾讯数据仓库TDW的应用 经验

uce的通用性更好,迭代运算效率更高,作业延迟更低,它的主要优势包括: 提供了一套支持DAG图的分布式并行计算的编程框架,减少多次计算之间中间结果写到Hdfs的开销 提供Cache机制来支持需要反复迭

jopen 2014-11-29   53806   0

介绍Java中的四种线程池 经验

对系统资源的浪费和拥挤。用线程池控制线程数量,同时运行X个core线程,其他线程排队等候。一个工作任务执行完毕之后,从队列前面取一个再执行。若队列中没有等待线程,线程池资源处于等待状态。 使用线程池的好处

小小赵 2016-01-31   13104   0

读懂Netty的高性能架构之道 经验

过通知机制获得IO操作结果。 作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty的NIO框架构建。

isoar05 2016-10-18   39230   0

SyncSpout:用来构造可交互的、同步的 Storm 拓扑的组件 经验

推荐系统中,希望将Storm的并发性和分布式计算能力应用到“请求-响应”范式中, 比如客户的某次购买行为能够以消息的形式发送到storm拓扑中,storm在指定时间返回推荐结果,也就是说storm需要

LidDarley 2016-12-26   9618   0

SyncSpout:用来构造可交互的、同步的 Storm 拓扑的组件 经验

推荐系统中,希望将Storm的并发性和分布式计算能力应用到“请求-响应”范式中, 比如客户的某次购买行为能够以消息的形式发送到storm拓扑中,storm在指定时间返回推荐结果,也就是说storm需要

zchkingdom 2016-12-26   7578   0

Java线程池的基础应用 经验

});//向池子中添加任务 } System.out.println("10 task is over"); } } 会发现,每次都只有5个任务在执行,执行到10次,后再换下5个任务 所以,池

jopen 2014-12-14   13129   0
P34

  Google云计算原理 文档

0种解释,目前还没有公认的定义。本书给出一种定义,供读者参考。 云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务。 这种资源池称为“云

ndn4open 2011-10-11   769   0
P10

  Hadoop 运行流程 文档

JobTracker是一个master服务,软件启动之后JobTracker接收job,负责调度job的每一个子任务task运行于TaskTracker上,并监控它们,如果发现有失败的task就重新运行它。一般情况

szx85307 2012-05-28   2711   0

Key-Value 数据库:iNexus 经验

(简称ins) 是一个基于 Raft 协议实现的高可用的分布式 Key-Value 数据库,支持数据变更通知(Watch)和分布式锁,可用于大型分布式系统的协调工作。 使用说明: https://github

jopen 2015-06-25   9852   0

Zookeeper开源客户端框架Curator简介 经验

election) 锁服务 共享锁: 全局同步分布式锁, 同一时间两台机器只有一台能获得同一把锁. 共享读写锁: 用于分布式的读写互斥处理, 同时生成两个锁:一个读锁, 一个写锁, 读锁能被多个应用持有

fmms 2012-01-25   64788   0

大数据架构和模式(四) - 了解用于大数据解决方案的原子模式和复合模式 经验

的系统和其他等效的系统可以克服这些限制,因为它们具有丰富的存储以及分布式大规模并行处理能力。运营、业务和数据仓库的数据被移动到大数据存储,您通过 使用大数据平台功能对它们进行处理。 历史分析包括分析给定时间段、季节组合和产品的历史趋势

jopen 2015-02-01   27853   0

Zookeeper简单概念介绍 经验

ookeeper暴漏了一套简单的额API,能够让开发者实现公共需要协调的任务。例如 配置维护、组服务、分布式消息队列 、 分布式通知/协调 等。Zookeeper有两套实现的分别是C和java。另外集

jopen 2016-01-17   8581   0

setTimeout 的黑魔法 经验

setTimeout,前端工程师必定会打交道的一个函数.它看上去非常的简单,朴实.有着一个很不平凡的名字--定时器.让年少的我天真的以为自己可以操纵未来.却不知朴实之中隐含着惊天大密.我还记得我第一次用这个函数的时候

ybfu6763 2016-04-25   11726   0
P6

  C#实现闪动托盘图标示例 文档

在用户正在登录QQ或者使用Firemail邮件系统自动收取邮件的时候,托盘图标会闪动提示用户正在运行的任务。 闪动图标可以使用定时切换托盘图标的方式实现,托盘图标可以从ImageList控件中获取。在ImageLis

ershen290 2013-11-22   3915   0
.NET开发   C#  
1 2 3 4 5 6 7 8 9 10