98.8秒夺冠,解析腾讯云数智背后的架构与算法优化 经验

的记录是4222秒。 在这次竞赛中,腾讯云数智分布式计算平台,夺得 Sort Benchmark 大赛 GraySort 和 MinuteSort 的冠军,这也体现了腾讯云数智分布式计算平台在数据处理上的优越性能。在竞赛结果公布之后,InfoQ

Gearman及python客户端安装和简单试用 经验

Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。 Gearman提供了一种通用的程序框架来将你的任务分发到不同的机器或

jopen 2014-03-28   22197   0

Hadoop/Spark生态圈里的新气象 资讯

。 不过,分布式文件系统依然有用。对Cloudera的Impala来说,商业智能是一种理想的使用场合;而分布式列式存储系统Kudu针对商业智能进行了优化。Spark很适合处理许多任务,但有时候你需

jopen 2016-02-16   35271   0
Hadoop   Spark  

Netflix Conductor: 微服务编排器 经验

式完成整体编排。但是,随着微服务数量的增加,以及流程复杂度的提高,如果没有中央式的编排,理解这些分布式工作流会变得非常困难。 我们将Conductor构建为“编排引擎”,来解决如下需求,代替应用中对样板文件的需要,同时提供交互式流程:

hwwang2 2016-12-20   33342   0

如何用最小的代价完成爬虫需求 资讯

在维护运营过程中,是否能够工具化,构建基于配置化的分布式爬虫应用? 这就是是我们今天要讨论的话题。 二  项目需求 立项之初,我们从使用的脚度试着提几个需求。 1. 分布式抓取 由于抓取量可能非常庞大

jopen 2017-04-04   22186   0

Redis 3.0.0 正式版出炉,高性能 K/V 服务 资讯

版本与 2.8 版本比较,主要新特性包括如下几个方面: * Redis Cluster —— 一个分布式的 Redis 实现 * 全新的 "embedded string" 对象编码结果,更少的缓存丢失,在特定的工作负载下速度的大幅提升

jopen 2015-04-01   8468   0
Redis  

Kafka 开源项目

Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样,设计非常独特。首先,kafka的开发者们认为不需要在内存里缓存什么数据,操作系统的文件缓存已经足

码头工人 2019-01-17   1217   0
P37

  《工作流管理技术基础》讨论 文档

Workflow=Work+Flow Work表示工作或者任务 Flow反应一种变化以及变化的过程 用活动及活动间变化的过程表示的业务流程就是工作流 工作流的基本组成元素是任务(活动) 工作流主要是用来描述经营活动的

108439162 2011-12-02   3189   0

hadoop家族介绍 资讯

http://voidy.net/hadoop_family/ 简介 Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用

jopen 2015-08-31   28652   0
Hadoop  

云计算8项核心技术全解读 经验

只是最近几年才开始取得相对较快的发展。确切地说,云计算是大规模分布式计算技术及其配套商业模式演进的产物,它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展

jopen 2015-01-13   43225   0

云计算的核心技术 经验

只是最近几年才开始取得相对较快的发展。确切地说,云计算是大规模分布式计算技术及其配套商业模式演进的产物,它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展

jopen 2015-01-09   46200   0

Android开发艺术探索 第11章 线程与线程池 读书笔记 经验

handler; IntentService是一个服务,内部采用HandlerThread来执行任务,完成后会自动退出,很像后台线程,但由于是服务 存活率高 频繁创建销毁线程不明智,使用线程池是正确的做法

jhqa0004 2016-03-07   10269   0

crontab 管理工具 经验

在实际工作中经常需要在服务器上添加定时任务,当任务多了的时候管理起来就比较麻烦,所以想要有一个方便使用和管理的crontab工具 功能介绍: 使用web api的方式提供任务的添加、删除、查看、运行状态

e73b 2015-01-02   25188   0
P42

  2 应用程序 - 嵌入式系统项目案例分析 文档

子模块功能 9. 子模块任务划分自动拍照任务 照片下载任务 自动远传任务 10. 自动拍照任务任务描述:控制相机对闯红灯的车辆进行拍照 工作原理 11. 照片下载任务任务描述:将数码相机中的照片下载到主控系统的存储器中

xionghsh 2017-03-28   635   0

Apache Ignite(二):核心特性一览(V1.4.0版本) 经验

功能点做详细的说明。 1.数据网格 Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。 它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数的线性增长,直至几百个节点。

jopen 2016-01-12   22857   0
P49

  Android服务Service详解 文档

在线程中更新GUI组件 · 8.3.5 全局定时器AlarmManager(1) · 8.3.5 全局定时器AlarmManager(2) · 8.3.5 全局定时器AlarmManager(3) · 8

永乐zhu 2012-11-19   518   0
P49

  Android服务Service详解 文档

在线程中更新GUI组件 · 8.3.5 全局定时器AlarmManager(1) · 8.3.5 全局定时器AlarmManager(2) · 8.3.5 全局定时器AlarmManager(3) · 8

lifan0801 2014-03-11   524   0
P21

  自动化运维工具ansible使用手册 文档

,每个服务提供API以进行集成。 Ø Ansible 基于Python paramiko 开发,分布式,无需客户端,轻量级,配置语法使用YMAL 及Jinja2模板语言,更强的远程命令执行操作 Ansible简述

songo 2017-03-05   526   0
手册  

Go 爬虫软件,Pholcus 0.5.2 发布 资讯

I界面,优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo,支持横纵向两种抓取模式,支持模拟登录和任务取消等,并且考虑了支持分布式布局。 框架模块 框架特点 Pholcu

jopen 2015-08-06   10879   0
Pholcus  

Pholcus 0.5.0 发布,Go 爬虫软件 资讯

爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo,更重要的 是它支持socket长连接、全双工并发分布式,支持横纵向两种抓取模式,支持模拟登录和任务取消等! 框架模块 框架特点

jopen 2015-07-16   9253   0
Pholcus  
1 2 3 4 5 6 7 8 9 10