Azkaban:来自Linkedin的批量工作流任务调度 经验

Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban来自LinkedIn公司,用于管理他们的Hadoop批处理 工作流。日常生产环境中,为了得到想要的数据,通常需要执行很多

jopen 2014-12-03   24977   0
Azkaban  
P3

  spring调度任务cronjob精确指定任务的运行时间 文档

我们在调度一个工作的时候,如果设置每隔多长时间运行一次,使用的是SimpleTriggerBean,它的配置如下: [html]view plaincopy 1 2 3 4 5 这里我们设置了每隔1

n8ye 2013-10-17   6691   0
P11

  Linux 学习总结—进程切换和调度算法深入分析 文档

被替换的进程A继续执行,它在Label 1处,首先是恢复eflags和ebp寄存器内容。注意这里是发生在调度器选择prev在CPU上运行后,次数esp已经执行了prev的内核堆栈。 1:       popl

chumojing 2013-01-01   3378   0
Linux  

解密微博红包:架构、防刷、监控和资源调度 资讯

资源连接,网络连接出现的问题,实时通过手机,邮件和私信知道。为快速响应创造了条件。 弹性资源管理和调度 1、故障的秒级切换 微博红包服务部署在了三个机房(包括云服务),任何一个机房如果出现网络

jopen 2016-02-29   14367   0
微博  
P10

  操作系统处理器调度算法C++程序 文档

先进入系统的作业将优先被挑选进入主存,创建用户进程,分配所需资源,然后,移入就绪队列.这是一种非剥夺式调度算法,易于实现,但效率不高.只顾及作业的等候时间,未考虑作业要求服务时间的长短,不利于短作业而优待长作业

pdfe 2016-02-04   2004   0
P44

  四川电力调度数据网络详细设计及实施方案 文档

四川电力调度数据网工程 四川电力调度数据网工程 网络详细设计及实施方案 中国软件与技术服务股份有限公司 China National Software & Service Co.,Ltd. 2005

619949305 2012-08-21   2949   0

一淘广告技术测试团队开发的自动化测试任务调度平台:TOAST 经验

是一淘广告技术测试团队开发的一套自动化测试任务调度平台。 软件版本:v1.0 beta 支持系统:32/64位 Linux Agent支持系统:32/64位 Win/Linux 自动化任务调度 TOAST提供

jopen 2013-02-06   22233   0

MIT新算法助力共享汽车调度系统,如何减少75%的城市车辆? 资讯

发的科学评估。 近期,MIT 计算机科学与人工智能实验室(CSAIL)研发了一套全新的共享汽车调度系统,不但大大增强了现有共享汽车的运行效率,同时从数据上证明了共享汽车在治疗城市交通拥堵上的卓越表现。

jopen 2017-01-09   8855   0
MIT  

两维度四步法分析(其中8张调度配置) 文档

两维度四步法分析

lanyangli 2014-10-13   264   0
P19

  开放无限基于短彩技术部的数据仓库概要设计说明书-ETL概要设计分册 文档

开放无限基于短彩部的数据仓库设计说明书-ETL概要设计分册 开放无限基于短彩部的数据仓库概要设计说明书 ETL概要设计分册 (文档编码:OM-BIDW-C008) (版本01.00.000) 未经许可,不得以任何形式抄袭

ytoms 2013-02-27   406   0

调度5万亿次,腾讯云微服务架构体系TSF深度解读 经验

aaS平台,完成了王者荣耀全球同服的毫秒级延时和春节红包的高并发交易等性能需求,以日5万亿次的惊人调度次数,支撑腾讯内部海量业务的构建与发展。 微服务改造的核心思想,指通过IT架构的微服务化,将复

WileyThatch 2018-02-06   48918   0

【niubi-job——一个分布式的任务调度框架】----框架设计原理以及实现 经验

掉了很多其它调度框架中,锦上添花但并非必须的组件,例如MQ消息通讯组件(kafka等)。它的框架设计核心思想是,让每一个jar包可以相对之间独立的运行,并且由zk辅助进行集群中任务的调度。 接下来

mike200042 2016-01-29   77346   0

[niubi-job——一个分布式的任务调度框架]----如何开发一个niubi-job的定时任务 经验

何使用以及它的一些设计思想和原理,有兴趣的同学可以关注一下。 如果你的项目刚好缺一个定时任务的调度框架,那么niubi-job应该是你不二的选择! 当然,如果你有兴趣参与进来,也可以在Gith

kid2012 2016-01-24   36640   0
P17

  开放无限基于短彩技术部的数据仓库概要设计说明书 文档

数据源层(Data Source) 8 5.1.1 描述 8 5.1.2 目标 8 5.2 数据装载层(ETL) 8 5.2.1 描述 8 5.2.2 目标 8 5.3 假定与约束 9 5.4 数据仓库层(ODS、EDS、DM)

ytoms 2013-02-27   1769   0
P82

  京东金融大数据分析平台总体架构-v1.0 文档

…社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层数据管控层数据 产生层数据交换层实时数 据查询客户管理财务管

guet_lee 2017-01-12   6513   0
P22

  Kettle使用培训文档 文档

1. 张辉 2. Kettle使用-ETL&KettleETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于各个企业来说,经常会遇到大数据量的处理,转换,迁

305955792 2011-01-05   10162   0

英语流利说基础数据平台 经验

MapReduce / Yarn 的运行,其本身不存储任何 Job 的最终数据。当然我们确实有一段时间,所有的 ETL 数据存储到 HDFS,但后来我们发现其不利于集群的扩展。比如集群在做伸缩性扩展时,DataNode

hh306311 2016-08-09   22195   0
P76

  淘宝数据开发平台介绍 文档

构产品架构数据开放平台——人人都是数据专家基础知识产品架构技术架构关键服务介绍——理论与实践元数据调度生命周期IDE监控告警数据集成总结——经验和教训展望——数据创造未来大纲 3. 背景——进入数据的世界

hans511002 2012-06-24   4302   0
P44

  Kettle 培训 文档

Kettle 控件介绍 Kettle 案例演示 Kettle 调度 3. Kettle介绍Kettle 是一款开源的、元数据驱动的ETL工具集,是开源 ETL 工具里功能比较强大的一个。 Kettle 是”Kettle

ccbruce 2014-08-07   813   0
数据挖掘   培训   HTTP   Java   Basic  
P18

  admaster海量数据分析架构-admaster_谢超 文档

传统BI产品的组成Data Warehousing Tool ETL Tool OLAP Server Reporting Tool Data Mining Tool 权限, 图形化, 调度器 电子产品 日用品 书籍2010一季度

mvpzhou 2013-10-08   3208   0
Intel   Java   Scala   SQL   Go  
1 2 3 4 5 6 7 8 9 10