本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。

JDRing 是一个轻量级的Java任务调度包。它既简单又小，但仍然支持在指定的时间间隔内实现提醒功能。当处理复杂schedules时JDRing也采用类似于cron的控制方式。

MySQL5.1.x版本中引入了一项新特性EVENT，顾名思义就是事件、定时任务机制，在指定的时间单元内执行特定的任务，因此今后一些对数据定时性操作不再依赖外部程序，而直接使用数据库本身提供的功能。

Jobber 是一个类似 Unix 上的 cron 工具，是一个作业调度工具。

要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？ 3.调度什么？ 3.何时调度？ 4.调度算法

写得稍微有点乱，主要是按自己看代码的顺序来记录的，也不是出书，就这样吧。

不同的版本的jar包，具体的操作不太相同，但是思路是相同的；比如1.8.6jar包中，JobDetail是个类，直接通过构造方法与Job类关联。SimpleTrigger和CornTrigger是类；在2.2.1jar包中，JobDetail是个接口，SimpleTrigger和CornTrigger是接口

在Master上运行的是JobTracker守护进程，而在Slave上运行的是TaskTracker守护进程。对于一个作业，首先提交给JobTracker，再由JobTracker对提交的作业进行处理。

jconch项目的目的是提供一个可靠的、安全的多线程的通用任务调度的Java应用程序。

Oddjob 是一个采用 Java 语言开发的作业调度工具，通过图形化界面或者是XML文件进行任务的设定，支持按顺序执行、并行执行以及根据预设条件执行任务，可运行于桌面或者是服务 器，可以通过JMX方式对其进行管理和设定。同时还提供了基于浏览器的状态监控页面。

随着Hadoop的普及，单个Hadoop集群的用户量越来越大，不同用户提交的应用程序往往具有不同的服务质量要求，典型的应用有以下几种： 批处理作业。这种作业往往耗时较长，对完成时间一般没有严格要求，如数据挖掘、机器学习等方面的应用程序

Windows处理机调度WindowsServer2003的线程调度概述每个优先级的就绪进程排成一个先进先出队列；当一个线程状态变成就绪时，它可能立即运行或排到相应优先级队列的尾部。总运行优先级最高的就绪线程；调度单位是线程而不是进程，采用严格的抢先式动态优先级调度，依据优先级和分配时间片来调度。在内核中实现线程调度代码完全的事件驱动机制，在被抢先前没有保证的运行时间；在同一优先级的各线程按时间片轮转算法进行调度；在多处理机系统中多个线程并行运行；线程调度的触发事件一个线程进入就绪状态，如一个刚创建的新线程；

mathics 是一个开源、免费、通用、跨平台的计算机代数系统（CAS），语法、函数和Mathematica几乎 完全一致。它使用Python开发，依赖于Sympy（python的符号计算库）、mpath、gmpy等，并且可以借助Sagemath获得更强的能 力。类似于Sage，mathics也有在线版本，可以通过浏览器进行各种运算。

Onyx 是一个无中心、支持云、容错的分布式计算系统 使用 Clojure 编写

分布式计算系统简介

这几年我比较少写 PHP 了. 有阵子很迷它, 但是因为工作关系, 把较多的时间花在网络封包和数据库的分析工作上. 而且因为年记较大了所以也很难找到写程序的工作多半都在做工程师的 “工头” 对于这几年 PHP 的变化我来不及参与.

IncludeOS 可以直接在 x86 虚拟硬件中运行 C++ 代码，完全使用 C++ 编写，无任何依赖。

云操作系统 允许你在任何地方访问你的数据。最基本的它可作为你的在线磁盘，用来存储任何的数据。使用云操作系统你可以创建办公项目、编辑文档以及几乎任何你在桌面上能完成的其他事情。

目的WAP门户云计算平台的目的就是为了解决海量数据的存储，检索和统计分析。范围无线音乐俱乐部WAP门户日志系统。术语云计算：是一种动态的易扩展的且通常是通过互联网提供虚拟化的资源计算方式，用户不需要了解云内部的细节，也不必具有云内部的专业知识，或直接控制基础设施。MapReduce：是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法