分布式数据处理引擎Apache Flink v1.1.0发布

jopen 8年前
   <p style="text-align:center"><img alt="" src="https://simg.open-open.com/show/7a91e857d7bc4ce0ce343b8f03841736.png" /></p>    <p>Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。再换句话说,Flink 会把所有任务当成流来处理,这也是其最大的特点。Flink 可以支持本地的快速迭代,以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点,如果要对比 Flink 和 Spark 的话,Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink,更容易出现 OOM 的原因(out of memory)。就框架本身与应用场景来说,Flink 更相似与 Storm。如果之前了解过 Storm 或者 Flume 的读者,可能会更容易理解 Flink 的架构和很多概念。</p>    <p style="text-align:center"><img alt="" src="https://simg.open-open.com/show/a8faca43b327f0f15b19c8f26a0be2a0.png" /></p>    <p style="text-align:center"><strong>Flink 的架构图</strong></p>    <h2>下载</h2>    <ul>     <li><a href="/misc/goto?guid=4958992900712867258" rel="nofollow"><strong>Source code</strong> (zip)</a></li>     <li><a href="/misc/goto?guid=4958992900831305495" rel="nofollow"><strong>Source code</strong> (tar.gz)</a></li>    </ul>