资讯频道 → 开源软件
阅读更多

1顶
0踩

开源软件

原创新闻 Apache Flink ：回顾2015，展望2016

2016-02-16 15:56 by 副主编 mengyidan1988 评论(0) 有5973人浏览
apache Flink

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

回顾2015，总体而言Flink在功能方面已经从一个引擎发展成为最完整的开源流处理框架之一。与此同时，Flink社区也从一个相对较小，并且地理上集中的团队，成长为一个真正的全球性的大型社区，并在Apache软件基金会成为最大的大数据社区之一。接下来看看一些有趣的统计数据，其中就包括Flink每周最繁忙的时间是星期一，肯定出乎很多人所料：）

社区发展

首先，我们从Flink的GitHub库中看一些简单的统计。在2015年，Flink社区规模扩大了一倍，人数从大约75名贡献者超过150名。从2015年2月至2015年12月，其github库的复制数量超过了三倍，从160增长至544，而其star数目的增长也接近3倍，从289增至813。



尽管Flink创建于德国柏林，然而现在其社区遍布全球，拥有来自北美，欧洲以及亚洲的许多贡献者。在著名线下交友网站meetup.com上做一个简单的关于提及Flink作为重点领域的组织的搜索，搜索结果表明全世界有16个这样的组织：



2015 Flink 推进会

毫无疑问，对于Flink而言，2015年的最重要的事件之一就是10月份在柏林举办的Flink 推进会，这是Apache Flink的首次会议。来自谷歌，MongoDB，布依格斯电信，NFLabs，Euranova，RedHat，IBM，华为，Intel，爱立信，Capital One，Zalando，Amadeus，the Otto Group和ResearchGate的250多名的参会者（大约一半总部位于德国以外），参加了超过33的技术会谈。如果你想了解这些技术会议的内容，可以通过Flink Forward网站查看相关幻灯片和视频。



有趣的是，在 2016年 EMEA Hadoop峰会已提交的议题和摘要中， 提及Flink的高达17个议题：



趣味统计：开发人员（提交者）何时提交代码？

为了更深入的了解发生在Flink社区的事情，让我们在这个项目的 git 日志上做一些分析:-) ，最简单的做法是在 git 库中统计2015年提交的总数目。运行如下代码： 
git log --pretty=oneline --after=1/1/2015  | wc -l

2015年Flink git库总共产生2203次提交。为了更深入地探究提交者的行为，我们将使用一个称为gitstats的开源工具进行分析，这将会带来一些有趣的统计结果。你可以通过以下四个简单的步骤来创建并更多了解：

1.从 project homepage..下载gitstats，举个例子：在OS X上使用自带软件，键入: 
brew install --HEAD homebrew/head-only/gitstats

2.克隆Apache Flink git库: 
git clone git@github.com:apache/flink.git

3.利用gitstats产生统计数据: 
gitstats flink/ flink-stats/

4.在你常用的浏览器中（例如：chrome）查看统计页面： 
chrome flink-stats/index.html

首先，我们可以观察到从Apache项目孵化开始，Flink的源代码行数一直平稳增长，在2015年，其代码库几乎翻了一番，源代码行数从500,000增至900,000。



当Flink的开发者提交代码时，可以发现一个有趣的现象，到目前为止，代码都是集中在周一下午进行提交。



功能时间图

下面是一个（非详尽）的时间顺序图，用于显示在2015年，Flink以及Flink生态系统新增了哪些主要功能：



2016年发展蓝图

Flink社区已经开始讨论今后Flink的发展蓝图，下面列举一些主要内容：

流式作业运行时伸缩：流式作业需要不间断运行，并且需要对一个不断变化的环境作出反应。运行时伸缩意味着为了支持特定的服务等级协议，从而动态地增加和减少作业的并行度，或者对输入的吞吐量变化作出反应。

针对静态数据集和数据流的SQL查询：用户以Flink 表 API 为基础，可以通过编写SQL语句查询静态数据集，以及针对数据流进行查询从而连续产生新的结果。

有托管内存支持的流运算：目前，流运算像用户自定义状态和窗口都是由JVM堆对象支持。将这些内容移至Flink托管内存会增加溢出到磁盘的能力，垃圾回收效率的能力，从而可以更好地控制内存的使用。

检测时间事件模式库：在流处理中经常要检测一个时间戳的事件流模式。Flink通过事件时间，对此进行了支持，利用库的形式可以实现很多诸如此类的操作。

对Apache Mesos以及动态资源YARN的支持：同时支持Mesos 以及 YARN，包括动态分配和资源释放，从而获得更多资源弹性（包括批处理和流式处理）。

安全性：对TaskManagers 和 JobManager之间的信息交换以及workers之间的数据交换连接，都进行加密。

更加丰富的流式连接、更多的运行时度量以及连续数据流API增强：支持更多的源和汇（例如，Amazon Kinesis，Cassandra，Flume，等等），给用户提供更多的度量指标，并提供持续改进的数据流API。

如果你对这些功能感兴趣，强烈建议去查看下当前的草案，并加入 Flink 邮件列表讨论。

原文：Flink 2015: A year in review, and a lookout to 2016
译者：郭亚和，从事大数据（spart/storm/hadoop/hbase）相关运维、分析等工作。
  • 大小: 70.7 KB
  • 大小: 59.6 KB
  • 大小: 113 KB
  • 大小: 103.7 KB
  • 大小: 102.2 KB
  • 大小: 74.1 KB
  • 大小: 74.1 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 回顾 | Apache Flink 1.9 版本新特性强势预告！（内含PPT下载链接）

    6月29日，Apache Flink Meetup 北京站圆满落幕，Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本，社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flink 1.9 版本新特性。 ▼ ...

  • Apache Flink在 bilibili 的多元化探索与实践

    简介：bilibili 万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 ...

  • 年度回顾 | 2019 年的 Apache Flink

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink ...

  • 年度回顾 | 2019 年的 Apache Flink（文末有福利）

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 ticke...

  • Apache Flink不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon ...

  • Apache Flink 在 bilibili 的多元化探索与实践

    摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。...

  • 精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）

    9 月 21 日下午，2019 年度最后一场 Meetup 在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的 Flink 应用实践、贝壳找房的实时...

  • Apache Paimon 流式数据湖 V 0.4 与后续展望

    阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。

  • Apache Flink 不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon Kin...

  • 安卓选择器类库，包括日期及时间选择器（可用于出生日期、营业时间等）

    安卓选择器类库，包括日期及时间选择器（可用于出生日期、营业时间等）、单项选择器（可用于性别、民族、职业、学历、星座等）、二三级联动选择器（可用于车牌号、基金定投日期等）、城市地址选择器（分省级、地市级及区县级）、数字选择器（可用于年龄、身高、体重、温度等）、日历选日期择器（….zip

  • 整个系统采用 Java 语言基于 Spring 全家桶，与MySQL数据库等相结合开发

    虽然现如今电商行业发展迅速，平台成熟，但是小的个体商家想要在头部电商平台中交易还是代价很高，各种供应链拖欠货款层出不穷，当客户和平台由于商品问题产生纠纷后，平台整体会倾向于客户处理，总之，还是要有自己的商城系统，构成所谓的两条腿发展，做到既可以利用第三方平台销售，也需要自己建立平台。我们开发的乐优商城，具备全品类商品的买卖能力，并且组建了一整套高性能服务，可以实现高并发高可用，满足电商的各种促销。为中小企业全方位解决搭建交易平台的难题。 乐优商城开发功能目标： 1、 商品管理模块：实现商品分类，品牌，规格参数，商品自身管理，商 品的上架，下架处理。 2、 搜索系统：基于 elasticSearch 实现商品搜索，搜索自动提示，高亮， 排序，搜索过滤。 3、登录系统：实现用户的登录以及登出，过期时间刷新。 4、购物车系统：基于 SpringData 及 MongoDB 实现购物车增删改查。 5、下单系统：下单减库存，使用分布式事务解决方案 Seata 6、支付系统：调用第三方电子支付平台完成支付及回调，动态修改订单 状态为已支付，为后续发货物流，做好保障工作。

  • 毕业设计+Python+基于OpenCV的交通路口红绿灯控制系统设计+Sqlite +PyCharm 8.zip.zip

    本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目的难度比较适中，内容都是经过助教老师审定过的，应该能够满足学习、使用需求，如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主，博主会第一时间给您解答！！！ 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目的难度比较适中，内容都是经过助教老师审定过的，应该能够满足学习、使用需求，如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主，博主会第一时间给您解答！！！ 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目的难度比较适中，内容都是经过助教老师审定过的，应该能够满足学习、使用需求，如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主，博主会第一时间给您解答！！

  • Java毕业设计-基于Springboot+Vue水果购物网站源码+数据库+PPT文档+演示视频（高分项目）.zip

    Java毕业设计-基于Springboot+Vue水果购物网站源码+数据库+PPT文档+演示视频（高分项目）.zip该项目是个人高分毕业设计项目源码，已获导师指导认可通过，答辩评审分达到97分，在window10/11测试环境严格调试，下载即用，确保可以运行，部署教程齐全，也可以作为期末作业。 Java毕业设计-基于Springboot+Vue水果购物网站源码+数据库+PPT文档+演示视频（高分项目）.zip该项目是个人高分毕业设计项目源码，已获导师指导认可通过，答辩评审分达到97分，在window10/11测试环境严格调试，下载即用，确保可以运行，部署教程齐全，也可以作为期末作业。 Java毕业设计-基于Springboot+Vue水果购物网站源码+数据库+PPT文档+演示视频（高分项目）.zip该项目是个人高分毕业设计项目源码，已获导师指导认可通过，答辩评审分达到97分，在window10/11测试环境严格调试，下载即用，确保可以运行，部署教程齐全，也可以作为期末作业。Java毕业设计-基于Springboot+Vue水果购物网站源码+数据库+PPT文档+演示视频（高分项目

  • 浙江财经大学东方学院-论文PPT模板我给母校送模板作品.pptx

    PPT模板，答辩PPT模板，毕业答辩，学术汇报，母校模板，我给母校送模板作品，周会汇报，开题答辩，教育主题模板下载。PPT素材下载。

  • node-v13.13.0-linux-armv7l.tar.xz

    Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

  • 修复windows系统库软件

    windows系统，安装软件后，经常会遇到缺少系统库的情况，通常有三种方法 方法2：修复系统库。双击运行这个软件即可自动修复。

  • 基于matlab的说话人语音识别源码+PPT+报告（优质项目）.zip

    基于matlab的说话人语音识别源码+PPT+报告（优质项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！ 基于matlab的说话人语音识别源码+PPT+报告（优质项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！ 基于matlab的说话人语音识别源码+PPT+报告（优质项目）.zip个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码、该项目可以直接作为毕设使用。项目都经过严格调试，确保可以运行！基于matlab的说话人语音识别源码+PPT+报告（优质项目）.zip个人经导师指导并认可通过的98分毕业

  • 2020年美国大学生数学建模竞赛C题代码.zip

    最全的数学建模美赛C题和代码、大量刷题题库、逻辑清晰易于学习

  • 2024年全球无尘料斗装载机行业总体规模、主要企业国内外市场占有率及排名.docx

    2024年全球无尘料斗装载机行业总体规模、主要企业国内外市场占有率及排名

Global site tag (gtag.js) - Google Analytics