Flume 介绍

ArthurGragg 3年前
   <h2><strong>Flume OG</strong></h2>    <p>Flume OG:Flume Original Generation,初代Flume。</p>    <p>由三种角色构成:代理点(agent)、收集节点(collector)、主节点(master)</p>    <ul>     <li>agent 从各个数据源收集日志数据,将收集到的数据集中到 collector,然后由收集节点汇总存入 hdfs。</li>     <li>master 负责管理 agent,collector 的活动。</li>     <li>agent、collector 都称为 node,node 的角色根据配置的不同分为 logical node(逻辑节点)、physical node(物理节点)。对 logical nodes 和 physical nodes 的区分、配置、使用一直以来都是使用者最头疼的地方。</li>     <li>agent、collector由Source、Sink组成,当前节点的数据是从Source传送到Sink的。</li>    </ul>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/58b116f6e35cd4509a81d6b00cd98d6d.png"></p>    <ul>     <li> <p style="text-align: left;">flume-og-01.png</p> <h2 style="text-align: left;"><strong>Flume NG</strong></h2> Flume NG:Flume New Generation</li>     <li>NG只有一种角色节点:代理点(agent)。</li>     <li>没有collector、master节点。这是核心组件最核心的变化。</li>     <li>去除了 physical nodes、logical nodes 的概念和相关内容。</li>     <li>agent 节点的组成也发生了变化。NG agent 由 source、sink、channel 组成。</li>     <li style="text-align: center;">NG删减了角色,脱离了对Zookeeper的依赖<br> <img src="https://simg.open-open.com/show/64c224e2d31062fc418d23a0743204de.png"> <p>flume-ng.png</p> <h2 style="text-align: left;"><strong>Flume NG分析</strong></h2> <h2 style="text-align: left;"><strong>基本概念</strong></h2> </li>     <li>Event:一个数据单元,带有一个可选的消息头。</li>     <li>Flow:Event从源点到达目的点的迁移的抽象。</li>     <li>Client:操作位于源点处的Event,将其发送到Flume Agent。</li>     <li>Agent:一个独立的Flume进程,包含组件Source、Channel、Sink。</li>     <li>Source:用来消费传递到该组件的Event ,存入channel中。</li>     <li>Channel:中转Event的一个临时存储,保存有Source组件传递过来的Event。</li>     <li>Sink:从Channel中读取并移除Event,将Event传递到Flow Pipeline中的下一个Agent(如果有的话)。 <h2><strong>数据流:</strong></h2> Flume 的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据:当sink写入失败后,可以自动重启,不会造成数据丢失,因此很可靠。<br> Flume 传输的数据的基本单位是 Event,如果是文本文件,通常是一行记录,这也是事务的基本单位。Event 从 Source,流向 Channel,再到 Sink,本身为一个 byte 数组,并可携带 headers 信息。Event 代表着一个数据流的最小完整单元,从外部数据源来,向外部的目的地去。 <h2><strong>核心组件:</strong></h2> <h3><strong>Source</strong></h3> </li>     <li>ExecSource: 以运行 Linux 命令的方式,持续的输出最新的数据,如 tail -F 文件名 指令,在这种方式下,取的文件名必须是指定的。 ExecSource 可以实现对日志的实时收集,但是存在Flume不运行或者指令执行出错时,将无法收集到日志数据,无法保证日志数据的完整性。</li>     <li>SpoolSource: 监测配置的目录下新增的文件,并将文件中的数据读取出来。需要注意两点:拷贝到 spool 目录下的文件不可以再打开编辑;spool 目录下不可包含相应的子目录。SpoolSource无法实现实时的收集数据,但可以设置以分钟的方式分割文件,趋于实时。 <h3><strong>Channel</strong></h3> Memory Channel, JDBC Channel , File Channel,Psuedo Transaction Channel。比较常见的是前三种 channel。</li>     <li>MemoryChannel 可以实现高速的吞吐,但是无法保证数据的完整性。</li>     <li>MemoryRecoverChannel 在官方文档的建议上已经建义使用FileChannel来替换。</li>     <li>FileChannel保证数据的完整性与一致性。在具体配置FileChannel时,建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘,以便提高效率。<br> <img src="https://simg.open-open.com/show/863781a25ccfbe9f015e34f2341629f9.png"> <p style="text-align: center;">flume-channel.png</p> <h3 style="text-align: left;"><strong>Sink</strong></h3> <img src="https://simg.open-open.com/show/8a700c93741afffcc91e5c705993f47f.png"> <p>flume-sink.png</p> <h2 style="text-align: left;"><strong>可靠性</strong></h2> 在Flume NG中,可靠性指的是在数据流的传输过程中,保证events的可靠传递。<br> 在Flume NG中,所有的events都保存在Agent的Channel中,然后被发送到数据流下一个Agent或者最终的存储服务中。当且仅当它们被保存到下一个Agent的Channel中,或者被保存到最终的存储服务中。这就是Flume 提供数据流中点到点的可靠性保证的最基本的单跳消息语义传递。<br> 首先,Agent间的事务交换。Flume使用事务的办法来保证events的可靠传递。Source和Sink分别被封装在事务中,这些事务由保存event的存储提供或者由Channel提供。这就保证了event在数据流的点对点传输中是可靠的。在多级数据流中,如下图,上一级的Sink和下一级的Source都被包含在事务中,保证数据可靠地从一个Channel到另一个Channel转移。</li>    </ul>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/e4bbe9562004db47f03391cd669b66d2.png"></p>    <p style="text-align: center;">flume-transaction.png</p>    <p>下图A:正常情况下的 events流程。<br> 下图B:Agent2 跟central event store失联,Agent2提交的事务失败,将events缓存起来。<br> 下图C:重新恢复时,再恢复失联之前的任务以及后续的events发送。</p>    <p style="text-align: center;"><br> <img src="https://simg.open-open.com/show/c86a55f9776eeac8e911d24e7aa345cf.png"></p>    <p style="text-align: center;">flume-trans-example.png</p>    <h2><strong>高可用</strong></h2>    <p style="text-align: center;">如下图所示,Agent1中,只有要有一个Sink组件可用,events就被传递到下一个组件,如果一个Sink能成功处理Event(事务完成),则会加入到一个Pool中, 否则,则会从Pool中移除,并计算失败次数,设置惩罚因子。所以,如果某一个Flow中某一层的Agent只有一个,或者全部宕机,可能导致这些Events被存储在流水线上最后一个存活节点。<br> <img src="https://simg.open-open.com/show/5a34919f03233906a3d74929ad9f2422.png"></p>    <p style="text-align: center;">flume-available.png</p>    <p> </p>    <p>来自:http://www.jianshu.com/p/5fbf57980b87</p>    <p> </p>