Intel 的 Aurora 超级计算机的架构组成，要想实现高达 18-45 亿亿次的性能（对比的 Mira 是目前的 HPC），Aurora 得使用新一代硬件，其中 Intel 已经证实 Xeon 处理

的地图应用结合起来，一个真实城市的呼吸与脉搏得以实时展现。这年他14岁。 15岁的时候，他在Mira数字出版公司找了第一份工作。由于编程能力超强，他很快成为不少30多岁同事的领导，而他的头衔只不过是夏季实习助理。

flume是怎么完成上面三件事情的，三个组件： source： 搜集信息 channel：传递信息 sink：存储信息 flume OG（ original generation初始版本 ）和 NG（

Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。Event 代表着一个数据流的最小

对于逻辑节点的区分、配置、使用非常复杂. □ agent、collector由source、sink组成,表示当前节点的数据从source传送到sink 以上相对于Flume NG来说: □ Flume NG只有一种角色节点：代理节点agent

channel , sink ,已经完成了主体的共有的可以抽象出来的功能，比如线程的同步互斥，消息的生产消费，处理时间间隔的控制，还有一些简单的source,channel and sink函数 下面是一个简单的配置文件:

以了)，然后配置source，channel，sink。 我这里agent source是spooldir ，channel是memory，sink是avro，三层类别详细说明见 flume 官网

--->Flume--->ElasticSearch。 2、整体架构 Flume主要分为三个组件：Source、Channel、Sink；数据流如下图所示： 1、Source负责日志流入，比如从文件、网络、Kafka等数据源

addProperty(FlumeConfiguration.java:998)] Processing:sink1 2012-11-29 10:18:12,130 (conf-file-poller-0) [INFO

graph_destroy(Graph); void graph_add_edge(Graph, int source, int sink); int graph_vertex_count(Graph); int graph_edge_count(Graph);

的区分、配置、使用一直以来都是使用者最头疼的地方。 agent、collector由Source、Sink组成，当前节点的数据是从Source传送到Sink的。 flume-og-01.png Flume NG Flume

Agent 是 Flume 的基本单位。每个 Agent 由 source 、 channel 、 sink 三类组件构成，如下图。其中 source 在这里的角色类似生产者，负责收集 agent 外部传

Signal 了： let (sink, signal) = Signal.empty() signal.subscribe { result in print(result) } sink(.success(100))

Flume性能相对比较低，主要有以下几点： ① 单线程。 Flume 每个 Agent 分为 source,channel,sink 等插件。每个插件都只启用单线程处理。如果任务是写数据库等 IO 操作，性能必然会被拖累。 ②source的Timer机制

channels = mem_channel flumeagent1.sinks = hive_sink # Define / Configure source flumeagent1.sources

PendingIntent)>($r6, $r11, $r12, $r13, $r14) c） source（风险产生点）与sink（风险触发点）点，使用flowdroid源码中提供的：SourceAndSink.txt，位于s

Flume 事件的批量处理 在上文中提到，Flume可以批量处理事件。 Batch Size是Sink或者客户端单次事务可以从通道中取得事件的最大值。调低Batch Size参数，会造成吞吐量的降低

dfs，jvm，rpc，mepred等。这些数据收集之后可以sink（通过context）到不同的目的地，比如文件，ganglia，等，也可以自 己实现一个context去sink这些数据到你指定的地方。 2：架构 基本上由四个部分构成：

的流，然后传输到Storage。其中，Agent和Collector均由两部分组成：source和sink，source是数据来源，sink是数 据去向。Flume使用两个组件：Master和Node，Node根据在Master

Connnect的应用。 Kafka Connnect有两个核心概念：Source和Sink。 Source负责导入数据到Kafka，Sink负责从Kafka导出数据，它们都被称为Connector。 当前Kafka