0
点赞
收藏
分享

微信扫一扫

Flume的source、channel、sink分别都有哪些

杰森wang 2022-05-16 阅读 73


先来看下Flume的架构

Flume的source、channel、sink分别都有哪些_线程安全

Agent

Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。

Agent主要由Source、Channel、Sink3个部分组成。

Source

Source是负责接收数据到Flume Agent的组件。

Flume的source、channel、sink分别都有哪些_Flume_02

Channel

Channel是位于Source和Sink之间的缓冲区。因此,Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作。

Flume的source、channel、sink分别都有哪些_Flume_03

Sink

Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Flume的source、channel、sink分别都有哪些_线程安全_04



举报

相关推荐

0 条评论