KafkaConnector
连接到Apache卡夫卡集群发送和接收消息。
典型的使用
- 数据对卡夫卡的话题Geoenrichment
- 从卡夫卡主题和其他消息流数据的汇总
- 互操作性与大数据分析平台
使用注意事项
- 该KafkaConnector连接到引导服务器的列表开始,但它可以连接到服务器进一步,因为他们被发现。它不连接的ZooKeeper实例直接。
配置
输入端口
该变压器接受任何功能。
输出端口
这台变压器的输出将取决于执行的操作有所不同。消息数据被呈现为特征的属性。
- 之后接收动作,输出特征代表从集群接收的消息。
- 之后发送动作,输出特征代表发送到群集消息。
- 之后获取元数据动作,输出特性表示集群的状态。
传入的特性是通过这个端口输出的。
参数
凭据来源 | 除了匿名访问之外,KafkaConnector还可以通过集群进行身份验证。使用web连接与FME集成得最好,但在某些情况下,您可能希望使用其他来源之一。
|
帐户 | 当凭据源为时可用网络连接。要创建一个Apache卡夫卡连接,单击“帐户”下拉框,选择“添加网络连接...”。 随后,连接将可以通过管理工具 - >选项FME ... - > Web连接。 |
用户名和密码 | 当凭据源为时可用嵌入式。用户名和密码可以直接在变压器,而不是在网络连接中指定。 |
安全协议 |
|
SASL机制 |
|
SSL CA证书 | 当使用SSL安全协议之一时,用于验证集群的SSL CA证书的可选路径 |
引导服务器(主机和端口)的列表来连接。看到了“bootstrap.servers”配置选项https://kafka.apache.org/documentation.html欲获得更多信息。
行动 | 的操作类型来执行。选项有:
|
剩余的可用参数取决于请求>操作参数的值。各种操作的参数详列如下。
主题
主题 |
主题列表接收来自。可以手动输入主题,也可以通过单击表中每行中的省略号交互式地选择主题。 |
接受行为
模式 |
两个消息接收选项:
|
最高每秒 |
在流模式下,该选项限制将每秒允许接收的消息的数量。离开领域的空白将允许连接器接受尽可能多的信息成为可能。 |
批量大小 |
在批量模式,指定每个批次读取的消息的数量。 |
接收选项
消费群ID |
该消费群体的KafkaConnector是的一部分。有关的消费群体更多的信息,请参阅卡夫卡文档:https://kafka.apache.org/documentation/#intro_consumers |
起始偏移量 |
默认的起始偏移量可以指定:
|
划分 |
什么时候起始偏移量设定为习惯时,指定分区到连接器分配给 |
抵消 |
什么时候起始偏移量设定为习惯时,指定的偏移量,开始从接收 |
主题
主题 |
要发送的主题列表。可以手动输入主题,也可以通过单击表中每行中的省略号交互式地选择主题。 |
发送选项
创建丢失的主题 |
如果是被选中,主题将被自动如果他们不存在创建。 |
分区数 |
在创建主题时,将使用这个数量的分区创建新主题。 |
复制因子 |
在创建主题时,新主题将与此复制因子被创建。 |
“消息选项”部分用于发送和接收消息,但有些选项仅在发送时可用。
消息密钥 |
要为消息键设置的内容。消息键通常用于分区和日志压缩。仅供发送。 |
消息值 |
实际的消息数据。这必须是一个字符串或二进制值。仅供发送。 |
消息模式 |
消息模式类型可以是任意一种
有关Avro模式的更多信息,请参见https://avro.apache.org/docs/current/spec.html。 |
编码 |
对于发送,编码使用文本输入值转换为二进制。数值属性将在编码之前被转换成数字的文本表示。如果FME二进制被选择时,字符串将被编码为UTF-8,二进制属性将被发送原样,以及其他属性类型将不被支持。 对于接收的_键和_value属性包含默认情况下从服务器接收的原始字节。如果选择了编码,连接器将尝试使用选择的编码将接收到的消息的值解码到一个字符串。 当简单的被选择用于消息模式。 |
模式注册表 |
当使用Avro模式时,模式注册表的URL。看到https://docs.confluent.io/current/schema-registry/index.html使用汇合架构注册表中,架构管理的更多信息。 |
主要模式 |
基于JSON-Avro的模式来使用的消息键。仅供发送。 |
值模式 |
用于消息值的基于json的Avro模式。仅供发送。 |
元数据选项
获得的元数据只产生一个输出属性:_metadata。此属性包含JSON格式的元数据。格式为群集,经纪人,主题和分区的元数据的聚集。
{
“CLUSTER_ID”:<簇ID>,
“controller_broker_id”:<控制器代理ID>,
“经纪人”:
{
"id": < broker id >,
“宿主”:<主机>,
“端口”:<端口>
},
…
]
“主题”:[
{
“名字”:<主题名称>,
“分区”:[
{
"id": <分区id >,
“leader_broker_id”:<前导经纪人ID>,
“replica_broker_ids”:[<副本代理ID>,...],
“in_sync_replicas”:[<在同步复制品ID>,...],
},
…
]
},
…
]
}
对于所有操作,都可以提供额外的高级选项。对于发送和接收,这些选项分别称为生产者和消费者。
选项被提供作为JSON对象,并匹配选项中的记录https://docs.confluent.io/current/clients/librdkafka/CONFIGURATION_8md.html。请注意,并非所有选项都可以在连接器的使用。
例
{
“socket.timeout.ms”:100,
“检查。crc”:真正的
}
如果与由连接器内部产生的那些的任何用户提供的选项的冲突,将要使用的用户提供的选项。例如,通常FME套“bootstrap.servers”但如果高级选项包含“bootstrap.servers”还有,该值将被用来代替。
以下属性可以被选择以包括在输出特征。输出的每个特征表示被发送或接收的消息。
_键 |
信息的关键 |
_value |
该消息的值 |
_len |
以字节为单位的消息的长度 |
_offset |
该消息的分区中的所述偏移 |
_timestamp |
来自集群的消息时间戳。根据服务器配置的不同,这个时间戳的含义可能略有不同。 |
_topic |
接收或发送消息的主题 |
_partition |
消息存储的分区 |
_headers {}。名称 |
结构化列表属性,包含接收到的消息的标题键和值。注意,发送消息的标头不可用。 |
编辑变压器参数
使用一组菜单选项,变压器参数可以通过引用在工作区中的其它元件来分配。更先进的功能,如高级编辑,算术编辑,也是一些变压器可用。要访问这些选项的菜单,点击适用的参数旁边。欲了解更多信息,请参阅变压器参数菜单选项。
定义值
有几种方法可以定义在转换器中使用的值。最简单的方法是简单地键入一个值或字符串,其中可以包括各种类型的函数,如属性引用、数学和字符串函数以及工作区参数。有许多工具和快捷方式可以帮助构造值,通常可以从value字段附近的下拉上下文菜单中获得。
使用文本编辑器
文本编辑器提供了一种方便的方法来构造来自各种数据源(如属性、参数和常量)的文本字符串(包括正则表达式),其中直接在参数中使用结果。
使用算术编辑器
算术编辑器提供了一个方便的方法来构造从各种数据源,如属性,参数和特征函数,其中结果被直接使用的参数内的数学表达式。
有条件的值
根据通过或失败的一个或多个测试条件设置值。
内容
表达式和字符串可以包括多个功能,字符,参数等。
当设定值 - 无论是直接在参数输入或使用的编辑之一构造 - 字符串和表达式包含字符串,数学,日期/时间或FME特征函数将具有评价这些功能。因此,这些功能的名称(在形式@ <FUNCTION_NAME不应将>)用作文字字符串值。
对话框选项 - 表
与表样式参数变压器具有用于填充和操作价值的附加工具。
行重新排序 |
启用一旦你点击了一个行项目。选项包括:
|
剪切、复制和粘贴 |
启用一旦你点击了一个行项目。选项包括:
剪切、复制和粘贴可以在变压器内部使用,也可以在变压器之间使用。 |
过滤 |
开始输入一个字符串,矩阵将只显示匹配这些字符的行。搜索所有列。这只影响转换器中属性的显示—它不改变输出的属性。 |
进口 |
导入填充了一组新的属性表从数据集读取。具体应用的变压器之间变化。 |
重置/刷新 |
通常将表重置为其初始状态,并可能提供其他选项来删除无效条目。变压器的性能各不相同。 |
注意:并不是所有的工具都适用于所有的变压器。
参考
加工行为 |
|
功能持有 |
没有 |
依赖关系 | Apache卡夫卡 |
FME授权级别 | FME基础版及以上 |
别名 | ApacheKafkaConnector |
历史 | FME 2019.0发布: |
FME社亚搏国际在线官网区
该FME社区是为亚搏国际在线官网演示,入门指南,文章,FAQ,以及更多的地方。解答您的问题,向其他用户学习,并建议,投票,并在新的功能注释。
搜索有关KafkaConnector所有结果在FME社区。亚搏国际在线官网
实例可以包含开放政府许可协议进行许可信息 - 温哥华