跳到主要内容
版本:2.14.0

采集Kafka数据

炎凰数据平台内置了采集Kafka数据的功能,用于采集外部Kafka系统中的数据。

数据源导入数据

  1. 进入炎凰数据平台,将鼠标移到左侧"数据管理"图标data_management, 选择”采集Kafka数据”,进入页面。 datasource_page

创建Kafka数据源

步骤:

  1. 点击新增外部数据源,选择Kafka数据源。
  2. 填入对应属性。 create_kafka_datasource
  3. 创建完连接器后,可以点击查询数据按钮来查询导入数据 action_search_data
信息

在创建 Kafka 数据源时,可以设置导入数据时的 “初始 Offset 策略 ”,灵活的指定不同的Kafka Topic 数据导入方案。

  • Offset 设为最小值:从 topic 的最开始导入数据。
  • Offset 设为最大值:从 topic 的最末尾导入数据。

默认从 topic 最末尾导入数据。

编辑数据源

步骤:

  1. 点击表格中右侧的编辑按钮来编辑一个已经建好的数据源。 edit_datasource

复制Kafka数据源

步骤:

  1. 点击表格中右侧的复制按钮来复制一个已经建好的Kafka数据源。 action_clone
  2. 在打开的新建数据源模态框中,默认为复制连接器的所有配置。需要填入复制的Kafka数据源的名称,按需更改相应的连接器配置参数。点击确定,创建新的Kafka数据源 action_clone

删除Kafka数据源

步骤:

  1. 点击表格中右侧的...按钮,在菜单中点击删除按钮来编辑一个已创建好的数据源 action_delete
信息

使用kafka导入数据时,对于使用数据源类型进行字段抽取,有一定限制:

  • 自定义ingestion time数据源类型:暂不支持自定义ingestion time数据源类型的字段抽取,因此配置的ingestion_time_extractioningestion_time_field_names 数据源类型属性,在通过kafka导入数据时无法生效。
  • csv数据源类型:暂不支持对csv数据源类型的字段抽取,对于导入的数据指定_datatypecsv将无法生效。
  • 多行文本合并: 暂不支持导入时做多行文本合并,对于导入的数据,配置的firstline_format数据源类型属性将无法生效。
  • 丢弃_message字段: 暂不支持导入时对_message字段做丢弃处理,对于导入的数据,配置的discard_raw_message数据源类型属性将无法生效。