跳到主要内容
版本:2.13.0

采集Kafka数据

炎凰数据平台内置了采集Kafka数据的功能,用于采集外部Kafka系统中的数据。

数据源导入数据

  1. 进入炎凰数据平台,将鼠标移到左侧"数据管理"图标data_management, 选择”采集Kafka数据”,进入页面。 datasource_page

创建Kafka数据源

步骤:

  1. 点击新增外部数据源,选择Kafka数据源。
  2. 填入对应属性。 create_kafka_datasource
  3. 创建完连接器后,可以点击查询数据按钮来查询导入数据 action_search_data
信息

在创建 Kafka 数据源时,可以设置导入数据时的 “初始 Offset 策略 ”,灵活的指定不同的Kafka Topic 数据导入方案。

  • Offset 设为最小值:从 topic 的最开始导入数据。
  • Offset 设为最大值:从 topic 的最末尾导入数据。

默认从 topic 最末尾导入数据。

编辑数据源

步骤:

  1. 点击表格中右侧的编辑按钮来编辑一个已经建好的数据源。 edit_datasource

复制Kafka数据源

步骤:

  1. 点击表格中右侧的复制按钮来复制一个已经建好的Kafka数据源。 action_clone
  2. 在打开的新建数据源模态框中,默认为复制连接器的所有配置。需要填入复制的Kafka数据源的名称,按需更改相应的连接器配置参数。点击确定,创建新的Kafka数据源 action_clone

删除Kafka数据源

步骤:

  1. 点击表格中右侧的...按钮,在菜单中点击删除按钮来编辑一个已创建好的数据源 action_delete