logo

DataScale-数据采集工具

一款轻量级、高性能的数据采集工具

免费下载
DataScale实时采集、处理来自众多数据源的数据,并将数据导入炎凰数据平台

产品特色

快速对接各种数据源

提供直观的 Web UI 来管理数据管道,快速连接各种数据源,配置数据处理逻辑

集成开源数据采集器

集成多种开源数据采集器,支持丰富的开箱即用的数据源类型和完善的数据处理方法

易于调试数据采集逻辑

提供便捷的工具来调试数据采集配置和数据处理逻辑

支持自定义数据采集器

提供用户开发定制数据采集器的支持,以满足非通用的数据采集需求

集中管理规模化部署

提供易用的批量部署和集群管理功能

可观测性

提供更完善的数据管道的可观测性

新增功能:

  • 提供仅用于 worker 且更轻量级的 DataScale 安装包;
  • DataScale exec source 支持 crontab 方式定时执行任务;
  • DataScale file source 更新:
    • 页面中提供读取文件的 encoding 配置;
    • 页面中提供文件的 fingerprint 配置、新增 full_content_checksum 和 modification_time 两种文件全量采集的 fingerprint 策略;
    • 新增 trigger_wait_sec 配置,支持控制暂缓采集文件更新内容。

Bug fix:

  • DataScale throughput 存储和查询优化,避免大规模集群环境下流量查询超时以及占用容量过大问题;
  • 解决 worker 创建时通过配置文件的方式指定的 group ,但是在页面中显示该 group 未分配给任何 worker 的问题;
  • 解决在设置了 heartbeat jitter 配置的情况下,每次刷新 dataflow 时页面中显示的运行中的 worker 数量可能会存在不同的问题。
安装升级和使用请参见:
点击下列按钮下载DataScale 2.18.0
MacOS.tar.gz
CentOS.tar.gz
Windows.zip
一键开启您的数据平台