产品
合作
动态
资源
加入我们
关于
中
En
登录
免费体验
中
En
DataScale
-数据采集工具
一款轻量级、高性能的数据采集工具
免费下载
产品视频
DataScale实时采集、处理来自众多数据源的数据,并将数据导入炎凰数据平台
产品特色
快速对接各种数据源
提供直观的 Web UI 来管理数据管道,快速连接各种数据源,配置数据处理逻辑
集成开源数据采集器
集成多种开源数据采集器,支持丰富的开箱即用的数据源类型和完善的数据处理方法
易于调试数据采集逻辑
提供便捷的工具来调试数据采集配置和数据处理逻辑
支持自定义数据采集器
提供用户开发定制数据采集器的支持,以满足非通用的数据采集需求
集中管理规模化部署
提供易用的批量部署和集群管理功能
可观测性
提供更完善的数据管道的可观测性
快速对接各种数据源
提供直观的 Web UI 来管理数据管道,快速连接各种数据源,配置数据处理逻辑
集成开源数据采集器
集成多种开源数据采集器,支持丰富的开箱即用的数据源类型和完善的数据处理方法
易于调试数据采集逻辑
提供便捷的工具来调试数据采集配置和数据处理逻辑
支持自定义数据采集器
提供用户开发定制数据采集器的支持,以满足非通用的数据采集需求
集中管理规模化部署
提供易用的批量部署和集群管理功能
可观测性
提供更完善的数据管道的可观测性
2.18.0
2.17.0
2.16.0
2.15.0
新增功能:
提供仅用于 worker 且更轻量级的 DataScale 安装包;
DataScale exec source 支持 crontab 方式定时执行任务;
DataScale file source 更新:
页面中提供读取文件的 encoding 配置;
页面中提供文件的 fingerprint 配置、新增 full_content_checksum 和 modification_time 两种文件全量采集的 fingerprint 策略;
新增 trigger_wait_sec 配置,支持控制暂缓采集文件更新内容。
Bug fix:
DataScale throughput 存储和查询优化,避免大规模集群环境下流量查询超时以及占用容量过大问题;
解决 worker 创建时通过配置文件的方式指定的 group ,但是在页面中显示该 group 未分配给任何 worker 的问题;
解决在设置了 heartbeat jitter 配置的情况下,每次刷新 dataflow 时页面中显示的运行中的 worker 数量可能会存在不同的问题。
安装升级和使用请参见:
DataScale知识库
点击下列按钮下载DataScale 2.18.0:
MacOS
.tar.gz
arm
CentOS
.tar.gz
x86_64
arm
Windows
.zip
x86_64
一键开启您的数据平台
立即体验
售 前 咨 询
社群
一键开启您的数据平台
立即注册