跳到主要内容
版本:2.12.0

版本发布信息


2.12.0

发布时间:2023年9月22日

新增功能和优化点

查询分析

  • 性能优化 :
    • 改进了包含较多索引字段的数据集的存储和访问性能
    • 改进了只访问选择性字段的查询的IO,相关查询提升了10%~300%的性能
    • 使用新的统计方法(Heavy Hitters algorithm)进行字段摘要,减少了字段摘要功能的资源消耗
    • 提高了物化视图元数据的访问效率和物化视图数据分片的读取性能
  • 新增多项查询分析函数
    • regex_like :支持字段的正则表达式匹配,以查找符合指定模式的数据
    • current_job_meta:获取查询的关键信息,包括查询的开始时间、结束时间和查询ID等
    • generate_time_buckets : 时间序列生成函数,可生成基于指定时间段和间隔的时间值序列
    • parse_regex: 新增支持抽取多个匹配值成为数组,同时新增支持抽取动态的字段名称
  • 支持查询结果的多模式展示,除了查询结果和可视化部分,新增原始数据的查看,您可以轻松切换到原始数据查看模式,访问查询中涉及的原始数据记录,更详细地了解数据的构成和内容,更便捷地进行后续分析。

数据导入

  • 支持对接全新自研的数据采集工具DataScale,丰富的开箱即用的数据类型支持

可视化和页面配置

  • 新增仪表板列表的收藏功能,方便用户快速定位关注的仪表板
  • 支持图表的跨仪表板复制功能
  • 主应用的概览页面升级,新增“收藏”和“快速上手”部分
  • 界面外观支持暗色模式(Beta版)和亮色模式,企业和个人可根据偏好自如切换
  • 其他优化
    • 查询历史的时间范围优化
    • 数据集列表页面提供“在查询中打开”的操作,可快速浏览数据集
    • 破坏性弹框的主按钮文字优化

告警

  • 全新的告警页面展示,有助于用户便捷地获取信息,高效进行后续处理
系统和其他
  • 产品展示应用的概览页面升级
  • 许可证优化:支持同名覆盖,升级时自动更新

缺陷修复

  • 修复了用 iframe 嵌入炎凰数据平台的页面时会出现 Internal Server Error 和 timeout 的问题
  • 修复了文件上传方式下预览数据会有不预期的长度截断的问题
  • 修复条件表达式(predicate)中引用窗口函数(window function)相关字段下推的问题

已知问题

  • 用 prometheus_exporter_source 直接 sink 到 vector, 鸿鹄后台会 crash , 需要在格式转化的高级模式中添加 metric_to_log transform
  • 深色模式下有些图表的文字颜色没有适配
  • jdbc表函数对 MySQL 的 int unsigned 类型返回报错
  • 对于带有聚合运算的查询,原始数据栏里事件展开结果只包含 _time 和 _message 以及聚合中涉及到的字段

2.11.0

发布时间:2023年7月27日

新增功能和优化点

查询分析

  • 性能优化 :
    • 改善了聚合计算在部份场景的性能
    • 改进了读取计算结果的性能
  • 支持 SHOW MATERIALIZED VIEWS ,用于查看已创建的物化视图及其详细信息
  • 全新的 All-In-One 的时间范围选择器,更简洁高效
  • 在高阶查询页面,简化了时间刷缩放功能的交互方式,无需点击选项,Hover 即开启时间框选择,放大查看查询结果

可视化和页面配置

  • 新增图表类型:桑基图,用于展示和分析复杂的数据流、路径或流程
  • 新增图表类型:拓扑图,用于展示和分析复杂系统、网络或关系的结构和连接方式
  • 仪表板标记功能持续加强
    • 新增查询标记功能,可保存图表查询结果的字段内容,用于信息的动态展示
    • 新增用户相关的预定义标记,$env.name$, $env.user_display_name$, $env.user.email$,以展示当前用户的信息
  • 图表配置项新增区域缩放功能,支持“鼠标滚轮缩放”和“滑动条选择缩放”属性,可更清晰的定位和展示所关注的数据
  • 单值趋势图多项优化:支持%表示增减量,文字颜色可按值范围显示,更新趋势指示器箭头等
  • 其他优化:预存查询详情页新增返回列表功能,词云图新增内置色板,界面上的功能描述文字优化
系统和其他
  • 数据生命周期管理加强,提供配置项,支持淘汰已归档数据
  • 告警新增支持html邮件模版
  • 优化了告警和仪表板定时报表(设定计划)的配置逻辑
  • 产品展示应用新增告警样例
  • 许可证优化:优化同名许可证的更新流程;优化过期的消息提示
  • 统一系统内各资源的命名规范,建立一致性并符合使用需求

缺陷修复

  • 修复了告警中查询执行的时间范围会受告警延迟操作影响的问题
  • 修复了使用 JDBC 表函数查询时,当结果为空时查询任务无法正常停止的问题
  • 修复了部分预存查询有一定概率执行失败的问题

已知问题

  • 对于在之前版本中通过双引号创建的大写名称的数据目录,无法进行 DROP 或 UPDATE 操作

2.10.0

发布时间:2023年6月6日

新增功能和优化点

查询分析

  • 新增选择性索引读取 (selective index reading)功能,能够提高字段索引访问效率。对于选择性低的范围查询或者模式匹配查询条件的性能尤其有帮助
  • Json解析加强
    • 新增表函数 parse_json_kv_table,支持对具有动态键(Dynamic Key)的 Json 数据的解析
    • 表函数 parse_json,新增参数 array_mode 和 max_depth,优化对一维及多维 Json 数据的解析
  • 新增标量函数:SQRT,CIDR_MATCH,TYPEOF
  • 支持通过 SQL 语法读取和设置系统变量:SHOW/SET GLOBAL VARIABLES
  • 对视图、物化视图和表函数等数据目录新增 comment on(注释)语法

数据导入

  • 新增 Syslog 数据采集页面配置,开箱即用,大大简化采集配置步骤
  • 优化数据集管理的设计:优化“禁止导入”、“删除数据集”功能的逻辑,提示信息更清晰。数据集容量新增 1GB 的最小设置

可视化和页面配置等

  • 仪表板多项展示优化,更紧凑高效:整体间距调整,输入框布局优化等
  • 仪表板丰富主题颜色选项,为折线图、柱形图、饼图等图表类型提供内置的多种图表色板
  • 仪表板输入标记(Token)多项优化
    • 仪表板 SQL 编辑器中提供标记名的提示,免去用户来回切换查找可用标记名的繁琐
    • 支持三类标记过滤器:|dq,|sq,|u;用于标记值的正确获取
    • 钻取标记支持 overwrite 输入标记和设置标记,以支持更丰富灵活的标记使用场景
  • 单值趋势图多项优化:支持值和背景色着色方式;标题字体大小可调整等
  • 富文本图表多项优化:图片和视频的大小可编辑,工具栏可隐藏以节省展示空间等
  • 预存查询页面展示最新结果集刷新的状态,您可快速获悉查询执行成功或失败的信息
  • 查询结果展示优化,并提供事件的复制按钮
  • 仪表板或查询页面关闭后,自动停止后台相关查询

缺陷修复

  • 修复了仪表板输入框的标签显示问题
  • 修复了富文本边框和 title 过大间距不美观的问题
  • 修复了 LDAP 服务器连接出问题时系统资源页面无响应的问题
  • 修复了升级过程中可能遇到 "unsupported version" 的问题

已知问题

  • 系统备份的内容中不包含连接器的配置和状态
  • 气泡图的 Y 轴说明和图表的描述有时会重叠

2.9.0

发布时间:2023年2月18日

新增功能和优化点

查询分析

  • 新增通配符搜索,支持'*'和'?'两种通配符
  • 查找表 (Lookup table) 支持 IP 地址的 CIDR 匹配类型(IP 网段),可将具体的 IP 匹配到对应的 IP 区间,更高效地对 IP 进行分析和分组管理
  • 支持多语句 DDL(DDL Multi-Statements),一次提交多条 SQL DDL 语句进行执行
  • 减少了 bloom filter 对 IO 的读取,提高了稀少关键字查询的性能
  • 新增 c-style(前缀'E'表示)和 unicode 编码 (前缀'U&'表示) 的转义规则
  • lead/lag 窗口函数的参数支持更多的输入类型,例如标量函数表达式、隐式类型转换、字段等

可视化和页面配置等

  • 查询结果页面新增展示配置选项,提供行号显示、行高、表头排序的配置,并实现了翻页配置的吸顶效果,更优雅地满足不同结果的浏览需求
  • 仪表板新增导出为图片功能,便于将可视化分析结果保存并分享,避免用户需要通过截屏/浏览器插件的形式来获取仪表板图片。导出图片会自动隐藏无展示效果无关的按钮、菜单和侧边栏
  • 仪表板的配置功能多方位加强,顺畅支持更多的使用场景
    • 仪表板新增设置标记功能,可快捷地配置不会频繁改动的标记,也可减少不必要的标记显示
    • 钻取链接的 URL 方式中,支持使用相对路径
    • 表格类型的图表支持隐藏列,隐藏的列也可用于配置钻取链接
    • 时间标记值的应用范围扩大,可被用于钻取链接的定义和查询类型的标记定义
  • 资源列表显示资源的总条目数,并优化了列内容过长时的展示

告警与应用

  • 告警的触发动作为邮件时,新增支持邮件密送,同时邮件接收/抄送/密送支持使用标记(token)
  • 产品展示应用(Showroom App)的升级,提供更多场景分析样例和功能展示
  • 应用的首页支持自定义配置,用户可按需配置以展示更针对性的内容

系统和其他

  • 鸿鹄帮助中心的优化
  • 内置用户首次登录提示修改初始密码,加强密码安全性
  • 新版本提示和功能简介

缺陷修复

  • 修复了单值趋势图在无趋势时下方留白过多的问题
  • 修复了调用list-event-sets或者get-event-set出现UnicodeDecodeError错误的问题
  • 修复了富文本中暴露了并不支持的钻取功能的问题
  • 修复了表函数管理页面在列内容很长的情况下的显示问题
  • 修复了parse_regex表函数里使用匿名capture group后无法抽取字段的问题

已知问题

  • 新版本中,antd升级到了 5.0版本,需要更新的css技术,要求浏览器版本大于等于Chrome 92。低于此版本可能会有页面展示问题

2.8.0

发布时间:2022年12月15日

新增功能和优化点

查询分析

  • 改进了查找关键字的查询(CONTAINS('foo'))性能,相关查询性能提升了10%~2000%不等,对于稀疏或者稀少的关键字查询性能提升更加明显
  • 提供对视图(View)的页面配置和管理(新建、编辑、删除、在查询中打开等操作),高阶查询中可将调试好的查询语句一键保存为视图
  • 优化预存查询执行逻辑:刷新结果集执行状态中,当有请求读取预存查询的缓存结果集时,返回之前已完成的结果集
  • 统一了建表的DDL语法,使用WITH关键字来指定表的属性

可视化和页面配置等

  • 仪表板新增基础查询(Base Search)功能。您可将会被多个查询使用的相同的查询逻辑配置为基础查询,减少重复查询,提升仪表板整体图表查询性能。
  • 仪表板查询时,提供查询任务的状态信息,以帮助用户更好的了解查询的进度
  • 提供图表的取消查询功能,用户可选择取消不必要的慢查询
  • 图表中支持根据查询时间范围自动适配时间聚合间隔(span)值,优化数据展示和性能
  • 折线图、面积图、条形图、柱状图和散点图等五种图表类型新增支持图表叠加配置,实现组合图的功能
  • 用户使用和体验优化
    • 支持图表组件的复制功能,可一键复制当前图表组件到当前仪表板
    • 优化了新建资源对象后的引导和定位,您可直接查看新建资源所在的行,无须额外过滤或排序来查找新建的资源
    • 新建图表时给出各种图表类型的说明和SQL样例语句,您无须来回切换文档,即可更好地选择和使用适合的图表类型来进行可视化

系统和其他

  • 使用手册新增术语表,便于用户快速理解和查阅相关概念和技术用语

缺陷修复

  • 修复了仪表板输入框来回切换时标签的显示问题
  • 修复了在某些情况下导出结果集操作会导致searcher crash的问题
  • 修复了查询任务页面,切换时间范围筛选器时,无法正常显示历史结果的问题
  • 修复了预存查询运行insert into kafka时,export里查询结果没有按照预期被删除的问题
  • 修复了前端显示较大字段信息时页面crash的问题
  • 修复了insert into时通过load_csv()对内置字段的overwrite逻辑不清晰的问题

2.7.1

发布时间:2022年11月21日

鸿鹄2.7.1是鸿鹄的首次正式对外发布。经历了多次内部版本的迭代,2.7的版本基于内部2.6的版本,有如下新功能和新特性。 特此感谢内测用户给予我们的宝贵反馈。

新增功能

查询分析

  • 新增百分位数分析的聚合函数percentile(),采用T-Digest算法,支持P50, P95, P99, P99.9等指标的计算
  • 新增time_bucket参数origin_timestamp,支持时间聚合时设置固定的起始时间
  • 时间范围选择器的固定时间模式下,默认对查询时间范围取整
  • 交互式编辑查询语句时,保留对应的图表的用户配置,提升了同步调整查询和可视化图表的体验
  • 支持SQL语句编辑时的批量comment和uncomment操作

可视化和报表页面配置等

  • 提供内置的产品展示应用-Yanhuang Showroom App,帮助用户快速上手
  • 新增仪表板的内部分享功能,用户可将选定的仪表板以只读模式分享给内部角色
  • 新增仪表板的复制功能
  • 提供表格图表的csv导出功能
  • 支持表格和单值趋势图的单值和范围着色模式
  • 用户体验优化:调整网格布局为仪表板默认布局;优化了仪表板操作按钮和图表操作按钮的布局;提供仪表板访问被禁止的具体信息

数据采集

  • 全新的外部数据源导入支持,轻松对接Kafka和Vector数据源

系统和其他

  • 最新提供macOS(x86_64)安装包
  • 减少鸿鹄中各组件的资源消耗,总体内存资源消耗减少50%左右
  • 新增鸿鹄帮助中心功能
  • 提供系统环境的兼容性检测信息
  • 优化产品使用手册,持续充实鸿鹄知识库

修复缺陷

  • 修复了在table chart中无法区分null和'null'的问题
  • 修复了在某些情况下图表的描述和数值显示有重合的问题
  • 修复了在某些情况下返回invalid格式表格的问题
  • 修复了页面排序不支持翻页的问题
  • 修复了当查询语句中有多个带having的CTE时查询结果混乱的问题
  • 修复了执行计划按照day of week计算时会滞后一天的问题
  • 修复了查询所有时间且带order by的慢查询可能会遇到文件被回收无法读数据的问题

已知问题

  • 选择重命名的字段加入到查询过滤条件时,无法获得期望结果