跳到主要内容
版本：2.14.0

版本发布信息

2.14.0​

发布时间：2024年01月24日

新增功能和优化点​

数据导入​

  • 优化了新建的数据源类型处于同步状态时的使用体验

查询分析​

  • 新增查询结果预览功能，对于非聚合查询和大部分的聚合查询结果，查询在进行中也可预览部分查询结果，无须等待查询完成才做结果的可视化处理；从而在仪表板上的刷新初始展示可达到秒级速度，极大地提升性能体验
  • JOIN 算子支持溢写到磁盘避免内存溢出，以处理更大的数据量
  • 字段摘要功能支持自适应采样，提升查询性能
  • 支持采样查询 Beta 版，可在查询语句中使用 SAMPLE 语法和对应算子来启用采样查询并配置采样率
  • 新增 PIVOT 语法，简洁地实现了列转置的能力，便于统计聚合，横向比较和数据重塑
  • 新增 GROUP BY TIME 扩展，简洁地实现了按时间间隔分组的功能
  • 新增标量函数
    • 提供支持 Lambda 表达式的高阶函数，用以对于数组字段进行映射过滤
      • array_map : 对数组中的每个元素按照 Lambda 表达式进行值的转换
      • array_filter : 对数据中的元素按照 Lambda 表达式进行过滤，仅保留符合过滤规则的数据
    • URL_DECODE : 对编码过的 url 字段进行解码
    • UNBASE64_STRING : 对 base64 编码过的字段进行解码
  • 其他优化
    • 增强了 jdbc 表函数错误信息的可读性
    • 统一了数值型字符串的排序行为

可视化和页面配置​

  • 新增查找表（Lookup Table）文件的在线编辑功能
  • 新增 JDBC 表函数页面配置，支持上传和管理 JDBC 驱动，并可在页面上配置 JDBC 数据源信息
  • 仪表板中图表的刷新机制优化，减少刷新期间的空白页面时间，提升性能体验
  • 仪表板新增自定义背景功能，用户可上传图片作为自定义的仪表板背景，实现个性化的展示效果
  • 仪表板的输入选择器的下拉框新增支持多选模式
  • 仪表板中支持 SQL 语句中使用时间输入标记值的开始时间和结束时间，从而可基于时间标记字段动态地进行查询条件筛选
  • 表格图表新增列宽的内容自适应和窗口自适应2种选项，无需逐个字段来调整列宽
  • 其他优化
    • 为查询页面中常用的自定义配置（查询模式、已选字段、页码等）提供保留机制，即使用户重新查询，相关的配置选项也会保留，无需每次都重新配置
    • 查询页面的时间选择器中，选择固定时间后，鼠标悬停可显示具体的时间范围信息
    • 仪表板导航新增面包屑，方便用户快速切换
    • 优化演示图表功能的入口，从图表面板区域挪至仪表板操作区域，更便于操作
    • 刻度盘新增单色模式

告警​

  • 告警的查看详情功能支持查看周期性执行的缓存结果集，而非只应用查询条件需要再次执行查询

系统和其他​

  • 支持 Apple Silicon Mac 架构
  • 系统配置中支持权限缺失资源的检查，并提供权限的一键式修复功能，无需重启系统
  • 实现在应用层面的资源权限隔离，用户可基于业务需要构建不同的应用，并在本应用下管理所属的各类资源（数据源类型，视图、查找表等）
  • 新增数据集的操作权限类型：数据删除。系统管理员(sys_admin)对非内置的数据集（不以下划线开头的数据集）有默认数据删除权限。管理员可为需要执行 SQL DELETE 操作的角色赋予该权限，从而加强删除数据操作的安全性，避免误删

缺陷修复​

  • 修复了查询任务的创建渠道缺少了 SERVICE 选项的问题
  • 修复了大数据量下跨表join查询出错的问题
  • 修复了内置的 nginx.access_log 数据源类型无法解析自定义配置字段的问题

已知问题​

  • 大数据量下，order by 查询如果启用查询预览，有可能遇到OOM，需要在 SQL 语句中将 enable_preview 设置为 false
  • 小概率情况下，无法从暗色模式切换到亮色模式，可手工清理浏览器 cookies
  • 行列布局时拖动表格图表会不预期地拖动下面的其他图表
  • 某些查询语句会不预期的返回多个 NULL，可以加 cast 来避免

2.13.0​

发布时间：2023年12月01日

新增功能和优化点​

查询分析​

  • 新一代查询引擎
    • 查询性能普遍提升，JOIN和LIMIT查询性能加倍
    • 新增SQL语法功能：VALUES，REPLACE，COLUMNS
  • 新增10+个数组函数（去重、过滤、排序、拆分等），更好的支持数组字段的处理
  • 排序算子支持外部排序，能够支持大于内存数量的数据进行排序

可视化和页面配置​

  • 基础查询功能完善，支持时间标记值
  • 仪表板输入标记的多项功能增强
    • 时间类型的输入标记支持高级模式，用户可根据业务逻辑，灵活配置多个自定义时间标记值
    • 选择器类型的输入标记支持首结果选项，默认使用查询结果中的第一个返回值，实现输入值的动态加载
  • 图表新增多项配置
    • 新增演示图表功能，支持图表放大和手动轮播，用户可更清晰方便地进行数据可视化的展示
    • 新增“标签轴字段”和“值轴字段”选项来配置X轴和Y轴的显示字段，以实现对选定字段的监控和对比
    • 支持不用于出图的数据列也可以在钻取时使用，方便用户查看图表时快速获得更全面的关联数据的展示
    • 新增三种空值连接模式：间隙，零，连接
  • 其他优化：
    • 统一系统中资源启用/禁用的设计，优化图表滑动条缩放功能的入口，优化用户信息页面等
    • 数据导入页面目录优化，新增一级目录：采集Kafka数据，通过Vector导入数据

告警​

  • 支持告警的复制，方便用户快速创建多个相似告警
  • 邮件告警提供默认的文字模版和html模版，并加入告警来源的信息

系统和其他​

  • 完善系统中各类认证信息的加密存储机制
  • 系统安全性配置：增强默认的系统密码强度等
  • 产品展示应用新增知识对象的介绍信息

缺陷修复​

  • 修复了图表所关联的基础查询没有随着输入标记值变化而即时刷新的问题
  • 修复了关联的选择器的默认值不能动态调整的问题
  • 修复了下数据量下的查询时 GROUP BY 出500错误的问题

已知问题​

  • 新的查询引擎中部分不保证输出顺序的算子输出顺序可能与原计算引擎不相一致，在需要保证顺序的计算中可能需要更新查询语句确保结果符合预期
  • 桑基图的纵向渐变色的不正确
  • 多查询节点配置下，查找表(Lookup table)内容在不同的节点上有一定概率不同步
  • 新建的数据源类型，需要一定的时间（默认1分钟）才能完成系统同步，达到实际可用

2.12.0​

发布时间：2023年9月22日

新增功能和优化点​

查询分析​

  • 性能优化 :
    • 改进了包含较多索引字段的数据集的存储和访问性能
    • 改进了只访问选择性字段的查询的IO，相关查询提升了10%~300%的性能
    • 使用新的统计方法(Heavy Hitters algorithm)进行字段摘要，减少了字段摘要功能的资源消耗
    • 提高了物化视图元数据的访问效率和物化视图数据分片的读取性能
  • 新增多项查询分析函数
    • regex_like :支持字段的正则表达式匹配，以查找符合指定模式的数据
    • current_job_meta：获取查询的关键信息，包括查询的开始时间、结束时间和查询ID等
    • generate_time_buckets ： 时间序列生成函数，可生成基于指定时间段和间隔的时间值序列
    • parse_regex: 新增支持抽取多个匹配值成为数组,同时新增支持抽取动态的字段名称
  • 支持查询结果的多模式展示，除了查询结果和可视化部分，新增原始数据的查看，您可以轻松切换到原始数据查看模式，访问查询中涉及的原始数据记录，更详细地了解数据的构成和内容，更便捷地进行后续分析。

数据导入​

  • 支持对接全新自研的数据采集工具DataScale，丰富的开箱即用的数据类型支持

可视化和页面配置​

  • 新增仪表板列表的收藏功能，方便用户快速定位关注的仪表板
  • 支持图表的跨仪表板复制功能
  • 主应用的概览页面升级，新增“收藏”和“快速上手”部分
  • 界面外观支持暗色模式（Beta版）和亮色模式，企业和个人可根据偏好自如切换
  • 其他优化
    • 查询历史的时间范围优化
    • 数据集列表页面提供“在查询中打开”的操作，可快速浏览数据集
    • 破坏性弹框的主按钮文字优化

告警​

  • 全新的告警页面展示，有助于用户便捷地获取信息，高效进行后续处理
系统和其他​
  • 产品展示应用的概览页面升级
  • 许可证优化：支持同名覆盖，升级时自动更新

缺陷修复​

  • 修复了用 iframe 嵌入炎凰数据平台的页面时会出现 Internal Server Error 和 timeout 的问题
  • 修复了文件上传方式下预览数据会有不预期的长度截断的问题
  • 修复条件表达式（predicate）中引用窗口函数（window function）相关字段下推的问题

已知问题​

  • 用 prometheus_exporter_source 直接 sink 到 vector, 鸿鹄后台会 crash , 需要在格式转化的高级模式中添加 metric_to_log transform
  • 深色模式下有些图表的文字颜色没有适配
  • jdbc表函数对 MySQL 的 int unsigned 类型返回报错
  • 对于带有聚合运算的查询，原始数据栏里事件展开结果只包含 _time 和 _message 以及聚合中涉及到的字段

2.11.0​

发布时间：2023年7月27日

新增功能和优化点​

查询分析​

  • 性能优化 :
    • 改善了聚合计算在部份场景的性能
    • 改进了读取计算结果的性能
  • 支持 SHOW MATERIALIZED VIEWS ，用于查看已创建的物化视图及其详细信息
  • 全新的 All-In-One 的时间范围选择器，更简洁高效
  • 在高阶查询页面，简化了时间刷缩放功能的交互方式，无需点击选项，Hover 即开启时间框选择，放大查看查询结果

可视化和页面配置​

  • 新增图表类型：桑基图，用于展示和分析复杂的数据流、路径或流程
  • 新增图表类型：拓扑图，用于展示和分析复杂系统、网络或关系的结构和连接方式
  • 仪表板标记功能持续加强
    • 新增查询标记功能，可保存图表查询结果的字段内容，用于信息的动态展示
    • 新增用户相关的预定义标记，$env.name$, $env.user_display_name$, $env.user.email$，以展示当前用户的信息
  • 图表配置项新增区域缩放功能，支持“鼠标滚轮缩放”和“滑动条选择缩放”属性，可更清晰的定位和展示所关注的数据
  • 单值趋势图多项优化：支持%表示增减量，文字颜色可按值范围显示，更新趋势指示器箭头等
  • 其他优化：预存查询详情页新增返回列表功能，词云图新增内置色板，界面上的功能描述文字优化
系统和其他​
  • 数据生命周期管理加强，提供配置项，支持淘汰已归档数据
  • 告警新增支持html邮件模版
  • 优化了告警和仪表板定时报表（设定计划）的配置逻辑
  • 产品展示应用新增告警样例
  • 许可证优化：优化同名许可证的更新流程；优化过期的消息提示
  • 统一系统内各资源的命名规范，建立一致性并符合使用需求

缺陷修复​

  • 修复了告警中查询执行的时间范围会受告警延迟操作影响的问题
  • 修复了使用 JDBC 表函数查询时，当结果为空时查询任务无法正常停止的问题
  • 修复了部分预存查询有一定概率执行失败的问题

已知问题​

  • 对于在之前版本中通过双引号创建的大写名称的数据目录，无法进行 DROP 或 UPDATE 操作

2.10.0​

发布时间：2023年6月6日

新增功能和优化点​

查询分析​

  • 新增选择性索引读取 (selective index reading)功能，能够提高字段索引访问效率。对于选择性低的范围查询或者模式匹配查询条件的性能尤其有帮助
  • Json解析加强
    • 新增表函数 parse_json_kv_table，支持对具有动态键（Dynamic Key）的 Json 数据的解析
    • 表函数 parse_json，新增参数 array_mode 和 max_depth，优化对一维及多维 Json 数据的解析
  • 新增标量函数：SQRT，CIDR_MATCH，TYPEOF
  • 支持通过 SQL 语法读取和设置系统变量：SHOW/SET GLOBAL VARIABLES
  • 对视图、物化视图和表函数等数据目录新增 comment on（注释）语法

数据导入​

  • 新增 Syslog 数据采集页面配置，开箱即用，大大简化采集配置步骤
  • 优化数据集管理的设计：优化“禁止导入”、“删除数据集”功能的逻辑，提示信息更清晰。数据集容量新增 1GB 的最小设置

可视化和页面配置等​

  • 仪表板多项展示优化，更紧凑高效：整体间距调整，输入框布局优化等
  • 仪表板丰富主题颜色选项，为折线图、柱形图、饼图等图表类型提供内置的多种图表色板
  • 仪表板输入标记（Token）多项优化
    • 仪表板 SQL 编辑器中提供标记名的提示，免去用户来回切换查找可用标记名的繁琐
    • 支持三类标记过滤器：|dq，|sq，|u；用于标记值的正确获取
    • 钻取标记支持 overwrite 输入标记和设置标记，以支持更丰富灵活的标记使用场景
  • 单值趋势图多项优化：支持值和背景色着色方式；标题字体大小可调整等
  • 富文本图表多项优化：图片和视频的大小可编辑，工具栏可隐藏以节省展示空间等
  • 预存查询页面展示最新结果集刷新的状态，您可快速获悉查询执行成功或失败的信息
  • 查询结果展示优化，并提供事件的复制按钮
  • 仪表板或查询页面关闭后，自动停止后台相关查询

缺陷修复​

  • 修复了仪表板输入框的标签显示问题
  • 修复了富文本边框和 title 过大间距不美观的问题
  • 修复了 LDAP 服务器连接出问题时系统资源页面无响应的问题
  • 修复了升级过程中可能遇到 "unsupported version" 的问题

已知问题​

  • 系统备份的内容中不包含连接器的配置和状态
  • 气泡图的 Y 轴说明和图表的描述有时会重叠

2.9.0​

发布时间：2023年2月18日

新增功能和优化点​

查询分析​

  • 新增通配符搜索，支持'*'和'?'两种通配符
  • 查找表 (Lookup table) 支持 IP 地址的 CIDR 匹配类型（IP 网段），可将具体的 IP 匹配到对应的 IP 区间，更高效地对 IP 进行分析和分组管理
  • 支持多语句 DDL（DDL Multi-Statements)，一次提交多条 SQL DDL 语句进行执行
  • 减少了 bloom filter 对 IO 的读取，提高了稀少关键字查询的性能
  • 新增 c-style（前缀'E'表示）和 unicode 编码 (前缀'U&'表示) 的转义规则
  • lead/lag 窗口函数的参数支持更多的输入类型，例如标量函数表达式、隐式类型转换、字段等

可视化和页面配置等​

  • 查询结果页面新增展示配置选项，提供行号显示、行高、表头排序的配置，并实现了翻页配置的吸顶效果，更优雅地满足不同结果的浏览需求
  • 仪表板新增导出为图片功能，便于将可视化分析结果保存并分享，避免用户需要通过截屏/浏览器插件的形式来获取仪表板图片。导出图片会自动隐藏无展示效果无关的按钮、菜单和侧边栏
  • 仪表板的配置功能多方位加强，顺畅支持更多的使用场景
    • 仪表板新增设置标记功能，可快捷地配置不会频繁改动的标记，也可减少不必要的标记显示
    • 钻取链接的 URL 方式中，支持使用相对路径
    • 表格类型的图表支持隐藏列，隐藏的列也可用于配置钻取链接
    • 时间标记值的应用范围扩大，可被用于钻取链接的定义和查询类型的标记定义
  • 资源列表显示资源的总条目数，并优化了列内容过长时的展示

告警与应用​

  • 告警的触发动作为邮件时，新增支持邮件密送，同时邮件接收/抄送/密送支持使用标记（token）
  • 产品展示应用(Showroom App)的升级，提供更多场景分析样例和功能展示
  • 应用的首页支持自定义配置，用户可按需配置以展示更针对性的内容

系统和其他​

  • 鸿鹄帮助中心的优化
  • 内置用户首次登录提示修改初始密码，加强密码安全性
  • 新版本提示和功能简介

缺陷修复​

  • 修复了单值趋势图在无趋势时下方留白过多的问题
  • 修复了调用list-event-sets或者get-event-set出现UnicodeDecodeError错误的问题
  • 修复了富文本中暴露了并不支持的钻取功能的问题
  • 修复了表函数管理页面在列内容很长的情况下的显示问题
  • 修复了parse_regex表函数里使用匿名capture group后无法抽取字段的问题

已知问题​

  • 新版本中，antd升级到了 5.0版本，需要更新的css技术，要求浏览器版本大于等于Chrome 92。低于此版本可能会有页面展示问题

2.8.0​

发布时间：2022年12月15日

新增功能和优化点​

查询分析​

  • 改进了查找关键字的查询(CONTAINS('foo'))性能，相关查询性能提升了10%~2000%不等，对于稀疏或者稀少的关键字查询性能提升更加明显
  • 提供对视图(View）的页面配置和管理（新建、编辑、删除、在查询中打开等操作），高阶查询中可将调试好的查询语句一键保存为视图
  • 优化预存查询执行逻辑：刷新结果集执行状态中，当有请求读取预存查询的缓存结果集时，返回之前已完成的结果集
  • 统一了建表的DDL语法，使用WITH关键字来指定表的属性

可视化和页面配置等​

  • 仪表板新增基础查询(Base Search)功能。您可将会被多个查询使用的相同的查询逻辑配置为基础查询，减少重复查询，提升仪表板整体图表查询性能。
  • 仪表板查询时，提供查询任务的状态信息，以帮助用户更好的了解查询的进度
  • 提供图表的取消查询功能，用户可选择取消不必要的慢查询
  • 图表中支持根据查询时间范围自动适配时间聚合间隔(span)值，优化数据展示和性能
  • 折线图、面积图、条形图、柱状图和散点图等五种图表类型新增支持图表叠加配置，实现组合图的功能
  • 用户使用和体验优化
    • 支持图表组件的复制功能，可一键复制当前图表组件到当前仪表板
    • 优化了新建资源对象后的引导和定位，您可直接查看新建资源所在的行，无须额外过滤或排序来查找新建的资源
    • 新建图表时给出各种图表类型的说明和SQL样例语句，您无须来回切换文档，即可更好地选择和使用适合的图表类型来进行可视化

系统和其他​

  • 使用手册新增术语表，便于用户快速理解和查阅相关概念和技术用语

缺陷修复​

  • 修复了仪表板输入框来回切换时标签的显示问题
  • 修复了在某些情况下导出结果集操作会导致searcher crash的问题
  • 修复了查询任务页面，切换时间范围筛选器时，无法正常显示历史结果的问题
  • 修复了预存查询运行insert into kafka时，export里查询结果没有按照预期被删除的问题
  • 修复了前端显示较大字段信息时页面crash的问题
  • 修复了insert into时通过load_csv()对内置字段的overwrite逻辑不清晰的问题

2.7.1​

发布时间：2022年11月21日

鸿鹄2.7.1是鸿鹄的首次正式对外发布。经历了多次内部版本的迭代，2.7的版本基于内部2.6的版本，有如下新功能和新特性。 特此感谢内测用户给予我们的宝贵反馈。

新增功能​

查询分析​

  • 新增百分位数分析的聚合函数percentile()，采用T-Digest算法，支持P50, P95, P99, P99.9等指标的计算
  • 新增time_bucket参数origin_timestamp，支持时间聚合时设置固定的起始时间
  • 时间范围选择器的固定时间模式下，默认对查询时间范围取整
  • 交互式编辑查询语句时，保留对应的图表的用户配置，提升了同步调整查询和可视化图表的体验
  • 支持SQL语句编辑时的批量comment和uncomment操作

可视化和报表页面配置等​

  • 提供内置的产品展示应用-Yanhuang Showroom App，帮助用户快速上手
  • 新增仪表板的内部分享功能，用户可将选定的仪表板以只读模式分享给内部角色
  • 新增仪表板的复制功能
  • 提供表格图表的csv导出功能
  • 支持表格和单值趋势图的单值和范围着色模式
  • 用户体验优化：调整网格布局为仪表板默认布局；优化了仪表板操作按钮和图表操作按钮的布局；提供仪表板访问被禁止的具体信息

数据采集​

  • 全新的外部数据源导入支持，轻松对接Kafka和Vector数据源

系统和其他​

  • 最新提供macOS(x86_64)安装包
  • 减少鸿鹄中各组件的资源消耗，总体内存资源消耗减少50%左右
  • 新增鸿鹄帮助中心功能
  • 提供系统环境的兼容性检测信息
  • 优化产品使用手册，持续充实鸿鹄知识库

修复缺陷​

  • 修复了在table chart中无法区分null和'null'的问题
  • 修复了在某些情况下图表的描述和数值显示有重合的问题
  • 修复了在某些情况下返回invalid格式表格的问题
  • 修复了页面排序不支持翻页的问题
  • 修复了当查询语句中有多个带having的CTE时查询结果混乱的问题
  • 修复了执行计划按照day of week计算时会滞后一天的问题
  • 修复了查询所有时间且带order by的慢查询可能会遇到文件被回收无法读数据的问题

已知问题​

  • 选择重命名的字段加入到查询过滤条件时，无法获得期望结果