TimeAudio: Bridging Temporal Gaps in Large Audio-Language Models

文章主要内容与创新点总结

一、主要内容

现有大型音频语言模型（LALMs）在对话式问答等任务中表现出较强的音频内容理解能力，但在时间戳精准定位（如时间音频接地）和长音频感知方面存在短板，难以满足细粒度音频理解需求。为此，本文提出TimeAudio框架，通过模块设计优化和专用数据集构建，解决LALMs的时间定位与长音频理解问题，并在密集音频字幕生成、时间音频接地、时间线语音摘要等任务中验证了其性能优势。

核心内容包括：

1. 问题诊断：明确LALMs时间理解能力不足的三大原因——时间戳表示方式不合理、模型架构缺乏时间感知设计、数据集中缺乏时间相关细粒度任务。
2. 模型设计：基于SALMONN架构，集成三大核心模块：时间标记（Temporal Markers）、绝对时间感知编码（Absolute Time-aware Encoding）、段级令牌合并（Segment-level Token Merging），分别解决时间戳表示、时间信息注入、长音频令牌冗余问题。
3. 数据集构建：创建FTAR（fine-grained temporal audio reasoning）数据集，包含26万条音频-文本对，涵盖四大时间相关任务（密集音频字幕生成、时间音频接地、时间线语音摘要、音频时间问答），适配细粒度时间推理训练需求。
4. 训练与评估：采用两阶段训练策略（时间令牌对齐预训练+长音频指令微调），在多个基准数据集上进行评估，结果显示TimeAudio在时间定位精度