What, How, Where, and How Well? A Survey on Test-Time Scaling in Large Language Models

在这里插入图片描述

文章主要内容总结

该论文系统综述了大型语言模型(LLM)在测试时扩展(Test-Time Scaling, TTS)的最新研究进展,提出了一个四维分析框架(What, How, Where, How Well),并对现有方法进行了结构化分类和深入分析。主要内容包括:

  1. 四维框架:

    • What to Scale:明确测试时扩展的具体形式,分为并行扩展(生成多解)、序列扩展(逐步推理)、混合扩展(结合前两者)和内部扩展(模型自主分配计算)。
    • How to Scale:探讨实现方法,包括微调(监督微调、强化学习)和推理策略(刺激生成、验证、搜索、聚合)。
    • Where to Scale:应用场景覆盖推理密集型任务(数学、编程、科学)和通用任务(开放问答、多模态、代理任务)。
    • How Well to Scale:评估指标包括准确性、效率、可控性和可扩展性。
  2. 创新点:

    • 提出首个四维分类框架,系统性梳理TTS领域的研究脉络。
    • 强调测试时扩展与预训练扩展的互补性,指出其
Sparsh:用于基于视觉的触觉感知的自监督触觉表征【传感器:带标记点的 GelSight 2017、无标记点的 DIGIT】 t​⊕It−5​→x∈Rh×w×6tt−2t−4t−6∈R4×h×w×3t​∈Rh×w×3t​∈SE3). Tt​tt−1​≜ΔxΔy˙​Δθ∈SE2ˉ2∘0.5∘1.0∘to1.0∘2.0∘zt−1​zt​qt−1​qt​≜Δqt​Δqt1​...;Δq∈R7。 阅读详情

相关推荐

视觉特征-自监督-掩码像素预测【2021-11】:SimMIM【一种用于掩码图像建模的简单框架】

¹ 清华大学²微软亚洲研究院⁸ 西安交通大学Abstract摘要本文提出了SimMIM,一个用于掩码图像建模的简单框架。我们简化了最近提出的相关方法,无需采用特殊设计,例如按块掩码以及通过离散VAE或聚类进行 tokenization。为了研究是什么使掩码图像建模任务能够学习到良好的表征,我们系统地研究了框架中的主要组件,并发现每个组件的简单设计都展现出非常强的表征学习性能:1)以适度较大的掩码 patch大小(例如32)对输入图像进行随机掩码,可构成一个强大的 pre-text 任务;

u013250861的博客 88

下一词预测(Next-token Prediction)深度解析:从 N-gram 到 GPT 的唯一目标函数

下一词预测(NTP)是自回归语言模型的核心训练目标,其本质为最小化交叉熵,等价于最大似然估计。通过链式法则将序列概率分解为条件分布,模型在无监督下学习语料中真实下一个 token 的高概率输出。从n-gram到Transformer,技术演进始终围绕提升上下文建模能力与并行效率。训练时利用因果掩码实现并行前向,推理则逐token采样生成。损失函数的下降揭示了规模定律下的通用智能涌现,但模型仍受限于生成能力,无法学习逻辑或常识。该目标统一了训练、评估与推理,构成大模型发展的基石。

reset2021的博客 240

什么是test-time scaling?

Test-time scaling 通过灵活调整测试阶段的输入数据,显著提升了模型在复杂环境中的适应能力。Test-time scaling(测试时缩放)是机器学习中在模型推理阶段对输入数据进行动态调整的技术,旨在提升模型在测试环境下的性能。Test-time scaling 指在模型推理(测试)阶段对输入数据进行缩放或变换,以适应测试环境的特定需求。与训练时的静态预处理不同,它可能动态调整参数,例如根据实时数据分布重新计算归一化统计量或应用数据增强技术。

专注:太空算力、AI infra、异构调度、大模型成本工程 1838

存储&AI行业每日要闻(2026-10-25

影响:这是市场对"烧钱就能赢"叙事的一次集体重估——Meta 主动设 C 类股稀释投票权也要融资,SpaceX 单季资本开支逼近营收 1.35 倍,叠加前一日博通 600 亿/SpaceX 400 亿芯片抵押融资,AI 基建已进入"股权+债务双管抽血"阶段;若指引保守,则昨日费半暴跌的余波将继续发酵。影响:DSX POD 的本质是把 AI 基建从"定制工程"变成"集装箱产品"——这与前一日"芯片抵押融资 5000 亿框架"形成闭环:英伟达不仅卖 GPU,还帮客户解决融资、集成、电力等全链条问题;

惠惠软件 45

第33章 YOLO+OpenCV:视频流网络传输

本案例演示用视觉处理库连接网络视频流并逐帧显示画面。程序先打开流地址,再循环取帧、显示、等待按键退出,并用重试计数应对连接失败与读取中断。验证时关注窗口能否稳定出画、是否长时间卡顿黑屏、退出后终端有无报错。🌈

小哥谈 477

使用MKL+Eigen求解稀疏矩阵方程组

问题:求解Ax=b的解,其中,A为大型稀疏矩阵,长和宽分别为1500^2。 一般思路: (1)A为对称正定矩阵,对A使用cholesky分解。 (2)A为对称不定矩阵,使用LDL‘分解,即: PAP'=LDL' 其中,L为单位下三角矩阵,D由阶数为1或者2的对角块构成,P是置换矩阵。 (3)不对称矩阵:LU分解。 (4)长方形矩阵(长...

薛晓伟 3441

手把手教你离线部署bert-base-uncased模型(附完整文件清单)

本文提供了一份详尽的bert-base-uncased模型离线部署指南。针对严格内网或无网络环境,文章不仅列出了包括config.json、pytorch_model.bin在内的完整必需文件清单,还详细解释了每个文件的作用,并给出了使用snapshot_download工具或手动下载的两种文件获取方法。重点阐述了如何正确设置本地路径、编写健壮的加载代码,并通过多层次验证确保模型在离线环境下成功运行,有效解决了部署过程中常见的文件缺失和路径错误问题。

weixin_29034963的博客 311

连接HP C7000 OA管理口操作文档

必备工具:1台便携式笔记本电脑、1根网线 2、 在C7000机箱背面找到 OA管理模块,如图:图标1和2为OA主备管理模块 将网线一端接至左边的OA管理网口,另一端接至便携式笔记本电脑网口,如图下位置: 在C7000液晶面板下查看OA管理口地址,如图,按下液晶面板的OK按钮 然后按下▼按钮调至Enclosure Info这一项后,按下OK按钮,输出界面如图:可以看到当前Active的OA管理口IP地址 比如显示地址为172.16.25.30,则个人笔记本电脑则配置172.16...

马晓援的博客 6005

STM32F030F4P6实战:LL库+DMA驱动WS2812全流程(附避坑指南)

本文详细介绍了如何使用STM32F030F4P6的LL库和DMA驱动WS2812 LED灯带的全流程,包括硬件选型、CubeMX配置、LL库与DMA关键实现、数据格式转换及调试技巧。特别提供了避坑指南,帮助开发者避免常见错误,提升开发效率。

weixin_29194693的博客 478

基于STM32、HAL库的WF282A气压传感器 驱动程序设计

测量范围:0-2.5MPa(可根据需求选择其他量程)输出方式:I2C或SPI数字接口。温度补偿范围:-20℃~85℃。低功耗设计,适合电池供电应用。工作电压:3.3V/5V。精度:±0.1%FS。

corlin6688的博客 387

基于 PCL 的工业盒体点云精准分割

本文提出一种基于PCL点云库的工业盒体点云分割算法,采用由粗到精的分层策略解决传统方法在噪声、稀疏和堆叠场景下的分割问题。算法通过区域生长粗分割、RANSAC平面筛选、球面回溯补全、凹包边界提取和圆柱回溯精分割五大核心模块,充分利用盒体几何先验特征,实现高效精准的分割效果。文章详细阐述了算法流程、参数调优指南及工程化要点,指出该方法相比深度学习具有速度快、鲁棒性强、部署简单的优势。同时分析了算法在倾斜、异形目标上的局限性,并展望了结合深度学习特征的混合模型发展方向。该算法为工业自动化场景中的3D视觉检测提供

weixin_45196569的博客 168

YOLO11全网首发:CVPR2026 Transformer注意力 | BinaryAttention 1-bit注意力,推理提速100%,超越FlashAttention2

本文改进:BinaryAttention 结合YOLO11的C3k2模块,全网首发创新。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 843

骚戴笔记公告

骚戴笔记公告

我从不打没有准备的仗! 2万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: TALE: A Tool-Augmented Framework for Reference-Free Evaluation of Large Language Models
下一篇: LLM4FS: Leveraging Large Language Models for Feature Selection and How to Improve It
UnknownBody
博客等级 码龄16年 5599粉丝 4662原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值