vivo AI Lab 团队 投稿 量子位 | 公众号 QbitAI
近年来，视频生成模型在"从无到有"合成像素上进展飞速，但真实的视频创作还有另一半问题：素材已经拍好了，怎么剪成一条能交付的片子。
选哪几段、留多长、怎么排、怎么卡点，成片得卡在目标时长内，指定的镜头不能丢，画面还要踩上音乐的节奏。在动手渲染之前，先得解决的其实是这道约束规划题。
目前的主流做法，是把闭源前沿大模型套上提示词、包进手工搭建的流程里充当剪辑大脑——一个不可训练的 workflow 式智能体。
它的短板很直接：决策策略被冻结在提示词里；成本、延迟和隐私都拴在闭源 API 上；同一份诉求每次剪出来都不一样。而手机厂商需要的，是一个能在手机上本地运行、还能持续学习的小型剪辑智能体。
针对这一问题，vivo AI Lab 和香港中文大学（深圳）的研究团队提出了 RefineCut 框架：把剪辑做成一个闭环——模型一步步修改剪辑方案，一个确定性验证器（verifier）当场逐条打分，训练所需的全部信号都来自这个验证器。经过多教师蒸馏与偏好优化两阶段训练，8B 规模的开源模型在完全相同的闭环协议下反超了其中两位教师，追平最强的 DeepSeek-V4-Pro。该工作已被 EMNLP 2026 主会（Main Conference）接收。
△隐式的提示词决策，变成一份可以逐条检查的显式剪辑计划。
核心思路：让剪辑计划成为"可以被检查"的对象
RefineCut 的出发点，是剪辑这件事的一个特殊性质：虽然没有唯一正确答案，但一个剪辑计划合不合格，是可以被客观检查的。
围绕这一点，系统把剪辑改写成一个标准的智能体问题——任务规范、动作、反馈，各有明确定义：
约束账本（constraint ledger）：任务的显式规范——把每份自然语言诉求翻译成一组机器可逐条核对的约束：目标时长、必保镜头、禁用素材、音乐对齐要求；
RefinePatch：智能体的结构化动作空间——规划器不整段重写方案，而是在类型化时间线上做小步修改，每一步改了什么都有迹可查；
确定性验证器：环境反馈的来源——把每个修改应用到时间线上、对照账本逐条判定，并汇总为量化总分 VES（论文中为 0 – 1 分值，本文统一换算成百分制）。
这套设定的关键在于：验证器输出的是确定、可复核的信号，相当于给剪辑这个创作任务配上了大模型后训练中广受关注的"可验证奖励"。接下来的训练分两步。
方法：一个验证器，串起数据、训练与部署
△ RefineCut 整体框架：（A）任务与多教师轨迹，（B）验证器回放蒸馏与自我进化训练，（C）闭环剪辑智能体。
元股证券:ygzq.hk起点：一批昂贵但含噪的教师轨迹
团队先让 GPT-5.4、Qwen3-Max、DeepSeek-V4-Pro 三个前沿模型在数千个任务上闭环作业——读状态、出补丁、收反馈，积累了近 5900 段教师轨迹、13800 余次前沿模型修复调用。但这批数据没法直接学：三家教师模型的输出格式与分支结构互不一致，各自最好的分支也大多只是局部修复而非完整方案。论文实测，直接模仿这批轨迹只能把模型从 59.4 分带到 62.0 分，与不训练相比几乎没有变化。
验证器回放蒸馏：老师的答案，先验过再学
第一阶段训练因此不模仿教师，而是把全部候选分支逐一放回验证器"重放"：规范化、应用到真实剪辑状态、逐条对照账本打分——这一步做的其实就是拒绝采样，以验证器为准绳，只留最优修复作为训练数据。提纯后的训练集只剩原来的三分之一（3317 条对 9690 条），同一个模型却直接升到 85.8 分。
RefineCut-Evo：不再需要老师的自我进化
第二阶段彻底离开教师：模型自己生成候选修复，由验证器打分，再用一套任务准则（rubric）细化分差，只保留分差足够大的高置信偏好对（最终 779 对）做 DPO 偏好优化，把成绩推到 92.4 分。训练完成后，它在推理时就是一个纯本地的剪辑智能体——读取当前时间线和尚未满足的账本条目，输出一个 RefinePatch，验证器当场应用并重算，至多迭代三步，平均每个任务 11.7 秒，全程没有一次外部大模型调用。
RefineCut-Bench：给剪辑决策层一个公开基准
由于此前不存在面向剪辑决策层的公开基准，团队把任务、素材与验证协议一并整理成 RefineCut-Bench：3578 个剪辑任务、7971 个带结构化描述的素材片段、499 条音乐轨道，每个任务附显式约束账本，训练 / 开发 / 测试按任务记录切分，所有方法在同一套规则下对比。
△ RefineCut-Bench 一览：素材库、任务分类、约束分布、多教师轨迹与评测协议。
实验结果
同一闭环下与前沿模型直接对比
最能说明问题的对比，是让三位教师在与学生完全相同的状态、账本、接口和停止规则下亲自下场。RefineCut-Evo 拿到 92.4 分，高于 GPT-5.4 的 89.3 分和 Qwen3-Max 的 77.3 分，与最强的 DeepSeek-V4-Pro（93.6 分）几乎不相上下，而它是其中唯一跑在本地的 8B 模型。
△同一闭环协议下的对比：教师模型、未训练 8B 与 RefineCut-Evo（VES 为百分制，满分 100）
研究团队还专门检验了"只靠提示技巧行不行"：同一个不训练的 8B 基座，直接提示只有 50.2 分，加上验证器反馈迭代到 59.2 分，让验证器在 4 个候选里挑最好的也只到 70.0 分；哪怕把这些方法每个任务碰到过的最好结果单独挑出来算分，也只有 71.2 分，离训练后的 92.4 分还差一大截。
训练各阶段的贡献
拆开训练过程看，最大的一步来自验证器回放蒸馏：62.0 分到 85.8 分，一步涨了 23.8 分；偏好训练在此之上推进到 86.4 分，Evo 自进化收在 92.4 分。
△训练各阶段在 Common-100 上的成绩（VES 百分制）
△训练阶段推进：验证器回放蒸馏贡献最大单步提升（62.0 → 85.8 分），Evo 将成绩推至 92.4 分。
消融实验进一步定位了 Evo 的增益来源：仅用验证器给偏好对打分已经能到 90.9 分，任务准则的细化分差在此之上还能再涨一点；反过来，不做分差过滤、什么样的偏好对都往里放，成绩明显回落。进哪些样本，比分数怎么算影响更大，这与蒸馏阶段"三分之一的数据反而更好"的现象是一致的。
跨模型家族的迁移
挂牌配资入口同一套流程在 Llama-3.1-8B 和 GLM-4-9B 上原样重复：原始模仿在两个家族上持平甚至倒退（− 7.0 分、− 3.6 分），回放蒸馏则把每个家族都稳定拉起（+15.3 分、+7.9 分），三个家族的必保镜头召回分别到 98%、92% 与 99%，此前最低只有 39%。验证器带来的收益并不绑定某一个基座。
△跨基座迁移：验证器回放蒸馏在三个模型家族上的结果（VES 百分制）
渲染盲测与剪辑行为
自动指标之外，团队把成片渲染出来请人盲选：三位标注者对随机打乱左右顺序的 150 组 A/B 预览逐一比较，Evo 对上一阶段的偏好训练模型（Mixed-Pref）拿下 100 胜、34 平、16 负，偏好率 78%，标注者之间的判断也相当一致，与自动指标的排序相符。剪辑行为上，它平均每个任务只动 1.76 次修改（提示基线为 2.72 次），操作更少（3.77 对 5.95），从不引用不存在的素材；100 个任务里一次合格的方案从上一阶段的 74 个增加到 91 个，此前最常见的失败——时长不达标——从 16 例降到 1 例。
△失败构成变化：一次合格的计划从 74 个增至 91 个，时长不达标从 16 例降至 1 例。
局限与未来方向
论文也把边界写得很清楚：VES 由训练所用的同一验证器定义，是协议内的分数，渲染后的观感好不好还得靠独立评测，所以才有上面的盲测；规划器读到的是素材描述与元数据而不是原始像素，上游描述的质量会给成片设上限；偏好训练阶段目前只在 Qwen 基座上完成。下一步计划包括：面向真实用户的自由格式需求、更长篇幅的成片、更多素材领域，以及把感知端一并纳入训练闭环。
总结与展望
回头看，RefineCut 依赖的其实是一件事：当任务的结果存在可执行的规范时，确定性验证器就能接过人工标注和学习型评委的工作——先筛掉教师数据里的噪声，再给模型自己的输出打分，不依赖任何人工标签。它也把"可验证奖励"这条在数学、代码任务上得到验证的训练路线，延伸到了剪辑这样的创作型智能体任务上。
放回真实场景，移动影像已经是大众创作的主要方式，"相册一键成片""智能 vlog 剪辑"这类体验的瓶颈，就在 RefineCut 所处的决策层：在用户的时长、内容与配乐约束下，给出一份可以执行、也经得起检查的剪辑计划，相当于手机创作智能体的"大脑"。这些场景没法依赖云端 API：模型要能在手机上跑，同样的输入要给出同样的结果——这也是 vivo 蓝心大模型一直在推进的端侧路线。
论文标题：Plans You Can Check: Verifier-Grounded Learning of an Open-Weight Planner for Executable Video-Editing 收录信息：EMNLP 2026 主会（Main Conference） 论文地址：https://arxiv.org/abs/2608.25622
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！配资排行是否合规
全国配资门户提示：本文来自互联网，不代表本网站观点。
