
摄像头每秒交来很多帧,模型却处理不过来。把帧全部排队,会让画面里的手已经放下,结果里还在挥手。对实时互动,过时的完整记录往往不如最新的一次观察。
一个在处理,一个最新候选
MediaPipe 网页文档说明同步检测调用会阻塞调用线程;Worker 是一种隔离主线程工作的方式,不会凭空增加设备算力。10 月 20 日 Google 的 Coral NPU 文章也把工具链和设备碎片化列为端侧难题,不能从硬件公告推导所有浏览器都能加速某个模型。
本例把队列限制为一个在途任务和一个最新槽位。忙时新帧覆盖旧候选;暂停后清空候选,并让旧结果失效。这里的 infer 是注入函数,生产适配器负责图像大小、模型生命周期和 Worker 通信。close 用于释放被覆盖的 ImageBitmap,示例测试用普通对象替代,未采集图像。
class LatestFrameRunner {
constructor(infer,onResult,onError=()=>{}){this.infer=infer;this.onResult=onResult;this.onError=onError;this.pending=null;this.busy=false;this.paused=false;this.generation=0;}
release(f){f?.close?.();}
offer(frame){
if(this.paused){this.release(frame);return;}
this.release(this.pending);this.pending=frame;void this.pump();
}
pause(){this.paused=true;this.generation++;this.release(this.pending);this.pending=null;}
resume(){this.paused=false;}
async pump(){
if(this.busy||this.paused||!this.pending)return;
this.busy=true;
try{
while(!this.paused&&this.pending){
const f=this.pending;this.pending=null;const g=this.generation;
try{const result=await this.infer(f);if(g===this.generation&&!this.paused)this.onResult(result);}
catch(e){if(g===this.generation)this.onError(e);}
finally{this.release(f);}
}
}finally{this.busy=false;}
}
}
function inferenceSize(width,height,longEdge=320){
if(![width,height,longEdge].every(x=>Number.isFinite(x)&&x>0))throw Error('size');
const s=Math.min(1,longEdge/Math.max(width,height));
return [Math.max(1,Math.round(width*s)),Math.max(1,Math.round(height*s))];
}

图中帧 2 被帧 3 覆盖是调度示意,不是设备吞吐测试。丢帧适用于交互预览;需要完整证据的录制或离线分析,应使用另一条有持久存储和背压的处理链,不能套用同一策略。
降尺寸之后要重新校核坐标
把长边限制到 320 只是可调起点,并非最佳分辨率。小手、遮挡、低光可能更容易漏检。推理图像若经过裁剪、旋转或镜像,输出坐标要经过对应逆变换才能回到展示画布;只乘一个宽度比例不够。
页面隐藏、用户关摄像头或减少动态效果时,主动暂停调度。pause 不会中断已经进入同步推理的 CPU 任务,它只是阻止旧结果回写;若需要真正停止专属 Worker,可以终止后重建,但共享 Worker 的所有权要先理清。摄像头 track 还需要由拥有者调用 stop。
本轮用可控 Promise 验证了覆盖、单任务、暂停和旧结果丢弃,未运行视觉模型或手机浏览器。没有 FPS、功耗或发热结果。实际验收需要记录设备、浏览器、模型版本、输入尺寸、丢帧数与观察结果年龄,再决定是否换尺寸或检测频率。
复现记录
本轮在 Node.js v26.3.0 中运行随文核心逻辑的构造样例,进程退出码为 0。测试输出:
PASS: one inflight task, latest-frame overwrite, release, pause generation guard, resize arithmetic
将上方完整代码保存为 example.mjs,以 Node.js 26 执行 node example.mjs 可加载核心与教学输入;函数默认不访问网络、模型或硬件。浏览器适配入口需要明确传入对应对象,本轮未执行这些入口。上面的通过项来自独立构造样例,不能替代集成测试。
资料与时效
- Hand landmarks detection guide for Web:首次发布日期未核实;更新 2026-08-17。
- Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon:2026-10-20。
本稿对应原预排时段;实际发布前须人工复核来源更正、SDK/API 版本及可用性,不据此预言 10 月 24–31 日的新事件。
本文探讨移动端视觉AI实时性瓶颈的三大优化策略:主动丢弃过时帧、动态降低输入分辨率、以及基于页面状态的推理暂停机制。重点分析MediaPipe在Web Worker中的调度设计,强调单任务队列与最新候选帧覆盖机制,指出坐标逆变换对降分辨率后检测结果的必要性,并说明暂停逻辑不中断已启动CPU推理但阻止旧结果回写。所有方案均面向端侧算力受限场景。

415

被折叠的 条评论
为什么被折叠?



