Weekly Insights · 2026-w45

本周雷达周刊 · 第 45 期

VLM 动作接口 · 权重空间编程验收 · 混合动作 Loop

· 统计窗口 2026-10-31 ~ 2026-11-06 · 焦点:VLM 原生动作接口 · Harness 复现边界 · GUI/bash 混合动作 Loop

信源 X (7) + Reddit (0)本周过滤 47 条 → 精选 3 项洞察ASD-STE100 90%

30 秒速览 · 本期脉络

quick take
  1. VLM 动作接口:NEO-VLA 让动作专家读取骨干指定层的 KV,把「中间表征选哪一层」变成可实验的接口问题。
  2. Harness 验收:Weight-space programming 复现链说明「重建结果」不等于「重演发现过程」,需分开验收。
  3. 混合动作 Loop:Mage-VL-Cowork 用 GUI 与 bash 双通道闭环,评测范围与排除项必须写进对比协议。
  4. 本周只保留能追到原文/模型卡/实验说明的候选;商业评论与二手数值得下期再核。
只看方向

本周最值得深入研究

NEO-VLA:动作头应该读取 VLM 的哪一层?

  • 论文把图像经轻量 patch embedder 后与语言、机器人状态一起进入骨干,动作专家读取所选层的 KV。
  • 「无编码器」指没有独立预训练视觉编码器,并非没有图像映射步骤,避免把口号当成架构事实。
  • 作者主张较早层视觉信息有助于控制;这给个人复现留下了固定模型与任务集上可对照的接口实验。
展开完整机制拆解 ↓

本周 3 项核心洞察点击卡片展开详细拆解

  1. VLM 感知AgentsLoops需要适配arXiv 2611.06918 · 项目页与代码说明已公开

    NEO-VLA:从像素到动作的原生 Vision-Language-Action 策略

    增益:高成本:中
    展开 ▾收起 ▴
    核心机制
    图像经轻量 patch embedder,与语言和机器人状态进入骨干;动作专家读取所选骨干层的 KV 缓存来生成动作。「无编码器」指没有独立预训练视觉编码器,而不是省略图像映射。作者强调跨深度访问值得研究,并把较早层视觉信息与控制关联起来讨论。
    效果 / 成本
    效果增益高运行/训练成本中依据:论文 HTML 全文与项目页。题名 From Pixels to Actions — Towards Native Vision-Language-Action Policies;v1 提交于 2026-11-04。本博客未运行官方代码,不把作者实验增益写成实测。
    工程可行性
    代码说明已在 EvolvingLMMs-Lab/NEO 的 VLAKit 目录公开;完整数据配方、随机种子与失败案例仍需自行核验。
    系统影响
    把 VLM Agent 的动作接口从「整模型黑盒」收成「读哪一层 KV」。后续做屏幕/机器人 Loop 时,可以用同一骨干换动作读层做对照,而不是一上来换整套模型。
  2. HarnessSelf-ImprovingAgents需要适配作者博客 + HF 复现材料 · harness 边界已写明

    Weight-space programming:结果重建 ≠ 重演发现过程

    增益:中成本:中
    展开 ▾收起 ▴
    核心机制
    原作者博客与 Experiment 8 说明描述了有限前向反馈下的权重修改。Hugging Face ML-Intern 材料展示应用原作者 diff、核验哈希并重测的路径。完整寻找该编辑的 agent harness 在原实验说明中仍标为未公开。HF 编辑版评分是 500 题 × 4 样本,基线文件只有 25 题 × 4 样本,不能写成同规模完整对照。
    效果 / 成本
    效果增益中运行/训练成本中依据:原作者 11/02 博客、Experiment 8 README、HF 模型卡与两份评分文件。Demo 默认 4,096 token,不能当作 32,768-token 基准复现。本轮未提交真实推理。
    工程可行性
    可按 diff → 哈希 → 评测记录做三层验收;完整发现 harness 与等条件基线仍待补齐。入口以 Chat UI ML Intern 文档为准。
    系统影响
    Self-Improving / Harness 系列写作时,要把「演示跑通」「结果重建」「重新发现算法」拆开验收,避免把二手复现分数直接写成原研究能力。
  3. LoopsHarnessVLM 感知需要适配Microsoft 模型卡 · 演示实现需单独验收

    Mage-VL-Cowork:GUI 与 bash 双通道的混合动作 Loop

    增益:高成本:中
    展开 ▾收起 ▴
    核心机制
    模型卡描述 GUI 与 bash 两种动作通道,并给出评测任务范围与步数;OSWorld-Verified 设置排除了 Google Drive。发布者演示展示截图 → 模型动作 → 桌面执行 → 再观察的循环。演示实现不能自动等同 Microsoft 官方训练/评测 harness。
    效果 / 成本
    效果增益高运行/训练成本中依据:Microsoft 模型卡与演示作者线程。本轮已读模型卡与线程;Space 页面工具读取失败,未实际运行演示,故不写成功率或 SOTA。
    工程可行性
    适合先写最小可复现任务协议:固定初始桌面、动作记录、结果校验与失败恢复;再谈榜单对比。
    系统影响
    个人站点与本机运维场景更需要「混合动作 + 可审计 harness」,而不是只看视频是否看起来完成。对比任何 OSWorld 类数字时,必须带上任务范围与排除项。

往期周刊 archive