Weekly Insights · 2026-w44

本周雷达周刊 · 第 44 期

Agents → Loops → Harness → Self-Improving Systems 与 VLM 统一感知

· 统计窗口 2026-10-23 ~ 2026-10-29 · 焦点:Agents → Loops → Harness → Self-Improving Systems · VLM 感知架构拆解

信源 X (12) + Reddit (4)本周过滤 83 条 → 精选 5 项洞察ASD-STE100 95%

30 秒速览 · 本期脉络

quick take
  1. Harness 层(深挖):TraceTrial-Bench 跑完 3,420 次实验,发现 31.1% 的成功任务违反了至少一项 harness 规范。
  2. Self-Improving 层:MiRL 直接从终端 Agent 的高频出错步骤分叉采样 RL,用 35% 的采样量减少约一半同类错误。
  3. VLM 骨干层:LFM3-VL-2B 用三混合算子与相邻帧联合编码,以 1.9B 参数追平 6 倍体积模型。
  4. Loops 与统一感知:SpatialScout 暴露多视角 3D 建图短板,WeVisOne-VL 用单个 VLM 统一框级与像素级输出。
只看方向

本周最值得深入研究

TraceTrial-Bench(Trial by Trace):把 Agent 模型能力与 Harness 可靠性解耦评测

  • 论文评估了 3,420 次运行,发现 31.1% 的成功任务违反了至少一项 harness 规范。
  • 框架把 harness 可靠性拆为上下文、执行、治理和工具等 7 个可审计维度。
  • 框架提供运行级故障归因(Failure Attribution)模块,可以直接指导工程迭代。
展开完整机制拆解 ↓

本周 5 项核心洞察点击卡片展开详细拆解

  1. HarnessAgents可直接接入arXiv 2610.32285 · 数据集已开源

    TraceTrial-Bench:Agent Harness 可靠性评测与运行级故障归因

    增益:高成本:中
    展开 ▾收起 ▴
    核心机制
    论文把 harness 可靠性拆分为 7 个组件。这 7 个组件涵盖上下文、执行、治理、生命周期、可观测性、工具和验证。框架用轨迹追踪(TT)模块记录执行轨迹,并用多源证据采集(MEA)模块收集上下文和环境证据。最后,故障归因(FA)模块利用显式机制链定位单次运行的故障根源。
    效果 / 成本
    效果增益高运行/训练成本中依据:论文摘要。4 个框架与 9 个模型共运行 3,420 次,harness 宏平均分只有 59.8% 到 72.0%。单次评测耗时:未公开。
    工程可行性
    95 个任务都带有可执行真值或状态级真值。评测数据集已在 Hugging Face 公开。
    系统影响
    只看最终任务成功率会掩盖框架缺陷。在构建 Agents → Loops → Harness 系统时,我们可以把这 7 项检查接入 CI,拦截“结果碰巧正确、但过程违规”的脆弱轨迹。
  2. Self-ImprovingLoopsAgents需要适配arXiv 2610.35697 · 终端 Agent RL

    MiRL:用错误靶向强化学习打造 Self-Improving 终端 Agent

    增益:高成本:低
    展开 ▾收起 ▴
    核心机制
    终端 agent 在长程 shell 循环中常重复同类错误。MiRL 先分析策略轨迹,找出跨环境反复出现的典型错误步骤(misbehaviors)。训练时,MiRL 直接从出错步骤开始采样 rollout。只有当轨迹通过测试、并且避开该错误时,模型才获得奖励。
    效果 / 成本
    效果增益高运行/训练成本低依据:论文摘要。在 Qwen3.5-4B 上 8 类错误占全部错步的 52.1%。训练后同类错误减少 43%–57%,采样量仅占对照组的 35%。
    工程可行性
    需要可重放的 shell 沙盒、自动化测试,以及前期的错误轨迹聚类管线。代码链接:未公开。
    系统影响
    这是 Self-Improving Systems 的关键工程路径。直接从线上失败日志的出错断点分叉采样,可以用约三分之一的算力定向修复 Agent 的高频失误。
  3. VLM 感知Agents可直接接入开放权重 · LFM Open License 1.0

    LFM3-VL-2B:三混合骨干与帧对编码的端侧多模态模型

    增益:高成本:低
    展开 ▾收起 ▴
    核心机制
    LFM3 的 24 层骨干网络混合了三种算子。其中 13 层是门控短卷积(kernel=7),5 层是滑窗注意力(窗口 256),6 层是全局注意力。模型使用注意力头级 sigmoid 门控来抑制激活异常值,方便低比特量化。视觉侧采用 164M 参数的自研混合编码器。处理视频时,编码器把相邻两帧合并为一个时间片特征,先将时间序列长度减半。
    效果 / 成本
    效果增益高运行/训练成本低依据:官方技术报告。视觉编码器算力比旧版 SigLIP2 低 3 倍。1.9B 模型在 62 个基准均分 71.4,追平 Gemma 4 12B(71.7)。
    工程可行性
    权重已开源,支持 llama.cpp、vLLM 和 SGLang。公司年营收低于 1,000 万美元可免费商用。
    系统影响
    适合部署在本地设备或低成本边缘节点,作为高频 Loop 中的 GUI 屏幕理解、视频流问答与视觉工具调用底座。
  4. LoopsHarnessVLM 感知需要适配arXiv 2610.26659 / 2610.34662

    SpatialScout & StreamVibe:VLM Agent 的主动感知 Loop 与意图状态 Harness

    增益:中成本:中
    展开 ▾收起 ▴
    核心机制
    SpatialScout 评测 VLM agent 主动控制相机探索室内场景并构建 3D 度量地图的闭环能力(80 个场景、3,140 个物体)。StreamVibe 则针对连续视频流中的隐式与动态用户意图,提出流式模型 StreamVibe-VL。它配合分层记忆框架 StreamVibe-Harness,把用户意图维护为跨轮次的持久化状态。
    效果 / 成本
    效果增益中运行/训练成本中依据:两篇论文摘要。Claude Opus 5.5 在 SpatialScout 平均重叠分仅 41.71%(IoU>0.9 仅 3.25%)。StreamVibe-Harness 提升主动交互 12.3%。
    工程可行性
    SpatialScout 数据集已在 Hugging Face 开源,可直接用于评测。StreamVibe 目前处于研究阶段。
    系统影响
    第一,前沿 VLM 在多步探索 Loop 中仍难拼出精确 3D 地图。第二,实时视频/屏幕 Agent 必须在 Harness 层用分层记忆单独维护“用户当前意图状态”。
  5. VLM 感知Agents可直接接入arXiv 2610.31329 · Apache-2.0

    WeVisOne-VL:用单个 VLM 统一框级与像素级视觉感知

    增益:高成本:低
    展开 ▾收起 ▴
    核心机制
    模型把框级检测、OCR 和像素级分割统一为结构化的 next-token prediction。架构上,模型通过特殊 <OBJ> token 接入轻量像素解码器,直接生成实例级掩码和 alpha matte。训练采用三阶段课程 SFT 加混合任务 RL。
    效果 / 成本
    效果增益高运行/训练成本低依据:论文摘要。模型在 30 多个框级与像素级基准上表现领先,并能可靠拒答不存在的目标。单次推理耗时:未公开。
    工程可行性
    2B 与 4B 权重已在 Hugging Face 开源,采用 Apache-2.0 许可证,附在线 Demo。
    系统影响
    多模态 Agent 过去需要串联独立检测器、OCR 和分割模型。现在可以用一个 2B/4B 模型通过自然语言指令统一完成感知步骤。

往期周刊 archive