机器之心 JIQIZHIXIN

你想教机器人把玩具放进抽屉。你流畅地演示了一遍。机器人尝试——却稍微抓偏了，把玩具推到一边。位置已经变了，但机器人却像什么都没发生一样继续执行。更多数据可能有帮助，但在真实机器人上采集数据又慢又贵。如果能在不运行硬件的情况下给机器人额外训练，会怎样？ 启元机器人董浩团队提出 HIL-UMI（ArXiv 2609.20659）。 HIL-UMI 在手持设备上采集经验，然后系统性地比较人类所做的与当前模型会做的——精确标出哪里还需要更多演示。当差异超过阈值时，系统提示操作员从该状态继续录制，直到该步骤完成。数据采集过程中无需机器人执行。在 π0.5 配合 Franka 机械臂、四个任务上测试，SFT 和 HIL-UMI 都从相同的平均分 44.3 起步。三轮之后，SFT 达到 58.0；不带优势机制的 HIL-UMI 达到 88.0；完整方法从 62.3 攀升到 94.8。论文和项目页已开放。 结果：HIL-UMI 仅用手持数据训练机器人——采集过程中无需硬件。在 π0.5 配合 Franka、四个任务上，三轮将平均分从 44.3 提升到 94.8（完整方法），而标准 SFT 为 58.0。论文和项目页已开放。 HIL-UMI：无需硬件的机器人学习人在回路数据采集 论文：arxiv.org/pdf/2609.20659 项目：hil-umi.github.io/ 我们的报道：jiqizhixin.com/articles/2026-10-12-6 📬 #PapersAccepted by Jiqizhixin

56.9% 到 72.7%——没有改动任何一个模型参数。 南洋理工大学提出 RoboFoundry，一个让整个机器人软件栈自主演化的系统（ArXiv 2609.32862）。 具身策略从来就不只是一个模型——它是模型加上围绕它的整个系统：记忆、技能、交互框架、code-as-policy 逻辑。大多数工作只孤立地改进某一个组件，部署后其余部分就冻结了。RoboFoundry 则运行一个“执行—反思—修复—提升”的演化循环：系统运行、反思失败、提出系统级修复、评估候选方案，并提升那些能泛化的方案。在 EmbodiedBench 上，单独 GPT-5.5 得分 56.9%；随着系统围绕它持续演化，同一个冻结模型达到 72.7%。全部五个基础模型都有提升。在长程记忆基准 RoboMemArena 上，成功率比所有基线至少高出 39.0%。在 LIBERO-PRO 扰动测试中，它比 CaP-Agent0 高出 243.8%–679.7%。项目页面和论文均已开放。 结果：RoboFoundry 演化的是整个机器人系统，而不只是模型——GPT-5.5 冻结在 56.9%，在 EmbodiedBench 上提升到 72.7%，全部 5 个基础模型都有提升，RoboMemArena 上至少 +39.0%，LIBERO-PRO 上比 CaP-Agent0 高出 +243.8%–679.7%，论文和项目页面均已开放。 RoboFoundry：具身 AI 系统的自主演化 论文：arxiv.org/abs/2609.32862 项目：jingsongliang.com/robofoundry 我们的报道：jiqizhixin.com/articles/2026-10-12-7 📬 #PapersAccepted by Jiqizhixin

大多数递归自我改进（RSI）系统都只在一个领域里工作——代码、机器人或化学。但如果同一个自我改进循环能改进任何东西呢？用一个预测结果的世界模型加上真实反馈来自我适应？ PhAI Labs 提出了 RSI-Anything，一个基于 JEPA-Anything（ArXiv 2609.20800）构建的通用 RSI 框架。 RSI-Anything 将预测性世界模型与自我改进循环配对：模型预测结果，用真实反馈来调整预测器，并把改进后的策略应用到各个领域。在代码修复中，成功率从 26.3% 提升到 31.2%。在计算机 GUI 交互中，它在 OSWorld 上实现了任务成功率 18.4% 的相对提升。在实验室里，一个 4B 参数的策略模型经过五代改进，把规划分数从 21.80% 提升到 46.01%——略微超过了由更大模型组合构建的参考系统。在化学领域，40 次由预测和反馈驱动的搜索实验把平均最佳观测产率推到 96.15%，而贝叶斯优化为 82.16%。代码已开源。 结果：RSI-Anything 把递归自我改进带到了四个领域——代码修复（26.3%→31.2%）、OSWorld GUI 任务（相对提升 18.4%）、实验室规划（4B 模型 21.80%→46.01%，超过更大的模型组合）以及化学产率（96.15% 对贝叶斯优化的 82.16%）——代码开源。 RSI-Anything：通过预测性世界模型和真实反馈实现的通用递归自我改进 论文：arxiv.org/abs/2610.13912 代码：github.com/Gen-Verse/RSI-Anything 我们的报道：jiqizhixin.com/articles/2026-10-12-9 📬 #PapersAccepted by Jiqizhixin

DeepSeek 已经开始提供搜索服务了！

如果能敲除基因组中的每一个基因，在显微镜下对数百万个细胞成像，并自动将每一种复杂的视觉表型与导致它的基因关联起来，会怎样？ 慕尼黑大学和马克斯·普朗克生物化学研究所介绍了 SPARCS，发表于 Cell（2026年10月6日）。 SPARCS（空间分辨 CRISPR 筛选）将机器学习驱动的显微镜图像分析与自动化细胞回收相结合，解决了一个长期存在的瓶颈：CRISPR 筛选可以在全基因组范围内扰动基因，但当所关注的表型是复杂的显微图像——而不是简单的存活或荧光读数——时，将图像层面的细胞变化与特定基因关联起来在技术上一直很困难。在两项全基因组 CRISPR 敲除筛选中，团队总共分析了约 7000 万个细胞，研究自噬体形成和先天免疫传感器 STING 的激活，并鉴定出这两种过程中此前未知的调控因子。 结果：SPARCS 将基于图像的遗传筛选扩展到两项全基因组 CRISPR 敲除筛选中的 7000 万个细胞——发现了自噬和 STING 激活的新调控因子——发表于 Cell，附开放论文链接。 SPARCS 能够为遗传筛选实现基于图像的复杂表型的可扩展回收 论文：cell.com/cell/fulltext/S0092-8674(26)01123-2 我们的报道：jiqizhixin.com/articles/2026-10-12-10 📬 #PapersAccepted by Jiqizhixin

杯子把手可以被握住。按钮可以被按下。空桌面可以用来放置物体。这些动作可能性——研究人员称之为“可供性”（affordances）——将视觉理解与物理交互连接起来，并且会随任务、环境和机器人自身身体的变化而变化。然而，现有的综述大多将该领域割裂开来：一方从计算机视觉角度研究功能识别、分割和定位；另一方从机器人学角度讨论认知基础、发展学习和强化学习。随着3D感知、基础模型和LLM的融合，一个统一的视角已刻不容缓。 南洋理工大学发布了一篇关于具身AI中可供性学习的全面综述，系统回顾了近200项工作。 该综述将分散的研究组织成统一视角，勾勒出从2D图像平面到3D度量空间的清晰轨迹——从热力图、掩码和关键点到点云、网格和3D高斯。它将代表性数据集分为五类：以物体为中心、场景级、交互驱动、语言与推理，以及真实机器人数据集。作者发现，可供性定位正决定性地从2D转向3D，开放集泛化方法正在快速增长，越来越多的工作正进入真实机器人执行阶段。预印本、项目页面和精选GitHub列表均已提供。 结果：首篇具身AI中可供性学习的统一综述——近200项工作按五个数据集类别组织，描绘了该领域从2D识别到3D度量理解和真实机器人执行的转变，并提供公开预印本、项目页面和GitHub列表。 具身AI中的可供性学习：统一综述 预印本：preprints.org/manuscript/202610.0392 项目：jingliangli.com/affordance-survey GitHub：github.com/hq-King/Awesome-Affordance-Learning 我们的报道：jiqizhixin.com/articles/2026-10-12-11 📬 #PapersAccepted by Jiqizhixin

语言模型正在让现有基准测试趋于饱和。但排行榜上更高的分数并不意味着模型真的能推进研究——完成一次任务，也不等于能持续推动一个领域向前发展。当研究走向递归自我改进（RSI）时，一个尖锐的问题浮现出来：当一个模型试图改进另一个模型——甚至改进自己——时，谁来定义什么才算真实、有效的环境反馈？这正是 OpenRSI Index 瞄准的空白。 XXX 推出 OpenRSI Index，一个用于衡量研究智能体能否改进人类设计的模型训练流程、并在清晰实验边界内发现更优方法的基准。 OpenRSI Index 将 RSI 评估框定为两个循环：内层研究循环，智能体在其中提出并运行实验；外层评估循环，判断所提出的改动是否真正改进了目标方法。它不测试智能体能否解决一个预设任务，而是测试智能体能否迭代改进一个真实的训练设置——覆盖预训练、后训练和图像生成。Marin、Qwen 和 GPIC 等现有项目成为智能体的考试科目，公开的 GPIC 排行榜追踪进展。该项目在 X 上发布，获得超过 133,000 次浏览，并登上 X 的 Today's News。代码和网站均已开源。 结果：OpenRSI Index 将 AI 评估从“你能解决一个基准测试吗？”转向“你能改进一条真实的研究流程吗？”——一个跨越预训练、后训练和图像生成的双循环 RSI 基准，配有开源代码、网站和公开的 GPIC 排行榜。 OpenRSI Index：面向科学研究智能体递归自我改进的基准 网站：index.openrsi.foundation/index.html 代码：github.com/OpenRSI-Foundation/OpenRSI-Index 排行榜：index.openrsi.foundation/tasks/gpic-leaderboard 我们的报道：jiqizhixin.com/articles/2026-10-11-3 📬 #PapersAccepted by Jiqizhixin

一个机器人伸手去拿杯子——动作进行到一半时，有人把杯子挪走了。现有的机器人鲁棒性基准测试都是在任务开始前改变条件：换一个杯子位置、调整光照、换一个相机角度。机器人从第一帧看到的就已经是改变后的场景。但“杯子本来就在那边”和“你的手还在半空中时杯子被挪走了”要求的是截然不同的能力。大多数基准测试从未测试后者。 Yunbei Zhang 和 Zijian Jin（共同第一作者），与 UT Austin 教授 Peter Stone、斯坦福教授 Marco Pavone、MIT 博士后 Weirui Ye、NTU 助理教授 Jianfei Yang 共同提出 LIBERO-MAX（NeurIPS 2026）。 LIBERO-MAX 在任务执行中途的环境变化下评估机器人策略——这些扰动发生在任务已经进行的过程中，而不是任务开始之前。团队对 14 种当前机器人策略进行了基准测试，涵盖 VLA 模型、混合架构和世界动作模型（WAM），每种都使用其各自发布的推理配置。每个策略完成 16,000 次执行运行，主评估中总计 224,000 个仿真回合——以此区分失败是来自动态扰动，还是来自策略本身的固有弱点。代码和项目主页已开源。 结果：LIBERO-MAX 是首个用执行中途环境变化对机器人进行压力测试的基准——14 种策略，覆盖 VLA、混合和 WAM 架构，每种 16,000 次运行，总计 224,000 个仿真回合——被 NeurIPS 2026 接收，代码和项目主页开源。 LIBERO-MAX：基准测试机器人在执行中途扰动下的动态鲁棒性 论文：arxiv.org/abs/2609.36518 项目：liberomax.github.io/ 代码：github.com/liberomax/LIBERO-MAX 我们的报道：jiqizhixin.com/articles/2026-10-11 📬 #PapersAccepted by Jiqizhixin

三分之一的天空此前从未在紫外波段被测绘过——直到现在。 约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 与 Claude Science 合作，呈现了首张完整的紫外全天空图。 紫外光会被地球臭氧层吸收，因此观测它需要太空望远镜。过去 50 年里，太空望远镜在紫外波段只观测并发布了部分天空的数据，许多区域从未被观测过。Ménard 与 Claude Science 合作填补了缺失的三分之一：AI 独立运行了数小时的计算，而 Ménard 则规划下一步并处理其他项目，在几天里形成了一种高效的研究节奏。最终的地图结合了远紫外（154 nm）和近紫外（232 nm）数据，揭示了年轻恒星周围发光的尘埃云、勾勒出超新星气泡的巨大尘埃环和环带、被聚集的星系星光点亮的暗淡尘埃丝，以及银道面下方明亮的大麦哲伦云和小麦哲伦云。 结果：首张完整的紫外全天空图——填补了 50 年太空望远镜从未覆盖的缺失三分之一天空——结合了 154 nm 远紫外和 232 nm 近紫外数据，由约翰斯·霍普金斯大学与 Anthropic 的 Claude Science 通过人机协作完成。 天空缺失的地图：与 Claude Science 合作的完整紫外全天空图 研究：anthropic.com/research/the-missing-map-of-the-sky 我们的报道：jiqizhixin.com/articles/2026-10-10-10

当一个机器人没有足够的信息来完成任务时，它会怎么做？ 来自中国人民大学高瓴人工智能学院（GeWu-Lab）、BAAI 和 AresoX 的研究人员提出了 ROMA（Real-World Object-Centric Multi-Sensory Active Perception）。 当人类说“给我找个空杯子泡茶”时，机器人必须先推断意图——一个空杯子——然后弄清楚几个候选杯子中哪一个实际上是空的。它可能需要摇一摇其中一个，称一称另一个，听一听有没有液体。这个日常场景揭示了一个核心的具身问题：机器人不仅要理解人类指令中的隐含意图，还要知道缺少什么信息，以及如何通过哪种感官模态主动获取这些信息。ROMA 赋予多传感器机器人这种主动的物理世界感知能力，提供从数据集和基准到多模态推理模型和物理交互系统的完整技术栈。论文、项目主页、代码和数据集均已开源。 结果：ROMA 让机器人具备主动的多感官感知能力——推断意图、识别缺失信息，并选择正确的模态来获取信息——背后有完整的数据集、基准、推理模型和物理系统支撑，全部开源。 ROMA：用于真实世界以物体为中心的多感官主动感知的 LLM 系统 论文：arxiv.org/abs/2610.06955 项目：gewu-lab.github.io/ROMA/ 代码：github.com/GeWu-Lab/ROMA 数据集：huggingface.co/datasets/GeWuLab/ROMA 我们的报道：jiqizhixin.com/articles/2026-10-10-3 📬 #PapersAccepted by Jiqizhixin

想象一个多智能体工作流：一个智能体负责规划，一个负责搜索，一个负责写报告。用户要求的是 200 美元以下的耳机，但搜索智能体悄悄把预算设成了 300 美元。下游的每一步都执行得天衣无缝——对比参数、起草分析、给出推荐——可整条流水线早已偏离了用户的需求。没有任何一个智能体犯了明显的错误；它们全都继承了一个错误的前提。等到有人察觉时，任务已经做错了。 Rutgers University、UT Austin 和 Purdue University 提出 AgentForesight，一个面向多智能体系统的 7B 在线审计器（NeurIPS 2026）。 AgentForesight 把失败分析从「事后归因」推进到「在线审计」：每一步之后，一个外部审计器都会读取到目前为止的执行记录，判断是继续还是发出警报——在任务被毁掉之前争取到干预的时间。在 AFTraj-2K 基准上，它能在失败轨迹中定位关键错误步骤，Exact-F1 达到 66.44——比最强的通用模型基线高出 19.88 分——同时把成功轨迹误判为失败的比例只有 2.37%。Boxuan Zhang 和 Jianing Zhu 为共同第一作者；Ruixiang Tang 为通讯作者。项目主页、代码和数据集均已开源。 结果：AgentForesight 把多智能体失败检测变成实时的在线审计——一个 7B 模型能在执行过程中捕捉关键错误，Exact-F1 达 66.44（比最强基线高 19.88），在成功运行上的误报率仅 2.37%，已被 NeurIPS 2026 接收，项目、代码和数据集全部开源。 AgentForesight: Online Failure Detection in Multi-Agent Systems via Step-Level Auditing 论文：arxiv.org/abs/2605.08715 项目：zbox1005.github.io/agent-foresight/ 代码：github.com/ZBox1005/AgentForesight 数据集：huggingface.co/datasets/ZBox008003/AFTraj 我们的报道：jiqizhixin.com/articles/2026-10-10-6 📬 #PapersAccepted by Jiqizhixin

你让视频模型生成一个人打太极。动作看起来很流畅——但架势对吗？做菜视频里，菜谱和真实步骤对得上吗？多镜头场景里，剪辑顺序还保持正确吗？一个提示词很少能包含所有需要的细节。如果系统能先查参考资料、找角色示例、需要时跑一遍物理模拟，然后再决定怎么生成视频，会怎样？ 研究者提出了 VideoGen-Agent，一个基于 Qwen3-VL-8B-Instruct 构建的 8B 可训练多模态智能体。 VideoGen-Agent 把视频生成变成多轮工具调用循环：它调用检索、生成和验证工具，然后根据工具返回的结果做决策——搜索动作知识、找角色参考、模拟运动、衔接镜头。团队先用监督微调建立工具调用能力，再用多任务强化学习改进决策过程。在 VABench 上——600 条提示词，覆盖六类能力——VideoGen-Agent 的 Toolset 1 配置得分 75.6，比基础视频生成器的 56.5 提升了 +19.1 分。保持智能体参数不变，只升级生成工具，分数进一步提升到 86.1。项目主页已开源。 结果：VideoGen-Agent 把视频生成变成智能体式工具调用循环——检索参考、运行模拟、验证输出——在 VABench 上得分 75.6（比基础生成器 +19.1），升级工具后达 86.1，项目主页已开源。 VideoGen-Agent: A Trainable Multimodal Agent for Tool-Augmented Video Generation 论文：arxiv.org/abs/2609.24997 项目：andyca111.github.io/VideoGen_Agent/ 我们的报道：jiqizhixin.com/articles/2026-10-09-3 📬 #PapersAccepted by Jiqizhixin

第一人称人类视频已经扩展到数万小时，规模化带来的收益显而易见。但视觉-触觉数据还没有：现有的公开人类视觉-触觉数据集大多只有几小时到几十小时。简单地把不同来源的小数据集合并在一起，会混杂传感器、采集流程和格式——所以当性能提升时，你无法判断到底是不是"更多数据"带来的。如果在统一的传感与录制系统下，采集数百小时高质量的第一人称视觉-触觉数据，会发生什么？ Texas A&M、Google DeepMind、CMU、Stanford、UC Berkeley、Yale、Microsoft、NVIDIA、University of Liverpool、Meta 和 University of Washington 联合推出 TouchScale。 TouchScale 贡献了 500 小时的第一人称视觉-触觉数据，用统一的可穿戴设备采集——回答了视觉-触觉数据是否能像视频一样展现规模化收益，以及有多少能迁移到机器人操作上。关键在于，该方法不需要人类动作标注，也不把人类手部动作映射到机器人；它只把人类视觉-触觉数据用于中期训练。结果是：在四个真实机器人接触任务上，平均成功率从 22.5% 跃升到 57.5%——翻了一倍多。任务包括把水壶里的水倒进罐子（连续姿态调整）、卷起笔记本电脑充电线并用魔术贴固定（双手协调），以及用胶带封纸箱（工具抓取、定位、持续按压）。数据集和项目主页已开源。 结果：TouchScale 的 500 小时统一视觉-触觉数据集实现了无需标注的中期训练，让真实机器人接触任务成功率翻倍以上（22.5%→57.5%）——证明了视觉-触觉数据的规模化收益，无需动作标注，也无需手到机器人的映射——数据集和项目主页均已开源。 TouchScale：500 小时统一第一人称视觉-触觉数据，用于机器人操作 论文：arxiv.org/abs/2610.10288 项目：touch-scale.github.io/ 数据集：huggingface.co/datasets/2077AIDataFoundation/TouchScale500 我们的报道：jiqizhixin.com/articles/2026-10-09 📬 #PapersAccepted by Jiqizhixin

最有价值的蛋白质结构数据并不在公开数据库里——它们锁在制药公司的专有药物结构保险库中。公开数据对于蛋白质-药物相互作用预测来说实在太稀缺了，而真正有价值的结构又因保密要求无法共享。那么，AI 如何从它从未见过的数据中学习？ 一项多药企合作研究发表在 Nature（2026 年 9 月 14 日），提出了联邦训练版的 OpenFold3。 五家制药公司贡献了超过 20,000 个专有蛋白质-小分子结构数据集——但数据从未离开各自公司的场所。通过联邦训练，各方在不共享原始数据的情况下共同改进 OpenFold3。结果是：在纳入这些此前无法获取的数据后，该模型在蛋白质-药物相互作用预测上显著优于仅用公开数据训练的模型，以及仅用任何单一公司数据训练的模型。这项工作表明，联邦学习可以在保护数据隐私的同时，释放专有制药数据用于 AI 模型改进——为更广泛的生命科学界提供了一条在不损害商业机密的前提下开展合作的路径。 结果：联邦训练让 5 家制药公司在不将数据带离各自场所的情况下，用 20,000+ 个专有蛋白质-小分子结构共同改进 OpenFold3——在蛋白质-药物相互作用预测上显著优于仅公开数据和单公司模型，发表于 Nature。 Federated Training of OpenFold3 with Proprietary Pharmaceutical Data (Nature, 2026) 项目：apheris.com/networks/aisb 我们的报道：jiqizhixin.com/articles/2026-10-09-10 📬 #PapersAccepted by Jiqizhixin

世界动作模型（WAM）正在爆发——但每个新系统都同时换掉视频骨干、训练数据、视频-动作交互和推理流程。就像好几个厨师同时换食材、换灶台、换下锅顺序，没人说得清到底是哪个设计带来了提升。而传统的视觉-语言-动作（VLA）模型则像条件反射司机：看到场景、听到指令、输出动作——底下并没有对世界的物理模型。 斯坦福大学（李飞飞、吴佳俊、Ehsan Adeli 等）提出 OpenWAM。 OpenWAM 是一个开放的世界动作模型框架，把视频模型当作机器人的大脑——视频预训练编码了物体如何下落、碰撞、被推动，让模型自带物理先验。通过提供统一、开放的基准和框架，OpenWAM 让研究者能够分离出究竟是哪个设计选择真正驱动了机器人性能，而不是把所有因素混在一起。在 NVIDIA 的 RoboLab-120 排行榜上，OpenWAM 超越了此前最强的开源模型 Cosmos 3 Nano——而参数量不到它的一半。项目主页、代码和模型均已开源。 结果：OpenWAM 提供了一个开放、解耦的世界动作模型框架，在 RoboLab-120 上以不到一半的参数量击败 Cosmos 3 Nano——让视频模型的物理先验成为可用的机器人大脑，也让研究者能够分离出究竟是哪个设计真正提升了性能，项目主页和代码均已开放。 OpenWAM：一个开放的世界动作模型框架 论文：arxiv.org/abs/2610.07922 项目：openwam.stanford.edu 代码：github.com/OpenWAM/OpenWAM 我们的报道：jiqizhixin.com/articles/2026-10-08-10 📬 #PapersAccepted by Jiqizhixin

视频看起来连贯——但物理对吗？球可以平滑下落却违反重力，单摆可以优雅摆动却不守恒能量。现有基准奖励的是视觉流畅度，而不是生成的过程是否真的遵守物理定律。 Einsia AI（Navers Lab）提出「世界模型的物理终极考试」。 该基准测试了 8 个视频生成模型，涵盖 40 项任务和 9 种物理现象——从落球、单摆振荡到光的反射、冰的融化。每项任务要求模型生成一个特定的物理过程，然后对照相应的物理关系进行检查。结果令人清醒：Seedance 2.5 排名第一，但平均分仅为 57.76（满分 100）。该基准揭示了一个根本性差距——当前的视频生成模型即便输出在视觉上看似合理，仍难以持续遵守物理定律。代码和项目主页已开源。 结果：首个面向视频生成模型的物理基准——40 项任务、9 种物理现象、8 个模型——揭示即便最强模型（Seedance 2.5）也仅得 57.76/100，表明视觉连贯不等于物理正确，代码与项目主页已开源。 世界模型的物理终极考试 论文：arxiv.org/pdf/2610.08791 项目：lab.einsia.ai/phys-last-exam 代码：github.com/Einsia/phys-last-exam 我们的报道：jiqizhixin.com/articles/2026-10-08-6 📬 #PapersAccepted by Jiqizhixin

110页。6所顶尖机构。首个关于自回归视频生成中记忆机制的综合综述——也回答了每个长视频模型都要面对的问题：模型应该如何"记住"过去？ HKUST、CityU、复旦、CMU、NYU 和 NTU 联合发布"The Past Frames the Future: Memory for Autoregressive Video Generation." 随着视频越来越长，记忆变得不可避免：一个角色离开画面又回来——它还是同一个人吗？镜头摇走又摇回——空间布局还成立吗？一个物体被移动了——几十个生成步骤之后，它还会回到原来的位置吗？记忆机制正在不断涌现：历史帧、VAE latents、KV cache、循环状态、3D 世界状态，甚至把历史直接写进模型参数。这篇综述将 Memory 定义为在自回归步骤之间维护的历史状态——即使原始证据已经离开局部上下文，它仍能影响未来的生成。关键在于，Memory 并不只是"更长的上下文"：核心在于历史信息如何被持久保留、管理和复用。综述将这一碎片化的领域整理成统一的分类体系，并附有一份开放的 Awesome list。 成果：首个110页的自回归视频生成记忆综述——将 Memory 定义为跨步骤的历史状态（而不只是更长的上下文），对帧、latents、KV cache、循环状态、3D 状态和基于参数的记忆进行分类，来自6所顶尖机构，附开放 Awesome list。 The Past Frames the Future: Memory for Autoregressive Video Generation 论文：arxiv.org/pdf/2609.28466 代码：github.com/HaroldChen19/Awesome-AR-Video-Memory 我们的报道：jiqizhixin.com/articles/2026-10-08-5 📬 #PapersAccepted by Jiqizhixin

想象一个零件正在逐层构建——但任何时候，切削工具都能伸进去移除材料。混合增减材制造（HAM）可以构建复杂体积，然后再把临时支撑或难以触及的区域加工掉。真正的问题是：应该在何处、何时、用哪种刀具配置来增材或减材，才能让整个过程可行、高效、连续且稳定？ 曼彻斯特大学（Charlie C.L. Wang 的数字制造实验室；第一作者 Yongxue Chen）提出了一种用于 HAM 的神经场优化方法，已被 ACM Transactions on Graphics（SIGGRAPH Asia 2026）接收。 传统的 HAM 规划依赖离散规则和体素序列搜索。在低分辨率下，薄壁、精细特征和高曲率几何会出现阶梯误差，甚至完全丢失；而提高分辨率以保持精度，又会迅速导致存储和计算量爆炸。所提出的方法将 HAM 工艺规划从离散搜索推进到连续神经场上的多目标数值优化——从而可以在一个框架内联合优化几何精度、制造效率、可行性以及加工过程中的结构稳定性。代码、项目主页和演示视频均已开源。 结果：连续神经场优化将 HAM 工艺规划从离散体素搜索转变为多目标数值优化——在联合优化精度、效率、可行性和稳定性的同时，避免分辨率与精度之间的权衡——已被 SIGGRAPH Asia 2026（ACM TOG）接收，代码和项目主页均已开放。 Neural Field Optimization for Hybrid Additive–Subtractive Manufacturing（SIGGRAPH Asia 2026 / ACM TOG） 代码：github.com/Yongxue-Chen/hybManuFieldOpt 项目：yongxue-chen.github.io/hybManuFieldOpt/ 我们的报道：jiqizhixin.com/articles/2026-10-08-4 📬 #PapersAccepted by Jiqizhixin

在智能体系统里，几乎一切都在进化：能力通过技能不断积累，经验通过记忆持续沉淀。但防御却始终是静态的——而静态的防御追不上不断进化的攻击。一个恶意技能在安装时什么都不用做错；它可以一直表现正常，直到某个特定用户任务、工作区状态和可用工具组合恰好对齐——这时一个不安全的动作突然显得"有用"：悄悄读取 .env 密钥、外泄日志，或者跳过权限确认。安装前的审查抓不到这种潜在风险，因为它发生在运行时。 研究人员提出了 Defense-as-Skill，已被 NeurIPS 2026 接收。 Defense-as-Skill 通过让运行时守卫本身成为一个可进化的技能，消除了这种不对称——它是一件可以被编辑、评估和替换的产物，就像它所防范的那些能力一样。守卫检查的是动作本身，所以它的保护不限于基于技能的攻击；它覆盖任何违反安全的运行时动作。通过把防御变成一种技能，系统可以在新的攻击模式出现时持续改进它的守卫——弥合不断进化的攻击与静态防御之间的差距。 结果：Defense-as-Skill 让智能体的运行时安全守卫成为一个可进化、可编辑、可替换的技能——检查动作本身（而不只是技能来源），使防御能与攻击一同进化，捕捉安装前审查漏掉的潜在运行时风险——已被 NeurIPS 2026 接收。 Defense-as-Skill: Evolving Runtime Guard Skill for Skill-Augmented Agents (NeurIPS 2026) 论文：arxiv.org/pdf/2609.01487 我们的报道：jiqizhixin.com/articles/2026-10-08-3 📬 #PapersAccepted by Jiqizhixin

“画出 2025 年排名前 5 产品的月度营收，按地区拆分。”听起来很具体——但前 5 是按销售额还是按销量？退款算不算？数据库里到底有没有 2025 年的数据？大多数用户没法在一次查询里把自己的需求表达完整。然而文本到可视化系统很少会问：它们默默选一种解读，然后输出一张图。结果可能看起来合理，却漏掉了用户真正想要的东西。 香港理工大学（共同第一作者 Wenxin Xu、Jinwei Lu）等人提出 VisInteract，一篇 NeurIPS 2026 Spotlight 论文。 VisInteract 把文本到可视化重新定义为交互式意图检索，而不是一次性生成图表。当查询不完整时，模型应该进行多轮交互：补上缺失的、澄清模糊的、纠正错误的——一步步收敛到用户真正想要的图表。现有基准假设查询已经完整指定，并且难以评估开放式的可视化输出（同一句话往往有多种合理呈现）。现有方法无法动态交互，主动把用户真实意图问回来。VisInteract 同时提出了一个交互式基准和一种用交互搜索恢复用户意图的方法，代码开源。 结果：VisInteract 把文本到可视化重新定义为交互式意图检索——用多轮交互补全缺口、澄清歧义、纠正错误，而不是默默猜测——填补了现有基准假设查询已完整指定、方法无法主动问回意图的空白——NeurIPS 2026 Spotlight，代码开源。 VisInteract: Interactive Intent Retrieval for Text-to-Visualization (NeurIPS 2026 Spotlight) 论文：arxiv.org/abs/2609.15182 代码：github.com/wxxv/VisInteract 我们的报道：jiqizhixin.com/articles/2026-10-08 📬 #PapersAccepted by Jiqizhixin