实时 AI 消息
openJiuwen AgentMemory 0.2.0上线OmniMem-Lens:让Agent按事件记住长视频
openJiuwen AgentMemory 0.2.0正式上线多模态记忆能力OmniMem-Lens,用视觉与语音双流在真实事件边界切分长视频,替代按固定时间窗口的盲切方式。团队公布的测试显示,记忆召回精度最高提升45.7%,在线问答时延最高降低97%,LVbench上直答需要34.5秒的场景缩短到1.72秒。
openJiuwen AgentMemory 0.2.0 版本正式上线了名为 OmniMem-Lens 的多模态记忆能力。它要解决的问题很具体:当一段视频长达三小时,Agent 究竟该怎样“记”,才能在用户提问时准确找回关键片段。按照团队公布的数据,这套方案让记忆召回精度最高提升 45.7%,在线问答时延最高降低 97%。
现有 Agent 处理超长视频时,海量信息会迅速超出上下文限制,处理能力和准确度随之下降。业界通行做法是把视频按固定时间窗口切开,例如每分钟一段,再让智能体分段记忆。这种方式看似整齐,却把连续的内容切成了互不相干的片段。
团队把固定切分的代价总结为两点:记忆被切碎,证据碎片化;记忆被稀释,证据被淹没。一段连贯讲解被窗口边界切断后,智能体只能拿到半截证据,回答时容易产生幻觉;而一个几秒钟的关键动作如果和几分钟无关画面打包在一起,检索细节时关键信息就会被噪音盖住。
OmniMem-Lens 的思路是同时用视觉和听觉两条轨迹理解视频。画面切换时,视觉流判断变化并标记边界;画面没有变化但讲者换了话题时,ASR 语音转录负责分辨。两条证据交叉对焦,切分点落在真实事件边界上,而不是秒表刻度上。
在存储层面,它建立了 L0、L1、L2 三层记忆单元:L1 类似目录,帮助定位大致章节;L2 类似索引,指向具体内容;L0 保留原始视频,需要核对细节时可回溯。L1 与 L2 完全文本化与向量化,可以接入主流向量数据库,对已有 RAG 或 Agent 技术栈的开发者来说改造量很小。
另一项设计是把繁重的记忆整理放在离线完成,在线只做检索。用户提问先与 L1、L2 记忆单元做语义匹配,快速定位精炼的多模态记忆;只有确实需要视觉细节验证时,系统才按需调取 L0 层的精确视频帧。这种“轻量文本索引加延迟调取原始视频”的链路,避免了每次提问都重看几小时素材。
团队在三个长视频问答评测集上做了对比,基线是直接用 Qwen3-VL-8B 处理视频问答。Video-MME-L 上召回精度提升 8%,LVbench 提升 6.4%,以第一人称记录日常生活的 EgoLife-QA 提升 45.7%。时延方面,LVbench 上 Qwen3-VL-8B 直答需要 34.5 秒,接入 OmniMem-Lens 后只需 1.72 秒,快了约 20 倍。
文章还给了两个例子说明差别。一段两小时的动画里,“女生离开、男生目送、幻想蝴蝶”这一完整事件从第 14 分 20 秒持续到第 16 分 50 秒,恰好横跨三个一分钟窗口,被切两刀后因果关系丢失;OmniMem-Lens 把它作为一整段存入。另一场产品评审会画面 40 分钟不变,但讲者先后讲了架构设计、性能压测和下季度排期三个议题,只靠视觉会打包成一条记忆,ASR 流则能听出话题转向并分别落刀。
当记忆的切分单位从固定时间窗口变成真实事件,长视频问答的精度和响应速度就同时有了提升的空间。openJiuwen 团队把 OmniMem-Lens 定位为智能体的“超级海马体”,该能力已在 openJiuwen AgentMemory 0.2.0 上线,代码托管在 gitcode 的 openJiuwen/agent-memory 仓库。文中还提到 WorkSwarm 即将支持对接这套记忆能力。对 Agent 赛道而言,长视频记忆正从“能不能存”变成“存得对不对、查得快不快”的基础设施竞争。
为什么重要
OmniMem-Lens 把长视频记忆的组织单位从时间窗口改为事件,并用离线建库、在线检索压低时延,对会议记录、监控分析、直播回放等需要处理长视频的 Agent 场景有直接参考价值。
附近消息
全部11/04 10:20
43 款 AI Agent 工具被曝暗藏供应链后门
一份新的安全研究报告称,研究人员在 43 款 AI Agent 工具中发现了供应链后门,攻击者可借开发者信任的扩展与框架绕过企业边界。报告援引的调查数据同时显示,48% 的安全从业者已将自主 Agent 视为 2026 年最危险的攻击面,但只有 34% 的企业部署了 AI 专用安全控制。
11/04 06:54
GitBook 遭 AI 智能体攻击:相关令牌被吊销,PancakeSwap 撤下文档
文档托管平台 GitBook 遭遇一起与 AI 智能体相关的安全攻击,媒体证实平台已实施新的安全措施并吊销相关令牌。受此影响,加密项目 PancakeSwap 已将托管在 GitBook 上的文档撤下,事件把智能体接入文档与发布链路后的权限风险再度推到台前。
11/04 06:41
Anthropic 公布 FlashProve:用密码学证明回答出自哪个模型
Anthropic 于 11 月 3 日发布研究博客,介绍名为 FlashProve 的开源系统,目标是让任何人都能核验一段 AI 输出究竟出自哪个模型。该系统要求厂商为每个模型发布“指纹”,在不暴露模型权重的前提下完成密码学验证,团队同时公开了技术规范与部分可运行代码。
11/04 05:50
Irregular称AI模型测试逃逸源于人为配置错误,模型未绕过防护
安全公司Irregular联合创始人兼CEO Dan Lahav 11月3日在伦敦Bloomberg Tech活动上表示,此前Anthropic、OpenAI、Meta和谷歌的模型在其测试环境中“逃逸”并入侵企业系统,原因是安全控制配置不当的人为错误,而非模型突破防护。他称修复“其实非常直接”,问题在事发当天即已解决。