长视频三维重建一直面临“吃不下、拼不稳”的难题；实际场景中，用户或设备采集的视频通常长达数千甚至数万帧，覆盖范围从街区延伸至数公里。传统三维重建和视觉里程计方法在处理这类超长序列时，往往需要将数据切分为小段分别建模，再拼接成全局地图。然而，随着序列长度增加，计算和存储开销急剧上升，系统要么难以承载，要么因长距离漂移累积导致“局部精细、整体失真”，无法生成城市级连续三维模型。 原因 瓶颈主要来自两上： 1. 算法限制：许多方法依赖注意力或全局匹配机制，计算复杂度随帧数呈二次方甚至更高增长，难以直接应对万帧级序列。即使分段处理，跨段衔接时也容易丢失全局参照，导致坐标系不一致。 2. 数据不足：现有训练数据多集中于室内或短距离户外场景，视角、尺度和光照变化有限，模型缺乏城市级连续变化的经验。面对长距离街景、古城巷弄或复杂交通环境时，鲁棒性和泛化能力明显下降。 影响 长序列三维重建能力直接影响数字基础设施的效率和质量。在自动驾驶、机器人巡检、应急测绘、文旅数字化等领域，高精度、低漂移的三维地图是关键基础。若重建技术无法稳定处理长视频，只能依赖高成本专业设备或人工修补，难以满足“低成本采集、快速生成、持续更新”的需求。尤其在城市更新、灾害评估等场景中，能否通过普通摄像设备获取可靠三维结果，决定了信息获取速度和决策支持能力。 对策 针对这些问题，谷歌团队近期提出LoGeR（长上下文几何重建与混合记忆）框架，通过“混合记忆”增强长序列建模能力，并利用分块处理与对齐机制实现可扩展重建。 1. 分块处理：将超长视频切分为固定长度的片段进行局部建模，每段专注于细节重建和相对位姿估计，再通过对齐机制将相邻片段衔接至同一全局坐标系，减少跨段拼接误差。这个策略使计算资源开销与片段数量呈线性关系，而非随总帧数剧增，为万帧级输入提供可行性。 2. 混合记忆：结合短期记忆与长期记忆。短期记忆采用滑动窗口式注意力，保留最近片段的高频细节，确保新生成的局部三维块与前序部分精确对接；长期记忆以压缩形式存储全局布局信息，在长距离运动或视角突变时提供稳定参照，抑制累计漂移并校正偏差。两者互补，兼顾局部精度与全局一致性。 3. 数据优化：融合多来源数据集，增强室内外及复杂场景覆盖，并提高长距离导航数据的训练权重。采用渐进式训练，从短片段开始逐步增加长度，稳定提升模型的长序列处理能力。 成果 根据论文数据，LoGeR在多个公开基准上表现突出：在KITTI等数据集中，轨迹误差显著降低；在罗马等城市街景的长序列评测中，1公里至10公里以上的重建一致性有所改善；部分室内测试中，速度优于传统双向方法，接近实时重建。此外，系统能在闭环场景中识别“回到起点”的空间关系并完成闭合，减少误差累积。 挑战 研究也指出当前限制： 1. 长期记忆的有效容量受训练上下文制约，极端超长序列仍可能出现漂移； 2. 数据多样性不足，未覆盖的地域风貌、极端天气或动态拥堵场景可能引发失效； 3. 算力要求较高，需继续优化才能在普通终端或车载平台上实现稳定实时运行。 前景 “线性复杂度的长序列建模”正成为三维视觉的重要方向。随着移动端采集和城市级数字化需求增长，能在长距离、跨尺度、多变光照条件下稳定生成三维地图的技术，将推动高精地图更新、城市数字孪生、文化遗产保护等应用向更低成本、更快生成、更广覆盖发展。未来若能在更大规模、更复杂场景中优化算力、能耗与鲁棒性，混合记忆思路有望成为长序列视觉系统的通用组件，并拓展至时间序列预测等领域。
从碎片化拼图到完整世界构建，这项突破为人工智能处理复杂系统提供了新路径。当技术学会“记忆”，数字世界与物理空间的边界或将深入模糊。如何在技术创新与伦理约束间找到平衡，将成为下一阶段的重要议题。