数据源与状态仍在导航菜单中
arxiv.org·2026/10/21·Xiaolong Huang / Yinyuan Zhang 等
低轨卫星星载VLM推理常被功率/热约束、FDIR重启和高优先级载荷抢占等总线强制中断打断,易失激活与KV缓存丢失导致重启重复计算。OrbitWeaver通过阶段感知检查点与依赖感知动态恢复保存进度:视觉编码按层边界、预填充按2D块边界、解码按多token边界选择检查点,平衡SSD写入与重算;恢复时以2D块优先解锁依赖,并用动态规划在100 ms内求最优执行顺序。在Jetson Orin NX/AGX Orin上用Qwen3-VL 2B/4B/8B与MiniCPM-V 4.5及LRS-VQA评测,相比SONIC-layer、SONIC-chunk、HCache,作者报告最高4.07×端到端加速、SSD写量减少3.56×。72小时在Sat-1/Sat-2部署中经历91次中断仍完成全部请求,验证了跨重启恢复进度。
为什么重要 对做边缘/受限硬件大模型推理的人有价值:给出一套可复用的分阶段 checkpoint 与依赖感知恢复调度方法,并提供了在轨和 Jetson 上的完整消融数据。适合 做边缘/受限硬件大模型推理、需要跨断电恢复或长上下文 checkpoint 的工程与系统研究者
在近地轨道卫星上执行视觉-语言模型(VLM),无需先将观测数据下传至地面即可灵活处理。然而在商用现货(COTS)载荷上,一个请求可能跨越多个执行窗口:功耗与热约束、故障触发的重启以及相互竞争的载荷需求,都可能在推理完成前将其中断。每次关机都会丢弃易失的激活值与 KV cache,迫使未受保护的请求在重启后重复已完成的工作。
我们提出 OrbitWeaver,一个通过协同的检查点与恢复机制、在星载中断间保留 VLM 推理进度的框架。其阶段感知(phase-aware)检查点根据视觉编码、语言模型 prefill 与解码各自的状态生命周期和计算特性来选择恢复边界,在存储流量与重计算之间取得平衡。其依赖感知的动态恢复机制则在层(layer)与 token 块(token-chunk)两个维度上,从部分完成的状态调度恢复。
通过将检查点与权重读取同重计算相重叠,它降低了重启延迟;恢复规划器在其调度模型下于 100 ms 内计算出最优执行顺序。在卫星载荷硬件上使用在轨遥测轨迹的实验表明,相比所评估的基线,端到端加速最高达 4.07 倍,SSD 写入量最多减少 3.56 倍。在两颗近地轨道卫星上为期 72 小时的部署表明,OrbitWeaver 能够在反复的总线强制关机下保留推理进度并恢复执行。
Executing vision-language models (VLMs) aboard low-Earth orbit satellites enables flexible processing of observation data without first downlinking it to the ground.
On commercial off-the-shelf payloads, however, a request may span multiple execution windows: power and thermal constraints, fault-triggered reboots, and competing payload demands can interrupt inference before it completes.
Each shutdown discards volatile activations and KV caches, forcing an unprotected request to repeat work after restart.
We present OrbitWeaver, a framework that preserves VLM inference progress across onboard interruptions through coordinated checkpointing and recovery.
Its phase-aware checkpointing selects recovery boundaries according to the state lifetimes and computational characteristics of vision encoding, language-model prefill, and decoding, balancing storage traffic against recomputation.
Its dependency-aware dynamic recovery schedules restoration from partially completed states across the layer and token-chunk dimensions.
By overlapping checkpoint and weight reads with recomputation, it reduces restart latency; the recovery planner computes an optimal execution order under its scheduling model within 100 ms.
Experiments on satellite payload hardware using on-orbit telemetry traces show up to a 4.07-fold end-to-end speedup and a 3.56-fold reduction in SSD write volume over the evaluated baselines.
A 72-hour deployment on two low-Earth orbit satellites demonstrates that OrbitWeaver retains inference progress and resumes execution across repeated bus-enforced shutdowns.
端到端加速
最高,对比 SONIC-layer
恢复提速
冷缓存,全进度点
正常推理开销
对比 no-checkpoint
能量额外
对比 no-checkpoint
注释 · 均为原文报告相对 baselines 的结果,不是绝对性能。出自 摘要/§7.2/§7.3/§7.4/§7.6
注释 · 四条来自 Sat-1/Sat-2 遥测,一条来自 Dellingr 卫星。出自 表 2



EVIDENCE / METHODS
表格
几何平均端到端加速对 SONIC-layer 达 2.95×
| 基线 | 端到端几何平均加速 | 20% 进度恢复耗时倍数 | SSD 写入倍数范围 |
|---|---|---|---|
| SONIC-layer | 2.95× | 6.85× | 2.33–3.56× |
| SONIC-chunk | 1.98× | 6.36× | 1.08–2.13× |
| HCache | 1.65× | 4.40× | 1.10–2.20× |
注释 · 端到端为几何平均;恢复取 Qwen3-VL 4B 在 AGX 20% 进度;写入取 Qwen3-VL 2B 在 Orin 2K–32K。出自 §7.2/§7.3/§7.5
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。