具身智能 / 项目重点进展

flashrt-project/FlashRT

github.com·2026/10/20·flashrt-project

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于项目 README 7.6 万字 + 3 个源文件 · 完整阅读

FlashRT 将 $π 0.5$ 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

FlashRT 是面向具身智能的小批量实时推理引擎，支持机器人策略、多模态与音视频模型在 NVIDIA、AMD、Ascend 上自动 dispatch、单批次运行。它用模型专用数据流、静态图重放、低比特量化校准、跨层融合及手写 kernel，直接加载权重，首次校准捕获后持续回放。官方称较 OpenPI/LeRobot 基线，Thor 上 $π$ 系列策略决策频率从 3.8 Hz 提至 45.1 Hz；Blackwell GPU 低比特模式达 8.75 ms、114 Hz，LIBERO 闭环成功率 94.29%。上手可用 load_model/predict、Docker 镜像或 FlashRT Structures 挂载未改动 PyTorch/vLLM 主机；PyPI 包不含原生扩展，完整部署需编译 .so。

1Pi0.5 NVFP4 在 RTX 5090 达 8.75ms / 114Hz
23 行 API 加载，首次 ~3s 校准后纯图回放
3NVIDIA / AMD / Ascend 三后端，无需 fork 宿主

为什么重要　具身工程师可在 Jetson Thor / RTX 5090 上直接部署 VLA 策略，3 行代码切换推理后端而不改动训练管线适合　具身智能/自动驾驶推理部署工程师，需在边缘设备跑实时策略闭环

来源: github.com
发布: 2026/10/20
作者: flashrt-project

语言占比

C++ 56.7%
Python 30%
Cuda 11.5%
HIP 1.1%

精度层级: FP8 / NVFP4 / INT8 / W4A8
目标硬件: Thor SM110 / RTX 5090 SM120 / MI350X / Ascend 910B
前端框架: PyTorch / JAX，共享同一 kernel binary
等效精度: 双前端余弦 ≥ 0.999

达 49.2Hz，RTX 5090 NVFP4 达 114Hz，LIBERO-10 成功率 94.29%

40.71ms

Thor FP8 延迟

49.2Hz

Thor 吞吐

94.29%

LIBERO-10 成功率

16.4ms

MI350X FP8 延迟

~3s

首次调用耗时

校准+图捕获，后续纯回放

注释 · 均为 batch=1 稳态中位数，200 次预热 + 1000 次测量出自 §Benchmark Pi0.5

cpp/171 个文件
Native C++ 模型运行时（无 Python 依赖）
csrc/1360 个文件
CUDA/HIP/AscendC 手写 kernel 与 vendored attention/GEMM
exec/18 个文件
C ABI 执行契约：Buffer / Graph / Plan 回放机制
flash_rt/542 个文件
Python 前端：权重、校准、CUDA Graph 捕获、模型 API
serving/38 个文件
场景宿主：OpenAI 兼容 HTTP、机器人执行状态
training/54 个文件
Pi0.5 LoRA 微调（FP8 + LoRA，PyTorch / JAX）

代码分布（各目录文件数）

csrc/
1360 个
flash_rt/
542 个
tests/
248 个
cpp/
171 个
docs/
96 个
training/
54 个
examples/
39 个
serving/
38 个
scripts/
22 个
exec/
18 个

1
安装纯 Python 包
```
$ pip install flash-rt
```

克隆并构建内核

$ git clone https://github.com/flashrt-project/FlashRT.git && cd FlashRT && pip install -e ".[torch]" && cmake -B build -S . && cmake --build build -j$(nproc)

运行快速基准

$ python examples/quickstart.py --checkpoint /path/to/pi05_checkpoint --benchmark 20

3 行推理调用

$ model = flash_rt.load_model(checkpoint="/path/to/pi05_checkpoint", config="pi05", framework="torch")
  actions = model.predict(images=[base_img, wrist_img], prompt="pick up the red block")

中文（AI 翻译）

FlashRT 是面向小批量、延迟敏感 AI 工作负载的高性能实时推理引擎；旗舰集成支持 Pi0、Pi0.5、GROOT N1.6 和 Pi0-FAST 的生产 VLA 控制，也支持 LLM，例如 qwen3.6-27B。

原文

FlashRT is a high-performance realtime inference engine for small-batch, latency-sensitive AI workloads.

The flagship integration is production VLA control for Pi0, Pi0.5, GROOT N1.6, and Pi0-FAST. Also support llm e.g, qwen3.6-27B

表格

Pi0.5 五硬件延迟对照

RTX 5090 8.75ms 为当前最快，Thor NVFP4 较 FP8 提速 2×

硬件	精度模式	延迟	吞吐
Jetson AGX Thor	OpenPI FP8	40.71 ms	24.6 Hz
Jetson AGX Thor	+ FA4	20.33 ms	49.2 Hz
RTX 5090	FP8 2-view	13.10 ms	76 Hz
RTX 5090	FP4 2-view	8.75 ms	114 Hz
AMD MI350X	FP8 CDNA4	16.4 ms	61 Hz

注释 · Thor 行使用 OpenPI pi05_libero、2 相机、10 步去噪出自 §Benchmark Pi0.5 表

FlashRT 将

π 0.5

推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

π

系列策略决策频率从 3.8 Hz 提至 45.1 Hz；Blackwell GPU 低比特模式达 8.75 ms、114 Hz，LIBERO 闭环成功率 94.29%。上手可用 load_model/predict、Docker 镜像或 FlashRT Structures 挂载未改动 PyTorch/vLLM 主机；PyPI 包不含原生扩展，完整部署需编译 .so。

1Pi0.5 NVFP4 在 RTX 5090 达 8.75ms / 114Hz

23 行 API 加载，首次 ~3s 校准后纯图回放

3NVIDIA / AMD / Ascend 三后端，无需 fork 宿主

来源

github.com

发布

2026/10/20

作者

flashrt-project

中文（AI 翻译）

原文

FlashRT is a high-performance realtime inference engine for small-batch, latency-sensitive AI workloads.

The flagship integration is production VLA control for Pi0, Pi0.5, GROOT N1.6, and Pi0-FAST. Also support llm e.g, qwen3.6-27B

硬件

精度模式

延迟

吞吐

Jetson AGX Thor

OpenPI FP8

40.71 ms

24.6 Hz

Jetson AGX Thor

+ FA4

20.33 ms

49.2 Hz

RTX 5090

FP8 2-view

13.10 ms

76 Hz

RTX 5090

FP4 2-view

8.75 ms

114 Hz

AMD MI350X

FP8 CDNA4

16.4 ms

61 Hz

flashrt-project/FlashRT

FlashRT 将 $π 0.5$ 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

项目概览

语言占比

Pi0.5 跨平台推理性能

代码结构

代码分布（各目录文件数）

FlashRT 八组件推理架构

快速上手 / 部署

配图

原文摘要

中文（AI 翻译）

原文

Pi0.5 五硬件延迟对照

flashrt-project/FlashRT

FlashRT 将 $π 0.5$ 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

项目概览

语言占比

Pi0.5 跨平台推理性能

代码结构

代码分布（各目录文件数）

FlashRT 八组件推理架构

快速上手 / 部署

配图

原文摘要

中文（AI 翻译）

原文

Pi0.5 五硬件延迟对照

FlashRT 将 π0.5 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

项目概览

语言占比

Pi0.5 跨平台推理性能

代码结构

代码分布（各目录文件数）

FlashRT 八组件推理架构

快速上手 / 部署

配图

原文摘要

中文（AI 翻译）

原文

FlashRT 将 π0.5 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

项目概览

语言占比

Pi0.5 跨平台推理性能

代码结构

代码分布（各目录文件数）

FlashRT 八组件推理架构

快速上手 / 部署

配图

原文摘要

中文（AI 翻译）

原文

FlashRT 将 $π 0.5$ 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制

FlashRT 将 $π 0.5$ 推理压至 22.2ms，边缘设备实现 45.1Hz 机器人控制