Data collection / 项目定位

自动驾驶数据采集
与设备管理平台

持续收集车端数据,管理长期在外设备的软件版本、升级与运行健康。

01 / 输入

车上有什么数据

相机、雷达、定位与车辆状态
车型配置和人工事件

02 / 过程

系统负责什么

采集、缓冲、写盘、诊断
发版、升级、远程监控与上传

03 / 输出

给谁使用

路测与数据运营人员
为回放、标注和训练提供数据

三个工程协作 · PlusRecorder / l4e_bbox / BBox Control Plane
覆盖数据采集与设备软件生命周期。

郭立鹏 · 自动驾驶数据采集01 / 12

Hardware / 设备形态

两种设备形态,对应两种数据回收方式

占美 GK3000 工控机型号图

常规 bbox · 占美 GK3000

通过以太网接收 ADU 数据
USB 可移动 SSD 录制
回收方式:取回 SSD,在办公室上传

兮克 FS510402DH NAS 型号图

goldenset · 兮克 FS510402DH

2 × U.2 + 4 × NVMe 存储槽位
按车型配置运行本地 LiDAR 驱动
回收方式:通常将 NAS 整机带回上传

ADU / 本机驱动 → 以太网 / 本机消息 → 录制设备 → 本地存储 → 办公室上传
来源:l4e_bbox README / docs/images · 型号展示图,非实车安装照02 / 12

Responsibilities / 功能范围

围绕一次采集,覆盖六项职责

车端服务路测操作员,控制台服务设备运维与数据运营。

01

车辆与采集配置

识别设备和当前车辆
按 profile 选择 topic / 驱动

02

持续录制与存储

本地 fastbag、磁盘发现
有界缓冲、分包与轮转

03

现场质量诊断

检查收流和时间戳
观察积压、错误与溢出

04

路测事件记录

noter 记录接管和场景
关联当前录制 bag

05

软件生命周期管理

发版、办公网升级与现场 OTA
版本、健康检查与升级回执

06

数据回收与上传

办公室上传、文件进度
失败信息与历史结果

诊断策略和本机驱动按设备分组 / 车型配置启用03 / 12

Recorder / 持续采集与存储

Recorder:持续写盘,也看清积压和错误

真实 Recorder 前端 · 本地示例数据(DEMO)

从消息到落盘

topic 订阅与过滤 → 有界缓冲 → 批量写入 fastbag。

存储与轮转

发现录制盘、观察剩余容量;active / standby 管理分包切换。

写入链路可观察

当前 bag、速率、写入 / 轮转错误,以及缓冲占用和溢出计数。

界面用于说明功能;100 MB/s 等数值为演示数据。
界面用于说明功能;100 MB/s 等数值为演示数据。
车端核心:消息接入、缓冲写盘、存储生命周期与录制可靠性04 / 12

Recorder / 数据质量与路测事件

数据录到了,还要确认每路传感器是否正常

真实 Recorder 前端 · 本地示例数据(DEMO)

按传感器分组

相机、LiDAR、毫米波、定位和 IMU;按车型配置必要 topic。

缺流与时序诊断

检查收流、频率和时间戳对齐;Issues only 聚焦异常。

连接现场与后续分析

noter 记录接管和场景,关联当前 bag;包级验证检查连续性。

示例异常:缺流与时间戳对齐偏差;检查项以实际 profile 为准。
示例异常:缺流与时间戳对齐偏差;检查项以实际 profile 为准。
现场诊断 → 路测事件关联 → 相邻 bag 验证05 / 12

Collection workflow / 采集与回收

NAS 从车辆配置、录制、现场诊断到办公室升级、上传的流程
本地 mode 管理服务资源;workflow_status 表达业务进度06 / 12

Lifecycle / 发版、升级与持续运维

软件生命周期:CI 镜像、版本固定与发布,分为办公网 Ansible 升级和现场确认 OTA,结果与健康状态回到远程观测,问题反馈到后续发版。
长期采集的必要支撑:版本可追踪、升级可恢复、运行状态可观察07 / 12

Control plane / 设备与状态

远程看清设备、软件版本与录制状态

长期在外,也能追踪状态

按设备关联车辆,查看版本、模式和最近一次上报。

状态与资源一起看

Observer 报告 Recorder 状态、错误计数、CPU、内存和磁盘。

保留时间和失联语义

心跳、Observer 与 OTA 各自展示新鲜度;历史状态仍可排查。

真实线上设备列表;保留原始内容和状态。
真实线上设备列表;保留原始内容和状态。
截图:bbox.pluscn.cn · 2026-11-17 · 原始界面截图08 / 12

Control plane / 升级与数据回收

升级有执行记录,上传能追到每个文件

升级:目标到执行结果

记录目标版本、触发原因、成功 / 失败及日志入口。

上传:任务到文件

当前、历史、搜索和速率视图;详情展示文件进度及结果。

控制与数据传输分开

CP 管目标、任务和记录;runner 部署,本地 worker 上传。

真实上传历史;单次任务的数据量与耗时不代表平台吞吐上限。
真实上传历史;单次任务的数据量与耗时不代表平台吞吐上限。
截图:线上真实记录 · 只读采集,未触发升级、关机或上传操作09 / 12

Engineering outcomes / 工程价值

让采集设备长期运行,也能持续维护

把 Linux、消息传输、存储、应用服务与控制面连接起来。

01

采集过程可见

录制状态、存储容量
topic 诊断、错误与积压

02

软件版本可持续维护

发版、配置、部署与 OTA
健康检查、恢复与升级回执

03

运行与回收可追踪

远程状态、异常与版本历史
上传任务、文件进度与结果

与 System Engineer / AI Ops 的关联

边缘设备运行 · 部署自动化 · 数据入口质量 · 故障诊断

技术展开:切包前后的 I/O 争用,如何通过日志、缓冲指标和磁盘状态定位。

主讲结束 · 后两页用于架构与可靠性追问10 / 12

Appendix A / 三个工程如何协作

车端数据、PlusRecorder、l4e_bbox 与 BBox CP 的职责和数据流
CP 决定目标与任务,部署工程定义怎样配置,应用负责车端运行11 / 12

Appendix B / 录制可靠性

消息订阅、有界缓冲、写入、bag 轮转及异步收尾的关系