250 lines
11 KiB
Markdown
250 lines
11 KiB
Markdown
# ZVFS -> RocksDB (LD_PRELOAD) 分阶段改造计划（可重入）
|
||
|
||
本文档是给后续编码代理（我）使用的执行计划。目标是：在不破坏现有功能的前提下，逐步把 `zvfs.c + zvfs_hook.c` 改造成可支撑 RocksDB 的 LD_PRELOAD 存储层。
|
||
|
||
---
|
||
|
||
## 0. 使用规则（可重入协议）
|
||
|
||
每次开始新一轮开发时，严格按以下顺序执行：
|
||
|
||
1. 读取本文件，定位“当前阶段”和“未完成任务”。
|
||
2. 先做“状态核对”：
|
||
- 代码是否已存在同名结构/函数；
|
||
- 测试是否已覆盖该阶段验收项；
|
||
- 若已完成则跳过，不重复改动（幂等）。
|
||
3. 只推进一个阶段内的最小闭环，不跨阶段大改。
|
||
4. 每完成一个任务，立即更新本文件：
|
||
- 勾选完成项；
|
||
- 记录关键变更文件；
|
||
- 记录剩余风险；
|
||
- 记录本阶段“正确性验证”执行结果。
|
||
5. 若发现与计划冲突的现实约束（SPDK限制/接口差异/语义冲突），先在“变更记录”追加说明，再调整后续子任务，不直接删原计划。
|
||
6. 非代码文档统一写入 `plan/` 目录（用户约束）。
|
||
|
||
---
|
||
|
||
## 1. 总目标与约束
|
||
|
||
### 1.1 总目标
|
||
- 支持 RocksDB 关键 I/O 路径（优先 db_bench 可运行并稳定）。
|
||
- 提供正确 POSIX 语义（至少覆盖 RocksDB 依赖子集）。
|
||
- 从单线程串行模型演进到可并行数据面。
|
||
- 保证崩溃后一致性（元数据持久化可恢复）。
|
||
|
||
### 1.2 当前主要问题（已确认）
|
||
- 单线程 + busy wait + 全局串行，队列深度近似 1。
|
||
- hook 覆盖不足，缺少 pread/pwrite/fsync/ftruncate/openat/stat 等。
|
||
- I/O 参数耦合在 `zvfs_file_t`，不利于 pread/pwrite 和并发。
|
||
- 全局状态无并发保护（`g_fs/fd_table/dirents/open_count` 等）。
|
||
- open/write/close/unlink errno 与 POSIX 语义不完整。
|
||
- 元数据依赖宿主文本文件，容量小、非原子、不可恢复。
|
||
- 配置路径硬编码，部署迁移性差。
|
||
|
||
### 1.3 强制要求（新增）
|
||
- 每个阶段都必须定义“正确性验证方案”，且在阶段结束前执行并记录结果。
|
||
- 未完成正确性验证，不得将该阶段标记为完成。
|
||
|
||
---
|
||
|
||
## 2. 阶段总览
|
||
|
||
- 阶段0：基线与兼容清单（先知道 RocksDB 真实需要什么）
|
||
- 阶段1：架构解耦（file vs io_req）
|
||
- 阶段2：补齐关键 hook 与 POSIX 语义
|
||
- 阶段3：并发模型升级（控制面/数据面分离）
|
||
- 阶段4：元数据持久化重构（super blob / 日志）
|
||
- 阶段5：性能与稳定性验收
|
||
|
||
---
|
||
|
||
## 3. 详细阶段计划
|
||
|
||
## 阶段0：基线与兼容清单
|
||
|
||
### 目标
|
||
- 建立“RocksDB syscall 最小集合”和“当前实现缺口表”。
|
||
|
||
### 任务
|
||
- [x] 用 `strace` 或等效方式采集 `db_bench` syscall（含失败分支）。
|
||
- [x] 形成兼容矩阵：必须实现 / 可降级透传 / 暂不支持。
|
||
- [x] 固化第一批验收用例（最小 db_bench 参数 + 现有单测集合）。
|
||
|
||
### 交付物
|
||
- [x] `plan/rocksdb_syscall_matrix.md`
|
||
- [x] `plan/baseline_commands.md`
|
||
|
||
### 阶段验收
|
||
- [x] 能明确列出阶段2必须完成的 hook 列表。
|
||
|
||
### 正确性验证方案
|
||
- [x] 验证矩阵中的每个“必须实现 syscall”都有最小复现样例（命令或小程序）。
|
||
- [x] 基线命令可重复执行，输出包含 syscall 统计与错误码分布。
|
||
- [x] 验证结果记录到 `plan/baseline_commands.md`（含日期和环境信息）。
|
||
|
||
---
|
||
|
||
## 阶段1：架构解耦（关键）
|
||
|
||
### 目标
|
||
- 把 I/O 请求参数从 `zvfs_file_t` 中拆出，建立请求对象，先打通 pread/pwrite 内核路径。
|
||
|
||
### 任务
|
||
- [x] 新增 `zvfs_io_req`（字段至少：op/buf/len/offset/flags/result/errno/finished）。
|
||
- [x] 重构 `zvfs_read/zvfs_write` 为基于 `zvfs_io_req` 的通用入口。
|
||
- [x] 实现内部 `zvfs_pread_internal/zvfs_pwrite_internal`，不改 hook 先可调用。
|
||
- [x] 移除 `zvfs_file_t` 中仅一次请求有效的临时字段（或标记弃用）。
|
||
|
||
### 交付物
|
||
- [x] `zvfs/zvfs.h` 新结构与接口
|
||
- [x] `zvfs/zvfs.c` 读写路径重构完成
|
||
- [x] `plan/phase1_validation.md`（用户侧验证步骤）
|
||
|
||
### 阶段验收
|
||
- [x] 现有 read/write/lseek 测试全通过。
|
||
- [x] 新增 pread/pwrite 单测通过（可先直连接口，不经 hook）。
|
||
|
||
### 正确性验证方案
|
||
- [x] 新旧接口结果一致性校验：同一输入下 `read/write` 与 `pread/pwrite` 数据一致。
|
||
- [x] 边界测试：offset=0、EOF、跨 page、非对齐、空写入。
|
||
- [x] 失败路径测试：非法 fd/参数时返回值与 `errno` 符合预期。
|
||
|
||
---
|
||
|
||
## 阶段2：补齐 hook 与 POSIX 语义
|
||
|
||
### 目标
|
||
- 满足 RocksDB 最小兼容 API 集，保证语义与 errno 正确。
|
||
|
||
### 首批必须实现
|
||
- [x] `pread/pwrite`（及 `pread64/pwrite64` 视平台符号而定）
|
||
- [x] `open/open64/openat`
|
||
- [x] `fsync/fdatasync`
|
||
- [x] `ftruncate`
|
||
- [x] `fstat/stat/lstat`（至少满足 RocksDB 元数据查询）
|
||
- [x] `rename`（原子替换语义）
|
||
|
||
### 语义修复
|
||
- [x] `open` 支持 `O_TRUNC/O_APPEND/O_EXCL`
|
||
- [x] 权限检查（`O_RDONLY/O_WRONLY/O_RDWR`）
|
||
- [x] 返回值与 `errno` 映射统一（失败路径不可吞错）
|
||
|
||
### 交付物
|
||
- [x] `zvfs/zvfs_hook.c`（phase2 hook 覆盖与语义修复）
|
||
- [x] `test/test_phase2_posix.c`（phase2 POSIX 回归用例）
|
||
- [x] `plan/phase2_validation.md`（用户侧验证步骤）
|
||
|
||
### 阶段验收
|
||
- [ ] db_bench 基础 workload 可跑通（单线程先行）。
|
||
- [ ] 不支持的 syscall 必须明确透传且行为可解释。
|
||
|
||
### 正确性验证方案
|
||
- [ ] 每个新增 hook 至少 1 个正例 + 1 个反例（权限/参数/不存在文件）。
|
||
- [ ] `open` 语义验证：`O_TRUNC/O_APPEND/O_EXCL` 行为与本地文件系统对齐。
|
||
- [ ] `errno` 对照验证：对关键失败场景做预期值断言。
|
||
- [ ] 跑最小 `db_bench`，确认无 “Function not implemented/Bad file descriptor” 类错误。
|
||
|
||
---
|
||
|
||
## 阶段3：并发模型升级
|
||
|
||
### 目标
|
||
- 保持 hook 层阻塞语义，但底层可并行提交处理。
|
||
|
||
### 任务
|
||
- [ ] 设计并实现 `控制面线程 + N个数据面worker`。
|
||
- [ ] 每 worker 使用独立 io_channel。
|
||
- [ ] 引入并发保护：fd_table、dirents、open_count、全局挂载状态。
|
||
- [ ] 修复生命周期竞态（close/unlink 并发、延迟删除）。
|
||
|
||
### 阶段验收
|
||
- [ ] 多线程压测下无崩溃/无明显数据错乱。
|
||
- [ ] QD>1 场景吞吐显著高于阶段2。
|
||
|
||
### 正确性验证方案
|
||
- [ ] 多线程读写一致性校验（文件内容 hash 或区块比对）。
|
||
- [ ] 并发场景稳定性：长时间压测无崩溃、无死锁、无句柄泄漏。
|
||
- [ ] 竞态回归：`close/unlink`、双开同文件、并发 append 场景正确。
|
||
|
||
---
|
||
|
||
## 阶段4：元数据持久化重构
|
||
|
||
### 目标
|
||
- 去掉宿主文本元数据文件，转向 blobstore 内部可恢复元数据。
|
||
|
||
### 任务
|
||
- [ ] 使用 super blob（或单独 metadata blob）管理目录与 inode-like 信息。
|
||
- [ ] 建立日志或 copy-on-write 更新流程，支持崩溃恢复。
|
||
- [ ] 对 `create/unlink/rename/truncate` 实现原子更新策略。
|
||
|
||
### 阶段验收
|
||
- [ ] 强制中断后重启可恢复一致目录和文件大小信息。
|
||
- [ ] 不再依赖固定绝对路径元数据文件。
|
||
|
||
### 正确性验证方案
|
||
- [ ] 故障注入：在 create/write/rename/truncate 中间点中断后重启验证一致性。
|
||
- [ ] 元数据回放验证：目录项数量、文件大小、blob_id 映射正确。
|
||
- [ ] 对比验证：与中断前快照（或日志）比对差异可解释。
|
||
|
||
---
|
||
|
||
## 阶段5：性能与稳定性验收
|
||
|
||
### 目标
|
||
- 形成“可用 + 可解释 + 可回归”的最终版本。
|
||
|
||
### 任务
|
||
- [ ] buffer 管理优化（池化、减少拷贝、减少重复 preread）。
|
||
- [ ] 完整回归：现有单测 + 新增 hook 语义测试 + db_bench 组合。
|
||
- [ ] 输出性能报告（吞吐、延迟、CPU、错误率）。
|
||
|
||
### 阶段验收
|
||
- [ ] 关键 workload 稳定运行，结果可复现。
|
||
|
||
### 正确性验证方案
|
||
- [ ] 全量回归连续执行至少 3 轮，结果一致且无新增失败。
|
||
- [ ] 性能结果包含波动范围（平均值与离散度），可复现实验命令。
|
||
- [ ] 最终发布前执行一次“从空盘到回归完成”的冷启动验证流程。
|
||
|
||
---
|
||
|
||
## 4. 当前阶段状态
|
||
|
||
- 当前阶段：`阶段2`
|
||
- 阶段状态：`pending_user_validation`
|
||
- 本轮目标：用户按 `plan/phase2_validation.md` 执行 phase2 正确性验证
|
||
|
||
---
|
||
|
||
## 5. 每轮执行后必须更新的记录
|
||
|
||
## 5.1 变更记录（按时间追加）
|
||
- [x] 2026-03-02: 完成 phase0（db_bench syscall 基线 + 失败分支 + 兼容矩阵）；文件：`plan/plan.md`、`plan/rocksdb_syscall_matrix.md`、`plan/baseline_commands.md`；风险：当前环境 SPDK 初始化失败（IOVA PA 不可用），需在 phase1 前确定运行环境策略
|
||
- [x] 2026-03-02: 完成 phase1 代码改造（file/io_req 解耦 + 新增 pread/pwrite API）；文件：`zvfs/zvfs.h`、`zvfs/zvfs.c`、`plan/plan.md`、`plan/phase1_validation.md`；风险：本轮未在 root+LD_PRELOAD 环境完成端到端验证
|
||
- [x] 2026-03-02: 根据用户反馈修复 phase1 边界问题（preread 失败时将临时缓冲区清零，避免洞区读到脏数据）；文件：`zvfs/zvfs.c`、`plan/phase1_validation.md`；风险：仍需用户侧端到端复测确认
|
||
- [x] 2026-03-02: 根据用户复测继续修复 sparse hole 问题（offset>EOF 时清零本次覆盖页内 gap 区间）；文件：`zvfs/zvfs.c`、`plan/plan.md`；风险：跨多页大洞写入语义仍需在 phase2 做专项覆盖
|
||
- [x] 2026-03-02: 完成 phase2 代码改造（补齐 openat/pread/pwrite/fsync/ftruncate/stat/rename/fcntl/mkdir/rmdir 等 hook 与关键语义）；文件：`zvfs/zvfs_hook.c`、`zvfs/zvfs.h`、`test/test_phase2_posix.c`、`test/Makefile`、`plan/phase2_validation.md`、`plan/plan.md`；风险：尚未在用户环境完成 db_bench 端到端验收
|
||
- [x] 2026-03-02: 根据用户 db_bench 反馈修复目录打开语义（目录允许 O_RDONLY 打开，不再强制要求 O_DIRECTORY）；文件：`zvfs/zvfs_hook.c`；风险：仍需用户复测 db_bench
|
||
- [x] 2026-03-02: 根据用户 db_bench 反馈补齐 fadvise/fallocate/sync_file_range hook，避免 pseudo-fd 被内核路径误判为 EBADF；文件：`zvfs/zvfs_hook.c`、`zvfs/zvfs.h`；风险：仍需用户复测 db_bench
|
||
|
||
## 5.2 风险清单（持续维护）
|
||
- [ ] 线程模型改造可能引入 SPDK thread affinity 问题
|
||
- [ ] rename/truncate 语义与 blobstore 能力映射复杂
|
||
- [ ] LD_PRELOAD 多符号拦截顺序可能受 libc/应用实现影响
|
||
|
||
## 5.3 决策记录（ADR-lite）
|
||
- [ ] D-001: 为什么选择控制面/数据面分离
|
||
- [ ] D-002: 为什么选择 super blob 元数据格式
|
||
- [ ] D-003: 不支持 syscall 的透传策略与边界
|
||
|
||
---
|
||
|
||
## 6. 完成定义（DoD）
|
||
|
||
满足以下条件才可标记“计划完成”：
|
||
- [ ] 阶段0~5全部验收项勾选完成
|
||
- [ ] RocksDB db_bench 至少 3 类 workload 稳定通过
|
||
- [ ] 关键 POSIX 语义测试通过并有失败用例说明
|
||
- [ ] 文档包含部署方式、限制项、回归命令
|