Files
archer/openspec/changes/archive/2026-11-06-add-compress-level-and-xz/specs/file-sharding/spec.md
T
voidandClaude Sonnet 4.6 bc4a6b504f Initial commit: archer, a Go-native MySQL/MariaDB table archiver
Renamed from arcdb: module path, cmd/archer, internal/archererr,
docs, build scripts and ARCHER_* environment variables.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-11-06 22:12:17 +08:00

1.9 KiB

MODIFIED Requirements

Requirement: 文件命名与目录布局

分片文件 MUST 按 <输出目录>/[date=<YYYY-MM-DD>/]<seq>.<pk_lo>-<pk_hi>.<format>[.<compress>] 命名,seq 为从 1 开始的六位零填充序号。日期模式 MUST 按日期建立子目录。输出目录下同时生成 manifest.jsonl 与 state.json。

Scenario: 数量分片命名

  • WHEN 第一个分片主键范围为 1..5000000,格式为 dump,压缩为 zstd
  • THEN 文件名为 000001.1-5000000.dump.zst

Scenario: xz 分片命名

  • WHEN 第一个分片主键范围为 1..5000000,格式为 dump,压缩为 xz
  • THEN 文件名为 000001.1-5000000.dump.xz

Scenario: 日期分片布局

  • WHEN --shard-by date 导出的首个日期为 2025-06-01
  • THEN 文件位于 date=2025-06-01/ 子目录下,序号在该日期内从 000001 开始

Requirement: 分片清单

系统 SHALL 在每次分片关闭后向 manifest.jsonl 追加一行并 flush,记录序号、相对路径、日期(如适用)、首尾主键、行数、字节数与 SHA-256。清单 MUST 在进程崩溃后仍可用于识别已完成的分片。对于已重命名但尚无清单记录的分片,续跑 MUST 按当前输出格式与压缩扩展名识别、补录并计入序号,不得覆盖。

Scenario: 分片关闭后写入清单

  • WHEN 一个分片完成 flush 并重命名
  • THEN manifest.jsonl 追加一条包含 seq、path、pk_lo、pk_hi、rows、bytes、sha256、closed_at 的记录

Scenario: 崩溃后识别已完成分片

  • WHEN 进程在写完两个分片后崩溃
  • THEN manifest.jsonl 中保留这两条完整记录,残留的 .partial 文件不进入清单

Scenario: xz 分片在清单追加前崩溃

  • WHEN 一个 .xz 分片完成重命名后、写 manifest.jsonl 前进程崩溃
  • THEN 续跑扫描识别该分片,补录清单,后续序号从其后继续,不覆盖该文件