## 1. 项目骨架 - [x] 1.1 初始化 Go module,建立 `cmd/archer` 与 `internal/{cli,schema,scan,row,sink,shard,purge,checkpoint,lag}` 目录 - [x] 1.2 引入 `go-sql-driver/mysql` 与 `klauspost/compress/zstd`,锁定版本 - [x] 1.3 定义 `Chunk`、`Scanner`、`Sink` 接口与共享的 `Row`、`Key` 类型 - [x] 1.4 建立最小 `main.go` 与版本号输出 ## 2. CLI 与配置校验 - [x] 2.1 实现全部参数解析与默认值(`--chunk-size 2000`、`--shard-by none`、`--format dump`、`--compress none` 等) - [x] 2.2 实现必填校验:`--source`、`--where`、至少一个输出目标 - [x] 2.3 实现依赖与互斥校验:date 必须带 `--shard-column`;count/none 禁止;`--bulk-delete` 依赖 `--purge` 且日期模式禁止;insert/ignore/replace 互斥 - [x] 2.4 实现配置标准化与 `config_hash` 计算(排除密码) - [x] 2.5 实现 `--dry-run` 输出:解析后配置、索引探测结果、首条 SELECT 与写入 SQL ## 3. Schema 元数据与索引探测 - [x] 3.1 从 `information_schema` 读取列名、类型、可空性、列顺序 - [x] 3.2 实现唯一索引发现,优先主键,支持用户强制指定索引 - [x] 3.3 实现分片列索引探测:联合索引 / 单列索引 / 无索引三种结果 - [x] 3.4 实现日期列候选枚举与错误提示 - [x] 3.5 实现整数 epoch 列的 min/max 采样与三种单位解释提示 ## 4. 扫描器 - [x] 4.1 实现主键 seek 分块扫描(`key > :last ORDER BY key LIMIT :chunk_size`) - [x] 4.2 实现主键空洞与尾 chunk 的处理,返回准确 `LastKey` - [x] 4.3 实现日期路径 A:`(shard_col, pk)` 行构造器 keyset 分块 - [x] 4.4 实现日期路径 B:逐日枚举 + 长游标流式读取 - [x] 4.5 实现 NULL 日期先扫、非 NULL 后扫的两段扫描 - [x] 4.6 接入 `--max-lag` 拉取前检查与 `--check-interval` 等待 ## 5. 行编码与压缩 - [x] 5.1 实现 dump 编码器(TAB、`\N`、与 MySQL 一致的转义表) - [x] 5.2 实现 CSV 编码器(RFC4180、表头、引号规则、`--csv-null`) - [x] 5.3 实现 JSONL 编码器(时间、DECIMAL、BLOB 的类型映射) - [x] 5.4 实现每分片独立的 gzip 与 zstd 压缩包装器 - [x] 5.5 用固定样例验证三种格式可被对应工具直接导入 ## 6. 分片写入与清单 - [x] 6.1 实现 `ShardWriter`:单活跃分片、逐行写入、按 `--shard-rows` 封片 - [x] 6.2 实现 `.partial` 写入与封片时的 fsync + 原子重命名 - [x] 6.3 实现文件名规则:`[date=/].-.[.]` - [x] 6.4 实现日期分片的目录布局与日期切换时封片 - [x] 6.5 实现 `manifest.jsonl` 追加与 flush(seq/path/date/pk_lo/pk_hi/rows/bytes/sha256) - [x] 6.6 实现崩溃后残留 `.partial` 的识别与清理 ## 7. 目标表写入 - [x] 7.1 实现多行批量 INSERT,按 `max_allowed_packet` 自动拆分 - [x] 7.2 实现 `--insert-ignore` 与 `--replace` - [x] 7.3 实现同实例单事务提交 - [x] 7.4 实现跨实例分别提交与 `--retries` 重试 ## 8. 删除 - [x] 8.1 实现默认 IN 列表删除与 1000 参数分批 - [x] 8.2 实现 `--bulk-delete` 区间删除并附带 `--where` - [x] 8.3 实现 `--safe-auto-increment` 保护最大主键行 - [x] 8.4 实现日期路径 B 的独立 purge 连接 - [x] 8.5 实现日期模式拒绝 `--bulk-delete` 的启动校验 ## 9. Checkpoint 与续跑 - [x] 9.1 实现 `state.json` 原子写(tmp + fsync + rename) - [x] 9.2 记录并校验 `config_hash`、游标、当前分片序号、已处理行数 - [x] 9.3 实现续跑:从游标恢复、跳过已封分片、清理未完成临时文件 - [x] 9.4 实现配置不一致时的拒绝与 `--force-resume` 覆盖 - [x] 9.5 实现信号中断时 flush 当前分片并写 checkpoint ## 10. 进度、统计与错误 - [x] 10.1 实现 `--progress N` 周期进度输出 - [x] 10.2 实现 `--statistics` 结束汇总 - [x] 10.3 统一退出码与错误分类(配置、连接、写入、校验、中断) ## 11. 集成测试与验收 - [x] 11.1 搭建 MySQL 测试环境与固定数据夹具 - [x] 11.2 验证分片有序连续不变量:范围无重叠、合并等于全集、文件名首尾主键正确 - [x] 11.3 验证 chunk 跨分片边界(`chunk-size` 与 `shard-rows` 非整除) - [x] 11.4 验证日期路径 A 与路径 B 的输出一致 - [x] 11.5 验证 NULL、零日期、epoch 秒/毫秒/微秒的分片归属 - [x] 11.6 验证崩溃续跑不丢数据、manifest 与 state 一致 - [x] 11.7 验证 dump/csv/jsonl 分别可被 MySQL、Postgres/ClickHouse 导入 - [x] 11.8 验证 gzip/zstd 分片可独立解压导入 - [x] 11.9 验证 `--dry-run`、互斥校验、无索引 fail-fast 的错误信息 ## 12. 文档与发布 - [x] 12.1 编写 README:安装、最小示例、分片模式、导入方法 - [x] 12.2 编写安全说明:`--purge`、`--bulk-delete`、at-least-once、时区 - [x] 12.3 编写与 pt-archiver 的参数对照表 - [x] 12.4 打包 Windows/Linux 二进制与版本信息