Renamed from arcdb: module path, cmd/archer, internal/archererr, docs, build scripts and ARCHER_* environment variables. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
3.6 KiB
3.6 KiB
1. CLI 参数与校验
- 1.1 把
--progress从 int 改为自定义flag.Value,支持auto|on|off|N,默认auto - 1.2 新增
--progress-interval(默认1s),并接入cli.Config - 1.3 在
validate.go中校验--progress取值与--progress-interval > 0,错误走 KindConfig - 1.4 更新
--help文案与cli_test.go,覆盖auto、on、off、0、正整数、非法值
2. internal/progress 模块
- 2.1 定义
Reporter与内部快照结构,用互斥量保护计数、阶段、估算、位置与消息 - 2.2 实现
Start/Stop与 ticker 生命周期,支持注入时钟与io.Writer - 2.3 实现 TTY 判定(
os.File.Stat的ModeCharDevice)与 live/line 渲染器选择 - 2.4 实现 live 单行渲染:
\r覆盖、空格补齐、宽度上限与字段优先级裁剪 - 2.5 实现非 TTY 的稳定 key=value 行渲染
- 2.6 实现 5 秒窗口速率与 ETA(基于本次运行的推进速率,不使用 elapsed/pct)
- 2.7 实现
Message:清 live 行、整行输出、下一拍重绘 - 2.8 实现
done汇总行与中断时的最终快照行 - 2.9 单元测试:live/line 输出、间隔节流、行阈值触发、清行补齐、消息不撕裂、速率窗口、ETA 降级
3. 廉价总量估算
- 3.1 实现有界估算查询:独立连接、
context.WithTimeout(2s)、失败/超时静默返回无估算 - 3.2 日期模式:
MIN/MAX(shard_column)得到天范围,发布estimate=day - 3.3 非日期模式:仅单列整数唯一键时用
MIN/MAX(key),发布estimate=key - 3.4 复合键、字符串/二进制键、无索引时跳过并保持
estimate=none - 3.5 单测覆盖估算可用、超时降级、口径不适用;集成测试覆盖日期与主键两种口径
4. 运行循环接入
- 4.1 在
execute启动 Reporter,在finish/interrupt停止 - 4.2 推送阶段:
probe、resume(Manifest.Adopt)、estimate、scan、file、db、checkpoint、finalize - 4.3 每个 chunk 完成后发布 RowsRead/committed、分片序号、已写字节与当前键位置
- 4.4 把
lag.OnWait改为lag-wait阶段并携带原因,移除裸waiting:输出 - 4.5 把
app.go中直接写os.Stderr的警告与提示改为Reporter.Message - 4.6 读取
state.json时记录baseRows,进度显示base + 本次 RowsRead - 4.7
saveState写入baseRows + 本次 RowsCommitted,修复续跑后rows_done重置 - 4.8
--statistics分开展示本次运行与含续跑的累计值 - 4.9 中断顺序:停刷新 → 清行 → 最终快照 →
SealCurrent→saveState,退出码保持 130
5. 测试与验证
- 5.1 更新
internal/app/integration_test.go中从 stdout 抓progress:的用例,改为 stderr 与新模式 - 5.2 新增集成测试:续跑后
state.json的rows_done为累计值 - 5.3 新增集成测试:
--progress off与默认非 TTY 时 stderr 无进度行 - 5.4 手动验证 Windows conhost 的 live 刷新、重定向日志的
--progress on输出、SIGINT 快照 - 5.5 运行
go test ./...与go vet ./...,确认无 data race(go test -race覆盖 progress 单测)
6. 文档与收尾
- 6.1 README 增加进度章节:模式、默认行为、通道、估算口径与限制
- 6.2 说明
scripts/export-all.ps1可用--progress on让日志可 tail,并说明-Verify的续跑语义变化 - 6.3 运行
openspec validate add-realtime-progress --strict并修复所有告警