docs(importer): 补充导出流程、数据模型与 ZPK 内容分析

- README:三步流程、接口与下载地址、破解参数、日常命令与性能说明
- DATA-MODEL:词书/词条及关联数据的实体关系
- zpk-decrypted-content-analysis:ZPK 解密后的字段结构分析

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
voidandClaude Sonnet 4.6 committed 2026-11-08 21:16:04 +08:00
1 parent f03ef43c21
commit 131c2b6353
3 files changed
+1808

No files matched your search

+295
View File
@@ -0,0 +1,295 @@
# Lexis Export Toolkit
> 本目录是 `word-market` monorepo 的 `importer` 子项目。以下命令均在 `importer/` 目录下执行。
这个目录是“不背单词 / Lexis”离线导出工具包。整个流程三步,每步产出都是可读明文:
1. 下载词书目录(游客态接口,产出可读 JSON)
2. 逐个下载所有词书,解密并导出单词(产出可读 SQLite / CSV)
3. 逐个下载所有词书所有单词的 ZPK,并解密为 JSONL(产出可读 JSONL)
解密逻辑抽成独立工具(`decrypt-sqlcipher2-db.py`、`decrypt-zpk-aes.py`),可单独调用,也被步骤 2/3 复用。
## 环境
- Windows + PowerShell
- Python 3.10+
- Python 依赖:`pycryptodome`
- 不依赖 `adb`:主流程已完全走游客态 HTTP 接口与静态 CDN,不再从设备拉取数据
- 可选:`bin\jadx-1.5.6`,只在复核 APK / `libcommon.so` 常量时需要
安装依赖:
```powershell
pip install pycryptodome
```
## 目录
```text
README.md
run.py # 一键逐个执行三步流程
src\
fetch-book-catalog.py # 步骤1:从服务端拉取词书目录(游客态接口)
download-wordbooks.py # 步骤2:逐个下载词书、解密并导出单词与 zpk 字段
download-zpk.py # 步骤3:从词表去重后逐个下载所有 ZPK 并解密为 JSONL
decrypt-sqlcipher2-db.py # 独立工具:离线解密单个 SQLCipher2 词书 DB(可单独调用)
decrypt-zpk-aes.py # 独立工具:离线解密 ZPK 为 JSONL(可单独调用)
archive\ # 已归档:旧版分步工具(download-all-wordbooks.py、download-all-zpk.py、export-wordbook-words.py、export-word-zpk-index.py 等)
output\ # 统一输出目录(三步流程的所有产物)
book-catalog.json # 步骤1 产出(可读)
book-catalog-full.json # 步骤1 产出(可读)
databases\ # 步骤2 原始加密 DB(中间缓存,非最终产出)
decrypted-databases\ # 步骤2 解密后 DB(可读)
wordbook-words\ # 步骤2 每本词书单词 CSV(可读)
all-wordbook-words.csv # 步骤2 全量词表(可读,步骤3 输入)
unique-zpk-index.csv # 步骤3 去重 ZPK 索引(可读)
zpk-cache\0\ # 步骤3 加密 ZPK(中间缓存,非最终产出)
zpk-jsonl\ # 步骤3 解密后 JSONL(可读)
wordbook-download-report.csv # 步骤2 下载报告
wordbook-word-summary.csv # 步骤2 导出报告
zpk-download-report.csv # 步骤3 下载/解密报告
bin\
is_cool_lexis_5_11_1_1787132405511.apk
jadx-1.5.6\
```
## 关键路径
- 原始 APK:`bin\is_cool_lexis_5_11_1_1787132405511.apk`
- 词书目录:`output\book-catalog.json`(精简字段,可读)
- 词书目录全量:`output\book-catalog-full.json`(接口原始 tabs/books)
- 原始词书 DB:`output\databases\LangEasyLexisV3_<CODE>.db`(中间缓存)
- 解密后词书 DB:`output\decrypted-databases\LangEasyLexisV3_<CODE>.sqlite`(可读)
- 全量词表:`output\all-wordbook-words.csv`(可读)
- 唯一 ZPK 索引:`output\unique-zpk-index.csv`(可读)
- ZPK 缓存:`output\zpk-cache\0\*.zpk`(中间缓存)
- ZPK 解密输出:`output\zpk-jsonl\zpk-decrypted.jsonl`(可读)
- 下载报告:`output\wordbook-download-report.csv`、`output\zpk-download-report.csv`
## 完整流程
整个流程三步:下载词书目录 -> 逐个下载所有词书 -> 逐个下载所有词书所有单词的 ZPK。
一键顺序执行三步(任一步失败即停):
```powershell
python run.py
```
也可单独执行每一步(以下是三个步骤的命令):
步骤1:拉取词书目录(游客接口,无需登录/设备):
```powershell
python src\fetch-book-catalog.py
```
步骤2:逐个下载所有词书(下载 zip -> 校验 MD5 -> 解包 -> 解密 DB -> 导出单词与 zpk 字段):
```powershell
python src\download-wordbooks.py --workers 16
```
步骤3:从全量词表去重后逐个下载所有 ZPK,并解密为 JSONL(断点续传):
```powershell
python src\download-zpk.py --workers 96 --timeout 6 --progress-every 1000
```
离线解密已下载的 ZPK(独立工具,可单独调用,非必要):
```powershell
python src\decrypt-zpk-aes.py --output output\zpk-jsonl\zpk-decrypted.jsonl
```
## 词书列表接口
词书目录不再依赖设备偏好文件,直接走游客态接口拉取:
```text
GET https://api.beingfine.cn/v3/3/bb/wordbooks/for-guest/{timestamp}
```
请求参数(query):
```text
type=3/bb/wordbooks/for-guest
app_id=600000001
udid=<任意,可为空>
umid=<任意,可为空>
version=5.11.1
user_id=0
channel=isCool
timestamp={当前毫秒时间戳}
timezone=480
pad=0
token=tk85bf4d7d70a4d5028187ba6dfb3649
```
请求头:
```text
Referer: https://app.bbdc.cn
User-Agent: LangEasyLexis/5.11.1
```
响应为明文 JSON,`result_code=200`,`data_body` 是字符串形式的 JSON,
包含 `tabs`(分类)、`books`(全部词书,约 1000 本)、`last_update_time`。
该接口不校验 `sign`、`udid`、`umid`,无需逆向签名算法。
实现位置:`src\fetch-book-catalog.py`。
## 词书 DB 破解信息
词书 DB 是 SQLCipher2 风格分页加密:
- key:`arsenal iscool`
- page size:`1024`
- reserve:`48`
- KDF:`PBKDF2-HMAC-SHA1`
- iterations:`4000`
- 每页 IV:页面尾部 reserve 区前 16 字节
实现位置:`src\decrypt-sqlcipher2-db.py`(独立工具,`download-wordbooks.py` 会导入复用)。
`src\archive\derive-lexis-db-keys.py`(已归档,日常流程不需要)用来复核 `libcommon.so` 中 `getDBKey()` 的常量派生。它默认读取 APK 反编译资源里的:
```text
jadx-out\resources\lib\x86\libcommon.so
```
如果以后要复核 key 派生,先用 `bin\jadx-1.5.6` 重新反编译 `bin\is_cool_lexis_5_11_1_1787132405511.apk` 生成 `jadx-out`。
## 词书下载
词书 DB zip 走静态 CDN:
```text
{cdn_base}/dicts/v3/{code}/{version}/LangEasyLexisV3_{code}.db.zip
```
可用 CDN:
```text
http://static.beingfine.cn
https://hwstatic.beingfine.cn
https://ccastatic.beingfine.cn
```
请求头:
```text
Referer: https://app.bbdc.cn
User-Agent: LangEasyLexis/5.11.1
```
下载工具会校验 `Content-MD5`,并自动 fallback 到下一个 CDN。
## ZPK 下载
ZPK 文件走静态 CDN:
```text
{cdn_base}/r/{zpkName}.zpk
```
`zpkName` 来自词书数据库的 `zpk` 字段,格式:
```text
{bid}_{word_id}_{version}_{updated_unix}
```
下载工具同样支持断点续传、`Content-MD5` 校验和 CDN fallback。
## ZPK 解密算法
`.zpk` 是 protobuf field 1 包住的 AES 密文:
```text
.zpk
-> protobuf field 1 bytes: AES-256-CBC ciphertext
-> key = md5(word).hexdigest().encode("ascii")
-> iv = b"IscoolInitVector"
-> PKCS7/PKCS5 unpad
-> protobuf field 1 bytes: UTF-8 JSON
```
Python 等价实现:
```python
import hashlib
from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
key = hashlib.md5(word.encode("utf-8")).hexdigest().encode("ascii")
iv = b"IscoolInitVector"
plaintext = AES.new(key, AES.MODE_CBC, iv).decrypt(ciphertext)
plaintext = unpad(plaintext, 16)
```
实现位置:`src\decrypt-zpk-aes.py`。
## 日常命令
继续下载缺失 ZPK(已下载的自动跳过,已解密的自动跳过下载与解密):
```powershell
python src\download-zpk.py --workers 96 --timeout 6 --progress-every 1000
```
重新离线解密已下载的 ZPK(覆盖写):
```powershell
python src\decrypt-zpk-aes.py --output output\zpk-jsonl\zpk-decrypted.jsonl
```
重新导出词表(下载已存在则跳过,只重跑解密与导出):
```powershell
python src\download-wordbooks.py --workers 16
```
单独解密一个词书 DB(独立工具):
```powershell
python src\decrypt-sqlcipher2-db.py output\databases\LangEasyLexisV3_<CODE>.db output\decrypted-databases\LangEasyLexisV3_<CODE>.sqlite
```
`download-zpk.py` 每次运行都会从 `all-wordbook-words.csv` 重建 `unique-zpk-index.csv`,无需单独生成索引。
## 当前状态
- 三步流程输出统一到 `output\`,每步产出都是可读明文;加密产物(`databases\`、`zpk-cache\0\`)仅作为断点续传的中间缓存。
- 完整跑完:`output\unique-zpk-index.csv` 约 115104 个唯一 ZPK 名,`output\zpk-jsonl\zpk-decrypted.jsonl` 是最终可读解密产物。
- 旧的动态调试、native trace、内存采样脚本已清理;当前 ZPK 正文算法不依赖真机调试。
## 下载性能与中断
`src\download-zpk.py` 已改成长连接 worker 池:
- 默认并发:`64`
- 推荐并发:`64` 到 `96`;如果本机网络和 CDN 都稳,可以试 `128`
- 推荐请求超时:`--timeout 6`
- 每个 worker 会复用到 CDN 的 HTTP keep-alive 连接,避免每个小 ZPK 都重新握手
- 默认 `--cdn-mode primary` 会优先使用 HTTP 主 CDN;如果主 CDN 被限速,可以试 `--cdn-mode spread`
- 任务队列只保留少量待下载项,内存占用稳定,`Ctrl+C` 后不会等待海量 Future 收尾
- 按 `Ctrl+C` 会停止继续投递任务,写出部分报告,并以退出码 `130` 结束
如果 `Ctrl+C` 后仍短暂卡住,是正在执行的少量 HTTP 请求还在等待 socket 超时;把 `--timeout` 降到 `3` 到 `5` 可以更快退出:
```powershell
python src\download-zpk.py --workers 96 --timeout 5 --progress-every 1000
```
如果主 CDN 明显限速,可以分散到 3 个 CDN 试一次:
```powershell
python src\download-zpk.py --workers 96 --timeout 5 --progress-every 1000 --cdn-mode spread
```
冒烟测试不要覆盖正式报告时可以单独指定报告路径:
```powershell
python src\download-zpk.py --limit 20 --out-dir output\zpk-cache-test\0 --jsonl output\zpk-jsonl-test\zpk-decrypted.jsonl --report output\zpk-download-smoke-report.csv
```
File diff suppressed because it is too large. Load diff
@@ -0,0 +1,150 @@
# ZPK 解密内容分析报告
## 1. 报告范围
本报告分析 `output/zpk/decrypted/` 下的 ZPK 解密结果,分析对象为每个 ZPK 对应的独立 JSON 文件。
分析时间:2026-09-03
## 2. 产物概况
| 项目 | 结果 |
| --- | --- |
| 解密文件数量 | 139,296 个 |
| 文件总大小 | 2,380,901,642 字节,约 2.22 GiB |
| 文件格式 | UTF-8 JSON |
| 文件组织 | 一个原始 `.zpk` 对应一个解密 `.json` |
| 聚合情况 | 不使用 JSONL 或汇总文件 |
文件名保持基础名称一致,仅扩展名不同:
```text
zpk/original/0_100001_35_1689360732.zpk
zpk/decrypted/0_100001_35_1689360732.json
```
## 3. 顶层字段
根据解密样本,JSON 顶层包含以下业务字段:
| 字段 | 类型 | 内容 |
| --- | --- | --- |
| `meta` | object | 词条元数据,如考试分类、数据版本 |
| `word` | string | 英文单词或词组 |
| `us_pron` | string | 美式音标 |
| `uk_pron` | string | 英式音标 |
| `spell` | array | 拼写或词形相关数据 |
| `confuse` | array | 易混淆词列表 |
| `confuse_exps` | array | 易混淆词对应的解释 |
| `interpret` | string | 词条释义文本 |
| `phrase` | array | 短语数据,包含短语、类型和序号信息 |
| `example` | string | JSON 编码的例句数据 |
| `zpk` | string | ZPK 文件标识 |
解密结果还保留了 `raw` 字段。该字段是解密得到的完整内层 JSON 对象副本,用于确保原始业务信息没有因结构化导出而丢失。
## 4. 重点数据结构
### 4.1 `meta`
典型结构如下:
```json
{
"book_exam": "",
"data_version": "1.0"
}
```
`meta` 用于描述词条所属分类及数据版本。字段可能因词条版本不同而变化,读取程序不应假设所有字段都存在。
### 4.2 词形与发音
- `word` 保存主词条。
- `us_pron` 与 `uk_pron` 保存美式、英式发音标记。
- `spell` 为数组,当前样本中可能为空数组。
这些字段应按原值保存,不应进行清洗、转写或字段删减。
### 4.3 释义
`interpret` 为包含词性的中文释义文本,可能包含换行符、多个词性以及特殊标点。例如一个词条可能同时包含名词、动词和形容词释义。
因此,导出或二次处理时不能按单行文本处理,也不能仅保留第一条释义。
### 4.4 易混淆词
`confuse` 与 `confuse_exps` 为两个相互关联的数组:
- `confuse`:易混淆词。
- `confuse_exps`:与易混淆词按位置对应的解释。
读取时应保留数组顺序;当两个数组长度不一致时,应保留原始数组,不应强行补齐或删除元素。
### 4.5 短语
`phrase` 是对象数组。对象可能包含:
| 字段 | 类型 | 含义 |
| --- | --- | --- |
| `p` | array | 短语内容 |
| `t` | number | 短语类型 |
| `pseqs` | object | 短语序号或关联信息 |
即使 `p` 为空,也应保留该对象,因为其类型和序号信息仍属于原始数据。
### 4.6 例句
`example` 在当前数据中是一个 JSON 字符串,而不是直接嵌套的 JSON 对象。其内部通常包含:
```json
{
"v": 1,
"data": [
{
"type": "99",
"i": {},
"g": [
{
"eid": "例句标识",
"e": "英文例句",
"c": "中文翻译",
"fid": "媒体或资源标识",
"sid": "句子标识",
"i": "图片资源路径",
"b": "来源书名",
"u": "音频资源路径",
"s": 0
}
]
}
]
}
```
例句记录可能包含英文文本、中文翻译、图片路径、音频路径、来源书名及多个内部 ID。处理程序应先将 `example` 作为字符串保留;如需解析,应在副本上执行 JSON 解析。
## 5. 解密结果完整性要求
当前解密流程应遵循以下规则:
1. 原始 `.zpk` 文件只读,不覆盖、不重写。
2. 每个 `.zpk` 只生成一个对应的 `.json` 文件。
3. 解密结果保留内层 JSON 的全部字段。
4. 保留空数组、空对象、换行符、特殊字符和资源路径。
5. 不将多个 ZPK 合并为 JSONL、CSV 或其他汇总文件。
6. `zpk`、`zpk_path`、`index_word`、`book_occurrences` 等流程元信息如存在,应与原始业务字段并存,不得替换原始字段。
## 6. 数据使用建议
- 读取 JSON 时使用 UTF-8 编码。
- 对未知字段采用兼容读取方式,不因字段缺失而使整批任务失败。
- 例句字段需要二次解析时,应捕获 JSON 解析异常,并保留原始字符串。
- 不建议基于 `definition_count` 或 `phrase_count` 等派生统计字段替代原始数组内容。
- 文件级处理应以 ZPK 文件名作为稳定主键。
## 7. 结论
ZPK 解密文件是以单词为中心的词典扩展数据,核心内容包括发音、释义、易混淆词、短语和例句资源。数据中存在嵌套 JSON 字符串、空数组和资源引用等情况,不能按扁平表格进行无损替代。
当前推荐的存储方式为原始 ZPK 与独立解密 JSON 一对一对应,并完整保留解密得到的全部业务字段。