cc ccb4be8a12 test(aiclean): 回填模板匹配修复复测记录与证据 hai 5 días
..
bills 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
calls 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
cross-industry 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
edge 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
full-template 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
full-template-variants 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
results 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
retest ccb4be8a12 test(aiclean): 回填模板匹配修复复测记录与证据 hai 5 días
README.md 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
generate.py 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
manifest.json 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días
run_tests.py 1ca5cc0cc8 test(aiclean): 归档 AI 模板匹配严格测试的复现文件与执行结果 hai 5 días

README.md

AI 大模型模板匹配 · 测试样本与复现包(2026-10-26)

对应文档:

目录

.
├── generate.py                 # 生成 85 个定向样本 + 364 个全模板同表头 + 362 个变体
├── run_tests.py                # 批量上传/智能清洗/等待/回填结果
├── manifest.json               # 811 个文件的测试编号、期望模板、变异方式
├── bills/                      # 账单/银行流水(31)
├── calls/                      # 话单/短信(24)
├── cross-industry/             # 车辆/开户/企业/航班/住宿/出入境/支付(20)
├── edge/                       # 异常与边界(10)
├── full-template/              # table_info 364 个模板的同表头文件
├── full-template-variants/     # 362 个模板的「改一个匹配字段」变体(未全量执行)
└── results/                    # 执行结果 JSON、日志、复现证据

复跑

cd docs/testing/fixtures/ai-llm-match-20261026

# 列出分组
python run_tests.py

# 单组/指定用例(案件 id 换成已开案的案件)
python run_tests.py bill --case 24 --ids BILL-09 --batch-size 1

# 只上传、不发起智能清洗(用于全模板同表头覆盖)
python run_tests.py full-exact --case 22 --upload-only --batch-size 50

前置条件:

  • 后端从仓库根启动,http://127.0.0.1:8980/js/a 可用;
  • 本地模型只支持单并发,启动参数加 -Dzsjz.ai-clean.max-concurrent=1;
  • 案件需先由 admin 打开;run_tests.py 会自动登录/开案(同一案件有后台任务时开案会被 409 拒绝)。

关键复现

问题 文件 案件/批次/job
F-01 错配模板 48,业务表 0 行 bills/BILL-09_交通银行_同义.xlsx 案件 24,job 2114558438624731136,批次 2114558436628242432
F-01B 话单被模板 3 吞掉,写错表 calls/CALL-09_导出话单_同义.xlsx 案件 25,批次 2114559120123633664
F-01C 全模板覆盖 full-template/ 案件 22,results/full-exact_20261026_113820.json
F-03 金额格式化值变 0.00 bills/BILL-01_通用流水_标准.xlsx 案件 19,批次 1792983591254364400
F-03B 方向字典整串落库 calls/CALL-18_主被叫方向.xlsx 等 案件 25,AI 模板 2114559632961183744
F-04/F-04B 并发争用 多个批次 日志 logs/backend-test2/3/5.log(仓库根 logs/)

说明

  • full-template-variants/ 已生成但未全量执行;本地 27B 单并发下单次约 40–120s,全量 362 个变体会耗时数小时。
  • results/*.json 是原始执行记录,包含模型草稿、token、置信度、行数与 sheet 状态;报告中的结论均可据此复核。
  • 样本为生产风格假数据(姓名/证件/卡号/电话均为随机生成),不含真实个人信息。