|
@@ -0,0 +1,569 @@
|
|
|
|
|
+# 智能工作台全功能业务逻辑测试报告(普通用户)
|
|
|
|
|
+
|
|
|
|
|
+| 项目 | 内容 |
|
|
|
|
|
+|---|---|
|
|
|
|
|
+| 报告编号 | QA-20261117-U1-01 |
|
|
|
|
|
+| 测试日期 | 2026-11-17 21:34 ~ 21:58 |
|
|
|
|
|
+| 测试方式 | ZCode 内置浏览器真实页面操作 + 后端 API / 运行日志 / 文件系统交叉核对 |
|
|
|
|
|
+| 被测版本 | 前端 `dev_1` 分支 `7ad69dfb`;后端 jar 构建于 2026-11-17 21:28,服务启动于 21:34 |
|
|
|
|
|
+| 测试账号 | **`1` / `123456`**(`sys_user.id=2115359072489934849`,`isAdmin=0`,普通用户) |
|
|
|
|
|
+| 测试案件 | 主案件「1」(caseId `2119250682281799682`);隔离对照案件 `hitl-test-case` |
|
|
|
|
|
+| 对话模型 | `deepseek-v4.1-flash:1017`(其他 OpenAI 兼容) |
|
|
|
|
|
+| 前端 / 后端 | `http://127.0.0.1:3100` / `http://127.0.0.1:8980/js/a` |
|
|
|
|
|
+| 依赖服务 | PostgreSQL 18.4 + pgvector 0.8.6 / Redis / Elasticsearch 均可用;健康检查 `{"code":200}` |
|
|
|
|
|
+| 浏览器视口 | 1440 × 900 |
|
|
|
|
|
+| 代码修改 | **无**(`git status` 仅新增本报告目录;未修改任何前后端源码) |
|
|
|
|
|
+
|
|
|
|
|
+> 启动说明:检查时前后端已在运行(后端 PID 17068、前端 PID 3008,均于 21:34 启动,晚于最新 jar 构建 21:28 与最新提交 21:33),因此未重复重启;健康检查通过后直接进入测试。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 一、测试结论
|
|
|
|
|
+
|
|
|
|
|
+**用例统计:合计 111 项 —— 通过 93、失败 11、部分通过/观察 5、未执行 2;发现缺陷 6 个(高 2 / 中 3 / 低 1),观察项 10 个。**
|
|
|
|
|
+
|
|
|
|
|
+1. **AI 对话主链路稳定可用**:登录 → 案件 → 智能工作台 → 新建任务 → SSE 流式回答 → 多轮上下文 → 工具人工确认/拒绝/记住 → 计划模式 → 产物 → 中止/重新生成/删除 → 任务管理 → 审计追溯,全部实测走通。
|
|
|
|
|
+2. **对话业务逻辑的关键分支均正确**:多轮记忆、工具“允许本次/记住该工具/拒绝并回传原因”、完全访问免确认、计划模式 `PLAN.md` 与批准后执行、停止生成落库为“已中止”、重新生成替换旧回答、显式长期记忆写入/注入/撤销,均符合设计。
|
|
|
|
|
+3. **仍存在 2 个高优先级权限/数据隔离缺陷**:普通用户“1”可以读取**系统管理员**的链路追踪、编排运行、用量数据,并可直接打开管理员的链路/编排详情;同时可以保存**平台级 MCP 服务端配置**。这是本轮最重要的问题。
|
|
|
|
|
+4. **人工确认链路存在审计数据缺失**:凡经过人工确认(允许/拒绝)的写工具调用,`toolInput` 与 `durationMs` 未落库;刷新页面后工具卡片“调用入参”显示为 `{}`,审计无法还原当时批准/拒绝了什么。
|
|
|
|
|
+5. **停止生成仍有后端异常噪声**:功能上停止生效,但每次停止都会在 `GlobalExceptionHandler` 产生 `ERROR 系统异常 java.io.IOException: 你的主机中的软件中止了一个已建立的连接` 及完整堆栈(上一轮修复只覆盖了 `AsyncRequestNotUsableException`)。
|
|
|
|
|
+6. **AI 研判能力受环境/配置限制**:入口智能体不绑定业务工具、专家数量为 0,提问“当前案件有哪些人员/数据表”时模型明确回答“没有案件业务工具、没有可转交专家、缺少当前案件上下文”,71 个业务工具在本工作台对话中实际不可用。
|
|
|
|
|
+7. **历史缺陷回归**:BUG-01(统计口径)、BUG-02(重生成重复回答)、BUG-03(中止状态显示)、BUG-05(权限档位重置)、BUG-06(非零退出码)、BUG-08(删除提示)、BUG-09(重复提示)均复测通过;BUG-04(MCP 连接)连接成功但仍发现 0 个工具(配置原因);BUG-07 以另一种异常形式部分残留(见 DEF-05)。
|
|
|
|
|
+
|
|
|
|
|
+> **总体判定:核心对话与工作台功能可交付试用;但权限/数据隔离问题必须先修复后才能面向多用户开放。**
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 二、测试环境与基线
|
|
|
|
|
+
|
|
|
|
|
+### 2.1 账号与案件事实
|
|
|
|
|
+
|
|
|
|
|
+`GET /js/a/auth/info`:
|
|
|
|
|
+
|
|
|
|
|
+```json
|
|
|
|
|
+{"id":"2115359072489934849","username":"1","displayName":"1","isAdmin":0,"status":1,
|
|
|
|
|
+ "createTime":"2026-10-28 16:24:38","lastLoginTime":"2026-11-17 21:37:36"}
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+- 当前登录用户为普通用户 `1`,非管理员。
|
|
|
|
|
+- 主案件「1」`caseId=2119250682281799682`,案件库为空(`暂无数据`),适合验证对话、工具、产物链路,不适合验证真实数据分析结果。
|
|
|
|
|
+- 对照案件 `hitl-test-case` 用于验证会话的案件隔离。
|
|
|
|
|
+
|
|
|
|
|
+### 2.2 测试会话
|
|
|
|
|
+
|
|
|
|
|
+| 标识 | sessionId | 用途 | 最终状态 |
|
|
|
|
|
+|---|---|---|---|
|
|
|
|
|
+| 会话 A(主) | `2122685761335123969` | 12 轮对话:流式、多轮、工具确认/拒绝/记住、计划模式、中止/重生成、长期记忆、业务工具提问、退出码 | 进行中,24 条消息,3 个产物 |
|
|
|
|
|
+| 会话 B(临时) | `2122686867297591298` | 新任务权限重置、跨会话信任、拒绝无原因 | 已结束并删除(产物已清理) |
|
|
|
|
|
+
|
|
|
|
|
+会话 A 产物:`note-user1.txt`(49B)、`report-plan-user1.md`(853B)、`plans/PLAN.md`(2.26K)。
|
|
|
|
|
+
|
|
|
|
|
+### 2.3 依赖与模型
|
|
|
|
|
+
|
|
|
|
|
+- PostgreSQL:18.4;pgvector 0.8.6;Redis 可用(未设置 `maxmemory`);Elasticsearch 可用。
|
|
|
|
|
+- 对话模型连通性正常,本轮实际调用均成功。
|
|
|
|
|
+- 健康自检:通过 9 / 告警 4 / 失败 0 / 待探测 1;外部 MCP 实测后转为“通过(发现 0 个工具)”。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 三、AI 对话逐轮实测记录(会话 A)
|
|
|
|
|
+
|
|
|
|
|
+> 以下数据来自 `GET /ai/chat/session/2122685761335123969/messages` 与页面实时表现,Token/耗时已与链路追踪、编排运行交叉核对。
|
|
|
|
|
+
|
|
|
|
|
+| 轮次 | 时间 | 提问(摘要) | 实际表现 | 工具次数 | Token | 耗时 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|---|---|---|
|
|
|
|
|
+| 1 | 21:38:17 | 自我介绍并说明能力,80 字以内 | SSE 逐字输出,回答准确,自动创建会话与标题 | 0 | 5,915 | 2,608 ms | PASS |
|
|
|
|
|
+| 2 | 21:38:44 | 复述上一问并统计字数 | 模型选择 `execute` 统计字数;第一次“允许本次”,第二次出现 `cat > /tmp/c.py` 时填写原因拒绝;模型改用文字统计并复述上一问 | 2(1 允许 + 1 拒绝) | 20,560 | 12,010 ms | PASS |
|
|
|
|
|
+| 3 | 21:39:54 | 创建 `note-user1.txt` | 弹出“生成文件”确认卡片,点击“记住该工具”;产物面板自动刷新为 1 个文件 | 1 | 14,749 | 3,913 ms | PASS |
|
|
|
|
|
+| 4 | 21:40:17 | 修改文件内容并读取确认 | `write_file` 因“记住该工具”直接执行(28 ms),`read_file` 自动执行,`edit_file` 因未记住再次确认并允许;产物更新为 49B | 4 | 39,020 | 8,102 ms | PASS |
|
|
|
|
|
+| 5 | 21:41:02 | 用执行命令列出工作区文件 | 完全访问模式下 `execute` 直接执行(67 ms),返回 `note-user1.txt` 与 `agents/`、`default/` | 1 | 16,599 | 4,004 ms | PASS |
|
|
|
|
|
+| 6 | 21:41:22 | 制定计划并执行:统计字符数、生成报告 | `plan_write` 生成 `plans/PLAN.md`;`plan_exit` 弹“请求批准计划”;允许后执行 `todo_write`/`read_file`/`write_file`/回读,生成 `report-plan-user1.md` | 8 | 110,352 | 21,576 ms | PASS |
|
|
|
|
|
+| 7 | 21:42:06 | 写约 3000 字电信数据分析说明 | 流式输出数段后停止生成,消息标记“已中止”,状态落库 `status=3` | 0 | — | 2,812 ms | PASS |
|
|
|
|
|
+| 8 | 21:42:24 | 对上一条中止回答重新生成,再次停止 | 确认框“旧回答将被替换”;再次停止后刷新页面仅保留一条“已中止”回答,无重复 | 0 | — | 2,812 ms | PASS |
|
|
|
|
|
+| 9 | 21:47:20 | 请记住偏好:回答简洁、先给结论 | `remember_user_preference` 成功,回答“已记住…” | 1 | 13,331 | 3,484 ms | PASS |
|
|
|
|
|
+| 10 | 21:47:31 | 根据偏好回答应先给什么 | 模型回答“先给结论。”,证明显式记忆已注入下一轮 | 0 | 6,721 | 1,428 ms | PASS |
|
|
|
|
|
+| 11 | 21:47:42 | 忘记刚才的偏好 | `forget_user_preference` 成功,回答“已撤销该偏好…”;记忆页显示“已撤销” | 1 | 13,720 | 3,761 ms | PASS |
|
|
|
|
|
+| 12 | 21:53:11 | 用案件业务工具查询人员与数据表 | 模型回答“当前会话没有可用的案件业务工具”“没有可转交的专家”“缺少当前案件上下文”,未调用任何工具 | 0 | 7,257 | 2,284 ms | **FAIL** |
|
|
|
|
|
+| 13 | 21:56:57 | 执行 `cmd /c exit 1` 并报告退出码 | 工具卡片显示“执行命令 失败 96 ms”,模型回答“退出码为 1” | 1 | 14,835 | 4,595 ms | PASS |
|
|
|
|
|
+
|
|
|
|
|
+> 说明:第 7、8 行同属一个提问轮次(重新生成),会话最终为 **12 个提问轮次、24 条消息**。
|
|
|
|
|
+
|
|
|
|
|
+### 3.1 关键对话分支补充
|
|
|
|
|
+
|
|
|
|
|
+- **工具允许/拒绝**:第 2 轮第一次“允许本次”执行成功,第二次拒绝后卡片显示“已拒绝”并把拒绝原因回传模型;模型不再尝试执行破坏性命令。
|
|
|
|
|
+- **记住工具**:第 3 轮点击“记住该工具”后,第 4 轮的 `write_file` 在同会话内直接执行;另建临时会话后再次创建文件,`write_file` 仍直接执行,说明信任是**跨会话的用户级信任**。
|
|
|
|
|
+- **计划模式**:第 6 轮先生成 `plans/PLAN.md`,`plan_exit` 阻塞等待批准;批准后继续执行并生成报告,产物面板出现 3 个文件。
|
|
|
|
|
+- **中止与重生成**:连续两次“重新生成 → 停止”后,消息 API 仅返回一条 `status=3` 的助手消息,未复现上一轮的“两条并列已中止回答”。
|
|
|
|
|
+- **统计口径**:第 6 轮消息 API、链路详情、编排运行三处均为 **8 次工具 / 110,352 tokens / 21,576 ms / success**,上一轮 BUG-01 未复现。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 四、用例明细
|
|
|
|
|
+
|
|
|
|
|
+> 结果说明:PASS=通过;FAIL=失败;PARTIAL=部分通过;OBSERVE=观察项;SKIP=未执行。
|
|
|
|
|
+
|
|
|
|
|
+### 4.1 登录、案件与入口(A)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| A01 | 未登录访问系统 | 展示登录页 | 退出登录后跳转 `/authorization`,展示“欢迎回来 / 登录进入案件工作台” | PASS |
|
|
|
|
|
+| A02 | 普通用户 `1/123456` 登录 | 登录成功 | 进入 `/case`,无账号占用提示 | PASS |
|
|
|
|
|
+| A03 | 身份校验 | `isAdmin=0` | `/auth/info` 返回 `isAdmin=0`,确认是普通用户 | PASS |
|
|
|
|
|
+| A04 | 案件列表 | 显示有权限的案件 | 共 4 个案件,卡片、类型、创建时间正常 | PASS |
|
|
|
|
|
+| A05 | 打开案件「1」 | 进入案件工作区 | 跳转 `/data/index`,标题显示“案件:1” | PASS |
|
|
|
|
|
+| A06 | 进入智能工作台 | 进入 `/workbench/chat` | 正常进入,顶栏显示“案件:1” | PASS |
|
|
|
|
|
+| A07 | 退出案件 | 二次确认后回案件列表 | 弹“确认退出「1」?”,确认后回 `/case` | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.2 AI 对话核心(B)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| B01 | 首条消息 SSE 流式回答 | 逐字返回并落库 | 流式输出,2,608 ms / 5,915 tokens | PASS |
|
|
|
|
|
+| B02 | 会话自动创建 | 自动生成会话并绑定案件/用户/来源 | `source=workbench`、`caseId` 正确、`userId` 正确、`messageCount=2` | PASS |
|
|
|
|
|
+| B03 | 标题自动生成 | 取首问前 30 字 | 列表标题与首问一致,重命名后落库 | PASS |
|
|
|
|
|
+| B04 | 多轮上下文 | 引用上一轮内容 | 准确复述上一问并给出字数统计 | PASS |
|
|
|
|
|
+| B05 | 模型自主选择工具 | 按需调用工具 | 简单字数统计选择 `execute`,符合“先工具后回答”策略 | PASS |
|
|
|
|
|
+| B06 | 允许本次 | 只执行一次 | 执行成功,卡片标记“已允许” | PASS |
|
|
|
|
|
+| B07 | 拒绝并填写原因 | 拒绝原因回传模型与审计 | 卡片“已拒绝:请不要执行命令…”,模型改用文字回答 | PASS |
|
|
|
|
|
+| B08 | 停止生成 | 中断流并标记中止 | 消息尾部显示“已中止”,可重新生成 | PASS |
|
|
|
|
|
+| B09 | 中止状态落库 | `status=3` | 消息 API 返回 `status=3`、`durationMs=2812` | PASS |
|
|
|
|
|
+| B10 | 重新生成预检/确认 | 允许时确认后替换 | 弹“是否重新生成该回答?旧回答将被替换”,确认后生成 | PASS |
|
|
|
|
|
+| B11 | 重生成后再次中止 | 不产生重复回答 | 刷新后同一提问下仅一条“已中止”回答 | PASS |
|
|
|
|
|
+| B12 | 删除普通问答 | 整轮删除 | 用户消息与回答同时消失,toast“删除成功” | PASS |
|
|
|
|
|
+| B13 | 删除写工具轮次 | 后端拒绝并提示 | 消息保留,单条提示“该轮调用了未登记的工具…不能删除” | PASS |
|
|
|
|
|
+| B14 | 复制消息 | 复制正文并提示 | toast“已复制” | PASS |
|
|
|
|
|
+| B15 | 新建任务 | 清空消息、产物与上下文 | 回到问候态,产物面板消失/归零 | PASS |
|
|
|
|
|
+| B16 | 新建任务权限重置 | 回到“变更前确认” | 完全访问会话结束后新任务显示“变更前确认” | PASS |
|
|
|
|
|
+| B17 | 刷新后历史任务加载 | 列表保留、可加载 | 刷新回到问候态,点击任务可完整恢复 24 条消息 | PASS |
|
|
|
|
|
+| B18 | 会话切换 | 加载对应历史 | 切换后工具卡片、统计、产物均正确恢复 | PASS |
|
|
|
|
|
+| B19 | 计划模式 | 只读设计并产出 `plans/PLAN.md` | 生成计划文件,`plan_exit` 请求批准 | PASS |
|
|
|
|
|
+| B20 | 计划批准后执行 | 继续执行并产出结果 | 生成 `report-plan-user1.md`,回读确认 | PASS |
|
|
|
|
|
+| B21 | 完全访问模式 | 工具直接执行 | `execute`/`write_file` 无确认直接执行 | PASS |
|
|
|
|
|
+| B22 | 完全访问持久化 | 会话记录 `permissionMode=full` | `GET /ai/chat/session/{id}` 返回 `permissionMode:"full"` | PASS |
|
|
|
|
|
+| B23 | 变更前确认模式 | 写工具逐次确认 | 写文件/编辑文件均弹确认卡片 | PASS |
|
|
|
|
|
+| B24 | 记住该工具(同会话) | 同工具免确认 | `write_file` 第二次执行 28 ms,无确认卡片 | PASS |
|
|
|
|
|
+| B25 | 记住该工具(跨会话) | 信任是否延续 | 新建任务后 `write_file` 仍直接执行(跨会话生效,见 OBS-05) | PASS |
|
|
|
|
|
+| B26 | 拒绝但不填原因 | 仍可拒绝 | 空原因直接确认拒绝,模型不重试 | PASS |
|
|
|
|
|
+| B27 | 显式记忆写入 | 工具成功并回复 | `remember_user_preference` 成功,回答“已记住…” | PASS |
|
|
|
|
|
+| B28 | 显式记忆注入 | 下一轮生效 | 模型回答“先给结论。” | PASS |
|
|
|
|
|
+| B29 | 显式记忆撤销 | 标记撤销 | `forget_user_preference` 成功,记忆页显示“已撤销” | PASS |
|
|
|
|
|
+| B30 | 案件业务工具提问 | 应能查询案件人员/数据表 | 模型回答“没有案件业务工具、没有专家、缺少案件上下文”(见 DEF-06) | **FAIL** |
|
|
|
|
|
+| B31 | 空白消息发送 | 阻止发送或提示 | 点击发送后不产生消息,但也没有提示(见 OBS-04) | PARTIAL |
|
|
|
|
|
+| B32 | 会话列表按案件过滤 | 仅当前案件 | `hitl-test-case` 工作台显示“暂无进行中的任务”;切回案件「1」恢复会话 | PASS |
|
|
|
|
|
+| B33 | 跨案件读取会话 | 拒绝 | 用案件「1」的 sessionId 在 `hitl-test-case` 请求消息,返回 `code=500`“该会话不属于当前案件” | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.3 工具与产物(C)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| C01 | 写工具确认卡片 | 展示入参与按钮 | 显示“生成文件/执行命令 + 允许本次/记住该工具/拒绝” | PASS |
|
|
|
|
|
+| C02 | 允许本次 | 执行一次 | `write_file` 成功,卡片“已允许” | PASS |
|
|
|
|
|
+| C03 | 记住该工具 | 写入用户级信任 | 后续同工具自动执行 | PASS |
|
|
|
|
|
+| C04 | 拒绝并填原因 | 原因回传 | 卡片“已拒绝:…”,模型遵守 | PASS |
|
|
|
|
|
+| C05 | 工具失败卡片 | 失败状态 | 被拒绝的 `execute` 卡片显示“失败” | PASS |
|
|
|
|
|
+| C06 | 工具调用统计 | 按工具统计成功率 | `execute` 3 次、成功 2、失败 1、失败率 33.33% | PASS |
|
|
|
|
|
+| C07 | 人工确认工具入参落库 | 可在审计/刷新后还原 | `toolInput` 为空;刷新后卡片“调用入参”显示 `{}`(见 DEF-03) | **FAIL** |
|
|
|
|
|
+| C08 | 人工确认工具耗时落库 | 显示耗时 | `durationMs=null`,卡片不显示耗时(同根因,见 OBS-02) | PARTIAL |
|
|
|
|
|
+| C09 | 产物自动刷新 | 新文件自动出现 | 角标 0→1,文件大小/时间正确 | PASS |
|
|
|
|
|
+| C10 | 产物文本预览 | 展示文件内容 | 预览内容与写入内容一致 | PASS |
|
|
|
|
|
+| C11 | 产物下载 | 触发下载 | `download` 事件触发成功 | PASS |
|
|
|
|
|
+| C12 | 多文件/子目录 | 路径展示正确 | `plans/PLAN.md`、`report-plan-user1.md` 均正确 | PASS |
|
|
|
|
|
+| C13 | 产物会话隔离 | 各会话只显示自己的产物 | 新任务产物 0;会话 A 产物 3 | PASS |
|
|
|
|
|
+| C14 | 删除任务清理产物 | 删除后工作区清理 | 删除临时任务后,其 `trust-scope-user1.txt` 工作区目录消失 | PASS |
|
|
|
|
|
+| C15 | 产物路径穿越 | 拒绝非法路径 | 本轮未复测(上一轮已覆盖) | SKIP |
|
|
|
|
|
+| C16 | 附件上传 | 上传后随消息发送 | 内置浏览器不支持文件选择器,未执行 | SKIP |
|
|
|
|
|
+| C17 | MCP 工具资源添加/移除 | chip 出现/消失并落库 | 添加后 chip 出现,移除后 API 返回空;两步均无 toast(OBS-01) | PASS |
|
|
|
|
|
+| C18 | 非零退出码命令 | 标记失败 | `cmd /c exit 1` 卡片显示“失败 96 ms”,工具记录 `state=ERROR` | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.4 任务管理(D)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| D01 | 任务列表 | 当前案件/用户任务 | 显示标题、来源“智能工作台”、智能体、归属用户、消息数、状态 | PASS |
|
|
|
|
|
+| D02 | 标题搜索 | 过滤结果 | 搜“临时测试”返回 1 条 | PASS |
|
|
|
|
|
+| D03 | 消息明细 | 展示任务信息与消息 | 抽屉显示任务标识、状态、消息数;删除后显示“该任务暂无消息记录” | PASS |
|
|
|
|
|
+| D04 | 已结束任务保留 | 记录保留 | 结束任务后列表移除,任务管理仍可查,状态“已结束” | PASS |
|
|
|
|
|
+| D05 | 终止任务 | 状态变为已结束 | 二次确认后状态更新,“终止任务”按钮置灰 | PASS |
|
|
|
|
|
+| D06 | 删除任务 | 删除记录并清理产物 | 确认文案含产物清理,删除后列表 0 条,toast“删除成功” | PASS |
|
|
|
|
|
+| D07 | 删除确认文案 | 说明产物清理 | “智能工作台会话的产物文件将一并清理” | PASS |
|
|
|
|
|
+| D08 | 导出 | 下载导出文件 | `download` 事件触发成功 | PASS |
|
|
|
|
|
+| D09 | 分页 | 可用 | 总数/页码/每页条数正常 | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.5 审计与观测(E)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| E01 | 会话与消息审计 | 当前用户消息列表 | 22 条,全部 `userId=2115359072489934849` | PASS |
|
|
|
|
|
+| E02 | 消息审计用户隔离 | 不显示他人消息 | 仅当前用户,未见管理员消息 | PASS |
|
|
|
|
|
+| E03 | 已中止状态显示 | 显示“已中止” | `status=3` 的助手消息显示“已中止” | PASS |
|
|
|
|
|
+| E04 | 状态筛选 | 含“已中止”选项 | 选项:正常/失败/待人工确认/已中止;筛选后 1 条 | PASS |
|
|
|
|
|
+| E05 | 消息详情 | 展示状态/Token/正文 | 显示“已中止”、2,812 ms、Token 为 `-`、正文 | PASS |
|
|
|
|
|
+| E06 | 审计导出 | 下载 | `download` 事件触发成功 | PASS |
|
|
|
|
|
+| E07 | 工具调用统计 | 按工具汇总 | 19 条明细,按工具统计成功/失败/平均耗时 | PASS |
|
|
|
|
|
+| E08 | 工具调用详情 | 展示入参/出参 | 自动执行的 `write_file` 详情含完整入参与结果 | PASS |
|
|
|
|
|
+| E09 | 人工确认工具入参 | 审计可还原 | 确认类调用入参为空(同 DEF-03) | **FAIL** |
|
|
|
|
|
+| E10 | 链路追踪列表 | 展示链路 | 列表含状态、模型、耗时、工具次数、Token | PASS |
|
|
|
|
|
+| E11 | 链路统计一致性 | 与消息一致 | 计划轮:8 次 / 110,352 tokens / 21,576 ms / success,与消息 API 完全一致 | PASS |
|
|
|
|
|
+| E12 | 编排运行统计/状态 | 状态正确 | 计划轮 `status=success`、`action=self`、Token/耗时一致,无“待人工确认” | PASS |
|
|
|
|
|
+| E13 | 用量与配额展示 | 汇总与明细 | 总 Token、请求数、按日期/智能体/模型/明细均正常 | PASS |
|
|
|
|
|
+| E14 | 审计数据用户隔离 | 仅本人数据 | 链路 61 条含 47 条管理员数据;编排 59 条含 45 条管理员;用量 3 条含 2 条管理员(见 DEF-01) | **FAIL** |
|
|
|
|
|
+| E15 | 用量页普通用户加载 | 无错误、可筛选 | 触发 `/user/list` 403,toast 含完整请求 URL,`所属用户` 筛选不可用(见 DEF-04) | **FAIL** |
|
|
|
|
|
+| E16 | 健康自检 | 一键体检 | 通过 9 / 告警 4 / 失败 0 / 待探测 1,说明与建议准确 | PASS |
|
|
|
|
|
+| E17 | 外部 MCP 探测 | 连通性测试 | 点击“测试”后转为“连通,发现 0 个工具” | PASS |
|
|
|
|
|
+| E18 | 首登清单 | 状态计算正确 | 3/4 完成,仅“配置向量模型密钥”未完成 | PASS |
|
|
|
|
|
+| E19 | 审计保留与清理 | 保留天数/超期行数 | 180 天,超期 0 行,清理按钮可用 | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.6 配置与集成(F)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| F01 | 数剑配置 | 展示入口智能体 | 名称/编码/模型/最大迭代 50/提示词/配额均正确 | PASS |
|
|
|
|
|
+| F02 | 专家配置列表与表单 | 列表/空态/表单 | 0 位专家,空态“暂无专家”;新增表单字段齐全 | PASS |
|
|
|
|
|
+| F03 | 技能仓库 | 列表/空态 | 0 个,空态“暂无技能” | PASS |
|
|
|
|
|
+| F04 | 场景包 | 列表与详情 | `sdfsdf`,启用,业务工具 0 / MCP 工具 1 / 技能 0 | PASS |
|
|
|
|
|
+| F05 | 模型配置 | 展示模型 | 2 个:对话模型、向量模型;密钥/维度/地址正常 | PASS |
|
|
|
|
|
+| F06 | 上下文与压缩策略 | 配置加载 | 压缩开关、保留 20 条、触发 50 条 / 80,000 tokens、卸载阈值等正常 | PASS |
|
|
|
|
|
+| F07 | 知识库管理 | 列表/空态 | 0 个,空态“暂无知识库” | PASS |
|
|
|
|
|
+| F08 | 文档与切片 | 列表/上传入口 | 0 条;无知识库时上传按钮禁用,自动入库开关禁用 | PASS |
|
|
|
|
|
+| F09 | 检索测试 | 表单可用 | 知识库/条数/阈值/查询内容控件齐全 | PASS |
|
|
|
|
|
+| F10 | 业务工具注册 | 列表/搜索 | 71 条;搜“资金”返回 1 条 | PASS |
|
|
|
|
|
+| F11 | MCP 服务端 | 端点/口令/暴露清单 | 端点 `/mcp`,口令 `BizBuddy`,71 个只读工具可勾选,当前出口未挂载 | PASS |
|
|
|
|
|
+| F12 | MCP 客户端连接测试 | 连接成功 | toast“连接成功,发现 0 个工具:(无工具)” | PASS |
|
|
|
|
|
+| F13 | 普通用户保存平台级配置 | 应仅管理员可写 | 普通用户点击“保存配置”提示“保存成功,出口立即按新口令校验”(见 DEF-02) | **FAIL** |
|
|
|
|
|
+
|
|
|
|
|
+### 4.7 隔离与安全(G)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| G01 | 会话列表按案件隔离 | 仅当前案件 | `hitl-test-case` 下 total=0;案件「1」下 1 条 | PASS |
|
|
|
|
|
+| G02 | 跨案件读取会话 | 拒绝 | `code=500`“该会话不属于当前案件” | PASS |
|
|
|
|
|
+| G03 | 消息/工具审计用户隔离 | 仅本人 | 消息 22 条、工具 19 条均仅当前用户 | PASS |
|
|
|
|
|
+| G04 | 链路/编排/用量用户隔离 | 仅本人 | 普通用户可见管理员数据,且可打开管理员详情(见 DEF-01) | **FAIL** |
|
|
|
|
|
+| G05 | 平台级配置写权限 | 仅管理员 | 普通用户可保存 MCP 配置(见 DEF-02) | **FAIL** |
|
|
|
|
|
+| G06 | 非管理员访问用户列表 | 拒绝且提示友好 | 返回 403“无权限操作”,但页面 toast 带完整 URL,日志记 ERROR(见 DEF-04) | **FAIL** |
|
|
|
|
|
+| G07 | 健康自检无失败项 | 0 失败 | 失败 0、待探测 1(实测后通过) | PASS |
|
|
|
|
|
+
|
|
|
|
|
+### 4.8 稳定性与体验边界(H)
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 用例 | 预期 | 实际 | 结果 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| H01 | 停止生成后端日志 | 无 ERROR 堆栈 | 两次停止均在 `GlobalExceptionHandler` 产生 `ERROR 系统异常 IOException`(见 DEF-05) | **FAIL** |
|
|
|
|
|
+| H02 | 资源添加/移除提示 | 明确成功反馈 | chip 正确出现/消失,但无 toast(见 OBS-01) | OBSERVE |
|
|
|
|
|
+| H03 | 记忆工具轮次重新生成/删除 | 允许或明确说明 | `remember/forget_user_preference` 被判定为“未登记工具”,重新生成被拒(删除未单独实测,见 OBS-03) | OBSERVE |
|
|
|
|
|
+| H04 | 案件上下文/业务工具 | 能基于当前案件研判 | 模型自述无案件上下文、无业务工具、无专家(见 DEF-06) | **FAIL** |
|
|
|
|
|
+| H05 | 刷新后恢复上次会话 | 自动恢复或明确引导 | 刷新回到问候态,需手动点击任务(见 OBS-04) | OBSERVE |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 五、缺陷明细
|
|
|
|
|
+
|
|
|
|
|
+### DEF-01(高)普通用户可读取全平台审计数据,包括管理员的链路/编排详情
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+使用普通用户 `1`(`isAdmin=0`)访问审计与观测页面时,列表与详情均包含系统管理员(`userId=1`)的数据:
|
|
|
|
|
+
|
|
|
|
|
+| 接口 | 总条数 | 当前用户 | 管理员 |
|
|
|
|
|
+|---|---|---|---|
|
|
|
|
|
+| `/ai/trace/list` | 61 | 14 | **47** |
|
|
|
|
|
+| `/ai/route/run/list` | 59 | 14 | **45** |
|
|
|
|
|
+| `/ai/usage/list` | 3 | 1 | **2** |
|
|
|
|
|
+
|
|
|
|
|
+- 链路/编排列表的“提问用户”列直接显示“系统管理员”。
|
|
|
|
|
+- 直接请求 `/ai/trace/{adminTraceId}` 返回 `code=200`,包含管理员会话标题、`userId=1`、Token、耗时、执行上下文(工作区路径、模型地址等)。
|
|
|
|
|
+- 直接请求 `/ai/route/run/{adminRunId}` 同样返回管理员数据。
|
|
|
|
|
+- 而 `/ai/audit/message/list`、`/ai/audit/toolCall/list` 已正确按 `userId` 收敛(22/19 条均仅当前用户)。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- 普通用户可查看其他用户的会话标题、Token 消耗、模型配置、工作区路径等审计信息,属于跨用户数据泄露。
|
|
|
|
|
+- 编排统计、链路统计、用量统计被混合用户数据污染,普通用户看到的“平台总量”并非本人数据。
|
|
|
|
|
+- 与“消息/工具审计已按用户收敛”的安全口径不一致,说明修复只覆盖了部分接口。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `evidence/final-scope-trace-list.json`、`evidence/final-scope-route-run-list.json`、`evidence/final-scope-usage-list.json`
|
|
|
|
|
+- `evidence/cross-user-trace-detail.json`、`evidence/cross-user-route-detail.json`
|
|
|
|
|
+- `screenshots/03-route-run-cross-user.png`、`screenshots/04-usage-cross-user.png`
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 在 `trace`、`routeRun`、`usage` 的列表与详情服务中统一按 `StpUtil.getLoginIdAsLong()` 过滤;管理员(`is_admin=1`)才放开全量。
|
|
|
|
|
+- 详情接口必须校验记录归属,不能只按主键查询。
|
|
|
|
|
+- 为这三个页面补充接口级回归测试:普通用户仅能看到本人数据。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### DEF-02(高)普通用户可保存平台级 MCP 服务端配置
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+普通用户 `1` 打开「工具与集成 → MCP 服务端」,页面展示全局端点、访问口令、对外暴露清单,并可点击“保存配置”。实测点击后返回:
|
|
|
|
|
+
|
|
|
|
|
+```
|
|
|
|
|
+保存成功,出口立即按新口令校验
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+即非管理员可以修改平台级 MCP 鉴权配置。页面上的“保存暴露清单”“随机生成口令”等按钮同样可用(本轮未逐一点击,避免改变共享配置)。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- 任意已登录用户都可能修改平台对外 MCP 的口令/暴露面,造成集成不可用或被越权访问。
|
|
|
|
|
+- 与“用户管理接口仅管理员可用”的现有实现不一致,说明平台级配置端点缺少统一的 `isAdmin` 校验。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `screenshots/09-mcp-save-success-by-normal-user.png`:普通用户点击“保存配置”后提示“保存成功,出口立即按新口令校验”
|
|
|
|
|
+- 账号身份:`evidence/auth-info.json`(`isAdmin=0`)
|
|
|
|
|
+- 说明:本轮保存前后口令/暴露清单未改变(幂等保存),验证的是“写权限”而非配置内容变更
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 对入口智能体、专家、技能、场景包、模型、压缩策略、工具注册、MCP 服务端/客户端等“平台级配置”写接口统一增加管理员校验。
|
|
|
|
|
+- 前端对非管理员隐藏或禁用保存类按钮,避免“可点但失败”的误导。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### DEF-03(中)人工确认/拒绝的工具调用未落库入参与耗时
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+同一会话中,自动执行的工具与人工确认后执行的工具在审计数据上表现不一致:
|
|
|
|
|
+
|
|
|
|
|
+| 调用 | 触发方式 | `toolInput` | `durationMs` |
|
|
|
|
|
+|---|---|---|---|
|
|
|
|
|
+| `execute` 21:38:59 | 允许本次 | 空 | null |
|
|
|
|
|
+| `execute` 21:39:11 | 拒绝 | 空 | null |
|
|
|
|
|
+| `write_file` 21:40:09 | 记住该工具 | 空 | null |
|
|
|
|
|
+| `write_file` 21:40:22 | 自动(信任) | 56 字符 | 28 |
|
|
|
|
|
+| `edit_file` 21:40:36 | 允许本次 | 空 | null |
|
|
|
|
|
+| `execute` 21:41:06 | 完全访问自动 | 20 字符 | 67 |
|
|
|
|
|
+| `plan_exit` 21:41:55 | 请求批准 | 空 | null |
|
|
|
|
|
+| `remember_user_preference` 21:47:23 | 完全访问自动 | 84 字符 | 92 |
|
|
|
|
|
+
|
|
|
|
|
+- `GET /ai/chat/session/{id}/toolCalls` 与 `GET /ai/audit/toolCall/list` 均如此。
|
|
|
|
|
+- 刷新会话后,确认类工具卡片“调用入参”显示为 `{}`;拒绝原因仅保存在 `toolOutput`。
|
|
|
|
|
+- 实时页面在确认时能看到完整命令/文件内容,但刷新后丢失。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- 审计无法还原“用户当时批准/拒绝了什么”,合规留档与争议溯源能力受损。
|
|
|
|
|
+- 工具调用明细的“失败率/耗时”统计对确认类工具失真。
|
|
|
|
|
+- 与上一轮 N-02(确认类工具 `durationMs` 为空)同源,本轮进一步确认 `toolInput` 也缺失。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `evidence/session1-toolcalls-final.json`
|
|
|
|
|
+- `evidence/audit-toolcall-writefile.json`
|
|
|
|
|
+- `screenshots/05-tool-input-empty-after-reload.png`
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 在人工确认/拒绝与 resume 路径中,把原始 `toolInput` 与工具起始/结束时间写入 `ai_tool_call`(允许、拒绝、失败三种状态都要写)。
|
|
|
|
|
+- 前端卡片对历史数据做空值兜底(显示“入参未记录”而不是 `{}`)。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### DEF-04(中)用量页对普通用户加载失败,提示含完整请求 URL,日志记 ERROR
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+普通用户打开 `/workbench/model/usage` 时,页面主体可加载,但同时弹出:
|
|
|
|
|
+
|
|
|
|
|
+```
|
|
|
|
|
+无权限操作(http://127.0.0.1:8980/js/a/user/list?page=1&size=500&_t=1794923176215)
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+- `所属用户` 筛选依赖管理员接口 `/user/list`,普通用户被 403 拒绝。
|
|
|
|
|
+- 后端 `sys-error.log` 记录 `ERROR ... GlobalExceptionHandler - 业务异常: 无权限操作`。
|
|
|
|
|
+- 由于 DEF-01,页面汇总仍包含管理员用量(749,929 tokens 中有管理员部分)。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- 普通用户每次进入用量页都会看到红色错误提示,且提示包含内部请求 URL。
|
|
|
|
|
+- 用户筛选不可用,页面功能不完整。
|
|
|
|
|
+- 正常的权限拒绝被记为 ERROR,干扰告警与排障。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `screenshots/08-usage-userlist-error.png`
|
|
|
|
|
+- `logs/sys-error.log` 21:45:41 行
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 非管理员隐藏 `所属用户` 筛选,或提供按权限收敛的用户选项接口。
|
|
|
|
|
+- 提示文案去掉请求 URL;将权限拒绝改为 WARN/INFO。
|
|
|
|
|
+- 与 DEF-01 一起修复,确保用量页仅展示本人数据。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### DEF-05(低)停止生成仍产生 ERROR 级连接中断异常栈
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+两次点击“停止生成”(21:42:07、21:42:24)后,后端分别记录:
|
|
|
|
|
+
|
|
|
|
|
+```
|
|
|
|
|
+2026-11-17 21:42:12 ERROR GlobalExceptionHandler - 系统异常
|
|
|
|
|
+java.io.IOException: 你的主机中的软件中止了一个已建立的连接。
|
|
|
|
|
+ at ... ResponseBodyEmitterReturnValueHandler$DefaultSseEmitterHandler.send...
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+功能上停止生效、消息状态正确为“已中止”,但正常用户操作产生 ERROR 堆栈。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- 干扰告警与排障;日志中无法区分真正的系统故障与用户主动停止。
|
|
|
|
|
+- 上一轮 BUG-07 修复只覆盖 `AsyncRequestNotUsableException`,未覆盖客户端 abort 导致的 `IOException`/`ClientAbortException`。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `evidence/stop-generation-errors.log`
|
|
|
|
|
+- `logs/backend-final.log` 21:42:12、21:42:26
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 在 `GlobalExceptionHandler` 或 SSE 写出层捕获 `IOException`/`ClientAbortException`(含 cause 链),按 DEBUG 记录并静默返回。
|
|
|
|
|
+- 或在写 emitter 前判断 `emitter` 是否已完成/客户端是否断开。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### DEF-06(中,环境/配置)智能工作台无法使用案件业务工具
|
|
|
|
|
+
|
|
|
|
|
+**现象**
|
|
|
|
|
+
|
|
|
|
|
+在案件「1」的工作台提问:
|
|
|
|
|
+
|
|
|
|
|
+> 请使用案件业务工具查询:当前案件有哪些人员?有哪些数据表?
|
|
|
|
|
+
|
|
|
|
|
+模型回答:
|
|
|
|
|
+
|
|
|
|
|
+> 当前会话没有可用的「案件业务工具」,因此无法查询。
|
|
|
|
|
+> 我可用的工具只有文件读写/检索、命令执行、网页检索、记忆和子智能体,没有接入案件业务查询接口。
|
|
|
|
|
+> 本轮候选专家清单为空,没有可转交的专家。
|
|
|
|
|
+> 由于缺少“当前案件”的上下文,我也不会凭推测编造人员或数据表清单。
|
|
|
|
|
+
|
|
|
|
|
+链路上下文显示入口智能体工具仅 `route_decision`、`remember_user_preference`、`forget_user_preference`;专家配置为 0 位;业务工具注册 71 个但未绑定到入口智能体。
|
|
|
|
|
+
|
|
|
|
|
+**影响**
|
|
|
|
|
+
|
|
|
|
|
+- “AI 对话式研判”在本环境不可用:用户无法通过对话查询案件人员、通话、交易、轨迹等数据。
|
|
|
|
|
+- 与 `AI_AGENT.md` / 种子脚本中“案件数据分析专家 + 73 个业务工具”的预期不一致(实际 71 个工具、0 位专家)。
|
|
|
|
|
+- 模型不知道当前案件名称/ID,进一步降低了可用性。
|
|
|
|
|
+
|
|
|
|
|
+**证据**
|
|
|
|
|
+
|
|
|
|
|
+- `screenshots/10-business-tools-unavailable.png`:模型回答“当前会话没有可用的「案件业务工具」…没有可转交的专家…缺少当前案件上下文”
|
|
|
|
|
+- 会话 A 第 12 轮页面输出
|
|
|
|
|
+- `evidence/trace-detail-plan-round.json`(`context.tools` 仅 3 个内置工具)
|
|
|
|
|
+- 专家配置页 0 位;业务工具注册 71 条
|
|
|
|
|
+
|
|
|
|
|
+**修复建议**
|
|
|
|
|
+
|
|
|
|
|
+- 按 `sql/ai_business_tools_seed.sql` 补齐“案件数据分析专家”及工具绑定,或为入口智能体装配一组只读业务工具。
|
|
|
|
|
+- 考虑将当前案件名称/ID 注入入口智能体系统提示词,明确“业务工具会自动路由到当前案件库”。
|
|
|
|
|
+- 对专家/工具数量做启动自检,避免“工具注册了但无人可用”。
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 六、观察项与建议
|
|
|
|
|
+
|
|
|
|
|
+| 编号 | 级别 | 观察 | 建议 |
|
|
|
|
|
+|---|---|---|---|
|
|
|
|
|
+| OBS-01 | 低 | 会话资源(MCP 工具)添加/移除无任何成功 toast,仅 chip 变化 | 补充“已添加资源/已移除资源”提示 |
|
|
|
|
|
+| OBS-02 | 低 | 人工确认类工具 `durationMs` 为空,卡片不显示耗时 | 与 DEF-03 一并修复;历史数据允许显示“—” |
|
|
|
|
|
+| OBS-03 | 低 | `remember_user_preference` / `forget_user_preference` 被判定“未登记工具”,相关轮次重新生成被拒(删除路径同源,未单独实测) | 将平台内置工具纳入“已知只读/受控工具”白名单 |
|
|
|
|
|
+| OBS-04 | 低 | 刷新 `/workbench/chat` 后回到问候态,不自动恢复上次会话 | 记住上次会话或展示“继续上次任务”入口 |
|
|
|
|
|
+| OBS-05 | 低 | “记住该工具”是跨会话的用户级信任:新任务中 `write_file` 仍直接执行 | 若产品预期是“仅本会话”,需在文案或实现上收敛;若是用户级,建议在确认卡片上说明 |
|
|
|
|
|
+| OBS-06 | 配置 | 健康自检 4 项告警:Redis 无 `maxmemory`、MCP 出口未挂载工具、内容安全未启用、加密根密钥仍为出厂值 | 生产部署前逐项处理 |
|
|
|
|
|
+| OBS-07 | 配置 | MCP 客户端连接成功但发现 0 个工具(出口暴露清单为空) | 在「MCP 服务端 → 对外暴露清单」勾选需要的只读工具 |
|
|
|
|
|
+| OBS-08 | 数据 | 编排运行“待人工确认 9”来自管理员历史数据(普通用户视角也会看到) | 修复 DEF-01 后按用户收敛;如需干净口径可做一次性数据回填 |
|
|
|
|
|
+| OBS-09 | 环境 | 专家 0、技能 0、知识库 0,所有对话均 `action=self`,专家调用 0 次 | 按种子脚本补齐专家/知识库,或明确当前环境为“无专家演示模式” |
|
|
|
|
|
+| OBS-10 | 低 | 空白消息点击发送不产生消息,但也没有任何提示 | 增加“请输入内容”提示或禁用发送按钮 |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 七、历史缺陷回归结果
|
|
|
|
|
+
|
|
|
|
|
+| 历史缺陷 | 本轮结论 | 关键证据 |
|
|
|
|
|
+|---|---|---|
|
|
|
|
|
+| BUG-01 人工确认恢复段统计/状态不一致 | **已修复** | 计划轮消息/链路/编排三处均为 8 次工具、110,352 tokens、21,576 ms、success |
|
|
|
|
|
+| BUG-02 重新生成中止后残留两条回答 | **已修复** | 连续两次“重生成→停止”后仅一条 `status=3` 回答 |
|
|
|
|
|
+| BUG-03 审计把“已中止”显示为“正常” | **已修复** | 审计列表显示“已中止”,筛选含“已中止”,筛选结果 1 条 |
|
|
|
|
|
+| BUG-04 MCP 客户端缺口令头 | **连接已修复** | 请求头“已配置”,客户端测试“连接成功”;仍发现 0 个工具(出口清单为空) |
|
|
|
|
|
+| BUG-05 结束任务后权限档位不一致 | **已修复** | 完全访问会话结束后,新任务立即显示“变更前确认” |
|
|
|
|
|
+| BUG-06 非零退出码仍记成功 | **已修复** | `cmd /c exit 1` 卡片“失败 96 ms”,工具记录 `state=ERROR` |
|
|
|
|
|
+| BUG-07 停止生成后端异常栈 | **部分残留** | 不再出现 `AsyncRequestNotUsableException`,但出现 `IOException` ERROR 堆栈(DEF-05) |
|
|
|
|
|
+| BUG-08 删除写轮次提示错误/重复/带 URL | **已修复** | 单条“该轮调用了未登记的工具…不能删除”,无 URL、无重复 |
|
|
|
|
|
+| BUG-09 重复成功提示 | **已修复** | 置顶/重命名/结束任务/删除均只出现一条业务提示 |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 八、测试数据与清理
|
|
|
|
|
+
|
|
|
|
|
+| 项目 | 内容 |
|
|
|
|
|
+|---|---|
|
|
|
|
|
+| 保留会话 | `2122685761335123969`(24 条消息,12 轮对话),便于复核 |
|
|
|
|
|
+| 会话产物 | `note-user1.txt`、`report-plan-user1.md`、`plans/PLAN.md`(位于 `qingjian/data/cases/2119250682281799682/ai/workbench/2122685761335123969/`) |
|
|
|
|
|
+| 已删除会话 | `2122686867297591298`(临时任务),其工作区与 `trust-scope-user1.txt` 已清理 |
|
|
|
|
|
+| 长期记忆 | 显式记忆 `3b2c42610a624db9ad132a286db024be` 已撤销(`revoked=true`),UI 显示“已撤销” |
|
|
|
|
|
+| MCP 配置 | 本轮点击“保存配置”时口令/暴露清单未改变(幂等保存),无功能性变更 |
|
|
|
|
|
+| 源码 | `git status` 仅 `?? test-reports-20261117-user1/`,未修改任何前后端源码 |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 九、证据附件
|
|
|
|
|
+
|
|
|
|
|
+### 9.1 截图(`screenshots/`)
|
|
|
|
|
+
|
|
|
|
|
+| 文件 | 说明 |
|
|
|
|
|
+|---|---|
|
|
|
|
|
+| `01-confirm-allow-reject.png` | 工具“允许本次/已拒绝”卡片与统计尾部 |
|
|
|
|
|
+| `02-task-management.png` | 任务管理列表、已结束任务、消息数 |
|
|
|
|
|
+| `03-route-run-cross-user.png` | 编排运行页(含管理员数据总量) |
|
|
|
|
|
+| `03b-route-run-cross-user.png` | 编排运行页滚动后视图 |
|
|
|
|
|
+| `04-usage-cross-user.png` | 用量页(总量包含管理员用量) |
|
|
|
|
|
+| `05-tool-input-empty-after-reload.png` | 刷新后确认类工具“调用入参 {}” |
|
|
|
|
|
+| `06-audit-aborted-filter.png` | 审计“已中止”筛选与结果 |
|
|
|
|
|
+| `07-memory-revoked.png` | 显式记忆“已撤销”记录 |
|
|
|
|
|
+| `08-usage-userlist-error.png` | 用量页“无权限操作(含 URL)”toast |
|
|
|
|
|
+| `09-mcp-save-success-by-normal-user.png` | 普通用户保存平台级 MCP 配置成功 |
|
|
|
|
|
+| `10-business-tools-unavailable.png` | 模型自述无案件业务工具/无专家/无案件上下文 |
|
|
|
|
|
+
|
|
|
|
|
+### 9.2 API / 日志证据(`evidence/`)
|
|
|
|
|
+
|
|
|
|
|
+| 文件 | 说明 |
|
|
|
|
|
+|---|---|
|
|
|
|
|
+| `auth-info.json` | 当前用户 `isAdmin=0` |
|
|
|
|
|
+| `final-session-list.json` | 会话 A 最终状态(24 条、`permissionMode=full`) |
|
|
|
|
|
+| `session1-messages-final.json` | 会话 A 全部 24 条消息与逐轮 Token/耗时 |
|
|
|
|
|
+| `session1-toolcalls-final.json` | 19 条工具调用,确认类入参/耗时为空 |
|
|
|
|
|
+| `audit-toolcall-writefile.json` | 审计接口中确认类 `write_file` 入参为空 |
|
|
|
|
|
+| `trace-detail-plan-round.json` | 计划轮链路详情(8 次工具、110,352 tokens、21,576 ms) |
|
|
|
|
|
+| `route-run-detail-plan-round.json` | 计划轮编排运行(success、110,352、21,576) |
|
|
|
|
|
+| `regen-check-last-tool-round.json` | 记忆工具轮次 `UNKNOWN_TOOL_USED`,不可重生成 |
|
|
|
|
|
+| `memory-declared-after-forget.json` | 显式记忆 `revoked=true` |
|
|
|
|
|
+| `final-scope-trace-list.json` | 链路 61 条:本人 14 / 管理员 47 |
|
|
|
|
|
+| `final-scope-route-run-list.json` | 编排 59 条:本人 14 / 管理员 45 |
|
|
|
|
|
+| `final-scope-usage-list.json` | 用量 3 条:本人 1 / 管理员 2 |
|
|
|
|
|
+| `cross-user-trace-detail.json` | 普通用户成功读取管理员链路详情 |
|
|
|
|
|
+| `cross-user-route-detail.json` | 普通用户成功读取管理员编排详情 |
|
|
|
|
|
+| `stop-generation-errors.log` | 停止生成触发的 IOException ERROR 堆栈 |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 十、修复优先级建议
|
|
|
|
|
+
|
|
|
|
|
+| 优先级 | 缺陷 | 理由 |
|
|
|
|
|
+|---|---|---|
|
|
|
|
|
+| **P0** | DEF-01 跨用户审计数据泄露 | 普通用户可见管理员会话/Token/工作区路径,属于数据隔离问题 |
|
|
|
|
|
+| **P0** | DEF-02 平台级配置可被普通用户修改 | 任意登录用户可改 MCP 口令/暴露面,影响平台安全 |
|
|
|
|
|
+| **P1** | DEF-03 确认类工具入参/耗时缺失 | 审计与合规留档失真,影响争议溯源 |
|
|
|
|
|
+| **P1** | DEF-04 用量页 403 + URL 提示 | 普通用户必现错误,且泄露内部地址 |
|
|
|
|
|
+| **P1** | DEF-06 业务工具/专家缺失 | 核心“AI 研判”不可用,需补齐种子或调整装配 |
|
|
|
|
|
+| **P2** | DEF-05 停止生成 ERROR 日志 | 功能正常,但日志噪声影响告警 |
|
|
|
|
|
+| **P3** | OBS-01 ~ OBS-10 | 体验/配置优化,按迭代排期 |
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+> **说明**:本报告只记录实测事实,未修改任何源码。所有截图与 JSON/日志均保存在 `test-reports-20261117-user1/` 下,可直接复核。
|