# Gen 用户意图与交付回归

本文件是可读协议，不是自动覆盖已完成的声明。可执行用例、固定 rubric、反例和
CI 卡控在 arkcli-eval-kit 维护。记录宿主/模型、CLI ref、实际 Skill hash、消费主体、
本次请求、task ID、文件/hash 和逐项验收；不以总通过率掩盖关键用例失败。

| 维度 | 场景与验收 |
| --- | --- |
| 触发/反触发 | 真实生成与编辑进入 Gen；现有媒体理解走 Chat/Understand；只查资源不得提交生成 |
| 默认与数量 | 无模型、一个候选、多个候选、显式 EP；一张/多文件/一张多格；不偷改 default 或计费主体 |
| Profile/Key | Agent Plan/Team 预设与 Coding Plan/Team 后付费 EP 分流；失效/撤销/权限/用量分别处理，禁止自动轮转或跨身份兜底 |
| 模型能力 | alias、精确版本、EP Foundation/Custom 绑定；unknown/error/空目录与 support=false 区分；能力查询 ID 不替换实际调用 ID |
| 参数组合 | 每项公开参数及实际值/type/enum/range；显式 false、seed=0、数量/sequential、时长/frames、audio、首尾/参考素材角色、空 save-to |
| 续写输入 | 本地 reference_video 必须在创建前被识别为当前不可直接提交；已有可信远程 URL 可复用，不能用真实创建反复探错 |
| 续写参数 | 固定比例与 adaptive 都按精确模型/EP 的值级能力和用户要求处理；不因“续写”静默改 ratio；优先验证原生目标时长，再决定是否分段 |
| 素材边界 | 只使用用户提供或明确授权复用的素材；目录中存在旧参考图时也不得引入未授权历史素材 |
| Preview | 仅本地零业务请求/写入；不把 dry-run 成功或事后补做 dry-run 洗成真实调用已验证 |
| 异步生命周期 | 单次提交；queued/running 轮询；成功后下载；failed/cancelled/未知状态/超时有界停止；无 task_id 必须标 UNKNOWN，不能按 name/model 猜任务后重提 |
| 批量预算 | 候选数 × 阶段数的整批额度前置检查；套餐或免费额度已耗尽时零创建；不能把 quota 错误误判成并发限制 |
| Chat 组合 | 宿主不能直接看图时，已授权视觉模型可返回文字检查；保留同一消费主体，不偷偷选择另一 Profile |
| 宿主能力 | 同一个只支持文本的 Agent 对文本 Read 成功、图片 Read 失败；实际 Gen 场景应安全交付或走兼容分析入口，不把原生 Read 存在当作视觉准入 |
| 图片内容 | 主体数、颜色、位置、文字、参考身份与文件数逐项验收；平台标识和场景文字分开，不虚称无水印 |
| 视频内容 | 全解码、时长/比例/音轨、主体动作/方向/镜头；时序媒体或覆盖全过程的证据，首帧不能证明运动 |
| 反例校准 | 已知非空正例后，错误主体/方向、静止视频、损坏文件、旧 task/文件、篡改 hash、仅 Agent 自称成功必须变红 |

至少保留一组固定自然语言图/视频场景跨真实 Agent 跑通；测试不能把期望 flag
直接塞给 Agent，再称作自然语言理解通过。参数契约测试单独标记。
Linux 不需要 GPU/桌面：远端生成，本地全解码，独立视觉模型验收，最后与 Agent
完成状态合取。成品达标不覆盖 Agent 错误；验收器错误/uncertain 不算生成效果失败
或成功，必须单独归因。未测试的产品、环境和 Profile 不标在线通过。