Skip to content

修正共用评分解析与原生答案字段校验 - #2

Merged
lanyue-llk merged 18 commits into
lexmount:mainfrom
Maisiqi:codex/pr51-scoring-port
Oct 20, 2026
Merged

lanyue-llk merged 18 commits into
lexmount:mainfrom
Maisiqi:codex/pr51-scoring-port

Conversation

@Maisiqi

@Maisiqi Maisiqi commented Oct 16, 2026 •

Copy link
Copy Markdown
Contributor

改动说明

修正 HTML、Markdown、表格、列表和资源的共用解析,避免把其他条目或隐藏内容借来满足要求。评分库负责题库、提交答案和实际文件字节的验收;供应商响应与日志的来源核验由 Browser Eval PR51 负责。

评分库与 Browser Eval 的职责分工

图为既有分工示意,具体接口以本文和代码为准。

评分修复

  • 删除美国票务文案、城市格式和 URL 路径猜字段的处理。名称、日期、地点按可见结构及记录归属提取,不从其他活动借字段。
  • 处理 Markdown 硬换行、空标题、嵌套图片和时间字段,保留真实名称与明确标题。
  • 先确认真实表格,再处理重复列标题,避免导航伪表头遮蔽有效表格。裸 HTML 遵循可见内容,明确围栏或转义保留代码文字。
  • 共用 srcset URL 解析,保留 URL 内逗号。新增成对控制,没有新增单案例或供应商评分分支。

职责收口

  • 删除 answer_projection.py,将 Moli 日志、Firecrawl 历史字段及完整原生投影迁到 PR51 的现有来源核验模块。
  • 删除本 PR 引入的 native_response、native_diagnostic、native_files 来源入口,不留兼容别名。通用文件入口为 score_attempt(delivered_files=list[bytes]),根据实际字节判定。
  • 原 36 项投影/日志测试、10 条来源控制迁到 PR51,保留原 ID、输入和预期,并增加实际保存和重新核验测试。

v3 建议的判断

当前提交保持 84c177d97da3b82567d9881e377aa728929cf129,与 PR51 的依赖及锁文件一致。本轮报告复用性修改在 PR51,没有为了增加提交而改变评分结果。

  • **P2-6:角色配置延后到评分版本升级。**角色识别与字段别名不等价:角色识别允许无标签的正常文字,而别名要求明确标签。已有对照验证同一句描述直接识别成功,换成 aliases=['description'] 后为空。直接搬入现有 aliases 会改变验收含义;未来应增加独立、明确的角色配置。
  • **P2-7:显式 answer_format 延后到接口版本升级。**方向合理,但必须同时迁移在线与离线入口,定义缺省格式并更新冻结评分身份。此次沿用既有合同;没有声称消除这项剩余耦合。v3 文档明确允许这两项延后。

报告题数、定价文案、专属文章和历史报告实例属于 PR51 与外部报告资产,不在本评分库中维护。

v4 复审结论

v4 没有提出本评分库的新修复项;当前提交仍为 84c177d97da3b82567d9881e377aa728929cf129,PR51 的依赖锁保持一致。新增 N1–N7 涉及报告配置、共用参数、来源链接、维护入口和证据读取,已在 PR51 处理;本 PR 更新说明,不额外改变评分代码。

角色配置和显式 answer_format 继续延后到完整接口升级,v4 同意这两项延后。metrics.py 对 native_answer_projection 的读取也需随该接口一起迁移,不能只删读取而丢失现有证据信息。这里没有声称这项剩余工作已经完成。

验证

  • make check:1,865 项测试、81 个子测试通过。当前提交的 Python 3.11–3.14 CI 通过。
  • 评分源码哈希:7e1b468e981cfe1da89d443047aff7facd841cd03f00bfc4b016ed67ba292da3。四套冻结题库任务文件未改。
  • 先前结构整理已对保存答案逐条比较完整指标,前后相同;本次 v3 未再进行全量重算,也未调用服务商或改写实测报告。

历史报告的复核覆盖属于其绑定评分版本;代码测试通过不能替代新的人工复核。

@Maisiqi Maisiqi changed the title Preserve shared scoring and native answer admission after extraction 修正共用评分解析与原生答案字段校验 Oct 19, 2026
@lanyue-llk
lanyue-llk merged commit 5ac291a into lexmount:main Oct 20, 2026
4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants