報告008 呼び名をそろえる規則を足すと、証拠の拾い方は変わるか
2026年9月29日
問い
登場人物の呼び名を日本語で統一させる規則をプロンプトに足したとき、証拠の拾い方（とくに相手方が持つ証拠）に影響が出るか。
条件
対象は FactSort 本番の抽出（gpt-4.1-mini、1回の呼び出し。5,000字を超える入力は分割）である。2026年9月7日に、呼び名の規則をプロンプトの要件の5番目に11行足した。というのも、同じ配偶者が「Spouse」「夫」「旦那」の3人として登録されるなど、呼び名が割れて出来事が別人のものとして散らばっていたからである。
比べたのは、変更前の基準（9月6日、各事例3回の中央値と範囲）と、変更後の独立した2標本（9月7日、各3回の中央値）である。参考に、その後の本番（9月29日、各3回）も並べる。9月29日までに、年の扱いなどほかの変更も入っている。
事例は harras_long（2,869字）、chat_log（1,449字）、mumble_accident（8,137字）で、いずれも架空の相談文である。採点は、正解データの照合語が証拠の欄にあるかをプログラムで数えた。
結果
| 事例 | 項目 | 変更前（9/6） | 変更後 標本1 | 変更後 標本2 | 参考 9/29 |
|---|---|---|---|---|---|
| harras_long | 摘示 | 11/12（10〜12） | 9/12 | 10/12 | 9/12（8〜10） |
| 相手方 | 8/8（6〜8） | 6/8 | 7/8 | 6/8（5〜7） | |
| chat_log | 摘示 | 9/9（7〜9） | 7/9 | 7/9 | 7/9（6〜8） |
| 相手方 | 5/5（3〜5） | 3/5 | 3/5 | 3/5（3〜5） | |
| mumble_accident | 摘示 | 9/13（9〜10） | 9/13 | 9/13 | 10/13（8〜11） |
| 内容の保持 | 22/26 | 24/26 | 24/26 | 22/26（21〜24） |
呼び名はそろい、英字の呼び名は0になった。mumble_accident では、20名に割れていた登場人物の重複が解消した。
原文との対照
chat_log は、職場のチャットの記録に書き手の補足が付いた事例である。補足の原文は次のとおり。
田村課長とのやりとりは全部このチャットに残っています。ただ、私の端末には30日より前のものが表示されなくなっていて、古い分は会社のサーバにしかないと思います。面談の日程調整は別のスケジューラでやっていたので、そちらの記録も会社側にあるはずです。席替えの別紙は社内掲示板に貼られていました。
正解データでは、相手方（会社）が持つ証拠を5つ挙げている。うち3つ（30日より前のチャットの記録、面談の日程調整の記録、席替えの別紙）はこの段落から来ていて、残る2つは、書き手が提出した週報と、問題とされた見積である。変更後の標本では、5件のうち3件にとどまった。
所見
- 短い2事例（1回の呼び出しで処理される）で、摘示と相手方が持つ証拠が下がった。chat_log は2標本とも同じ値（摘示 9→7、相手方 5→3）で、1回の揺れでは説明しにくい。
- 長い mumble_accident（分割して処理される）では下がらず、内容の保持は上がった。
- 9月29日の本番でも、短い2事例の値は変更後の標本と同じ水準にある。
- 一つの不具合を直す規則が、別の項目を下げることがある。呼び名の統一は読み手にとって必要な直しで、運営者はこの低下を承知のうえで維持している。
限界
- 原因が11行の規則そのものだとは確かめていない。規則を後ろへ移す、短くするといった対照の実行はしていない。
- 変更前の基準と変更後の標本は日が違い、モデル側の揺れの影響を除けていない。
- 各3回の中央値で、範囲が重なっている項目がある（harras_long の相手方）。
- 9月29日の数字には、その後の別の変更の影響も入っている。
- 事例は測定者が作った架空の相談文である。
再現資料
- 事例の原文：3事例（/research/cases/ に公開）
- 変更の内容：FactSort 本番のプロンプト extract_v1.md の要件5（呼び名の規則）
- 採点：比較台の src/score_gold.py、基準は eval/regress/baseline_20260906.json と baseline.json