報告005 整理の工程を分けると良くなるか
2026年9月28日
問い
人物・証拠・時系列・揺れを別々の工程で作らせると、1回で全部を作らせるより良い整理になるか。安いモデル（gpt-4.1-mini）で確かめた。
条件
事例は harras_long（2,869字）、chat_log（1,449字）、mumble_accident（8,137字）で、いずれも架空の相談文である。
工程分けは、①人物 ②証拠 ③時系列 ④揺れ・推測・質問 の4工程で作らせる。各工程は原文全体と前の工程の結果を受け取り、自分の担当だけを出力する。出力の書式は工程ごとに強制した。④のあとには照合の工程があり、出来事を原文と照らして注記し、証拠を持ち主ごとに振り分ける（外部の分類 API「Jev」を使う。その判定の成績はここでは扱わない）。年を落とすコードの歯止めは通していない。
比べる相手の一撃は、FactSort 本番の抽出（2026年9月7日の実行）である。1回の呼び出しで全部を出力させ、書式の強制はない。5,000字を超える入力は分割して処理し、最後に構造をまとめる工程と年の歯止めを通す。
モデルはどちらも gpt-4.1-mini で、各事例3回ずつ回した。工程分けの実行日は2026年9月28日である（9月27日の実行を、書き起こしの不具合を直して回し直した）。
採点は、正解データの照合語が出力にあるかをプログラムで数えた。摘示は挙げた証拠、相手方は相手方が持つ証拠、不存在は存在しない証拠、保持は原文の言い方が出力に残っているか、年の創作は原文に無い西暦の個数である。
結果
| 事例 | 項目 | 工程分け（3回） | 一撃・本番（3回） |
|---|---|---|---|
| harras_long | 摘示 | 12・12・12 /12 | 12・12・12 /12 |
| 相手方 | 8・8・8 /8 | 8・8・8 /8 | |
| 保持 | 17・15・17 /18 | 17・16・17 /18 | |
| 年の創作 | 4・0・0 | 0・0・0（歯止め後） | |
| chat_log | 摘示 | 9・8・8 /9 | 9・9・9 /9 |
| 不存在 | 1・0・0 /1 | 1・1・1 /1 | |
| 保持 | 29・30・30 /30 | 30・30・30 /30 | |
| mumble_accident | 摘示 | 11・10・11 /13 | 13・13・13 /13 |
| 相手方 | 5・3・4 /5 | 5・5・5 /5 | |
| 保持 | 21・19・21 /26 | 24・21・24 /26 | |
| 費用（1件） | harras_long | $0.022〜0.025 | $0.008 |
| mumble_accident | $0.034〜0.035 | （記録なし） | |
| 時間（1件） | harras_long | 58〜83秒 | 70〜80秒 |
原文との対照
chat_log の原文の最後の1文は次のとおり。
録音は取っていません。
一撃（本番）は3回とも、証拠の欄に「田村課長の発言の録音」を「なし（作成されていない）」として挙げた。これに対して工程分けは、3回中2回、証拠の工程（②）でこれを挙げなかった。②には「存在しないと分かるものも挙げること」と指示してある。
所見
- 測った項目（拾った数と原文の言い方の保持）では、工程分けは1回で作らせた整理と同じくらいだった。harras_long では同じで、chat_log と mumble_accident では証拠の拾い方がやや下がり、存在しない証拠の見落としが2回、相手方が持つ証拠の見落としもあった。
- 工程分けの値打ちは、最後に専門家の視点で並べ直すこと（証拠を持ち主ごとに分ける、揺れ・推測・質問を分ける）にある。その整理の質はこの報告の採点に入っていないので、「工程分けは一撃を上回らない」とは言えない。
- 費用は約3倍になった。工程ごとに原文全体を読み直させるため、入力トークンが工程の数だけ重なる。
- 書式を強制し、年を補うなと指示していても、工程分けの時系列は1回で年を作った（harras_long で4件）。本番ではコードの歯止めがこれを落とす。
- 2026年9月27日の実行では、工程分けの内容の保持を 8〜15 と数え、「工程分けで悪化した」としていたが、これは誤りだった。原因は、時系列の工程の引用の欄名（quotes_or_exact_words）を書き起こしが読んでおらず、引用が出力から全部落ちていたことにあり、直すと保持は一撃とほぼ同じになった。
限界
- 工程分けと一撃は、工程の数以外にも、書式の強制の有無、長い入力の分割の有無、年の歯止めの有無が違う。この報告は「工程の数だけを変えた比較」ではない。
- 一撃の出力は9月7日の実行で、工程分けは9月28日の実行である。
- 各3回で、揺れの範囲は大きい。
- 採点は照合語の文字一致で、言い換えを取りこぼす（報告002を参照）。揺れを残すかどうか、証拠を持ち主ごとに正しく分けたか、専門家が読んで使いやすい出力か、はこの報告では数えていない。
- 同じ比較を gpt-5.5 でも1回行ったが、その出力も同じ不具合で引用が落ちており、回し直していない。
- 事例はすべて、測定者が作った架空の相談文である。
再現資料
- 事例の原文：3事例（/research/cases/ に公開）
- 工程分けの各工程の指示と書式：比較台の run_stages.py と schema/stage1_people.json・stage2_evidence.json・stage3_chronicle.json
- 一撃のプロンプト：FactSort 本番の extract_v1.md