報告006 「年を補うな」と指示すれば、年の創作は止まるか
2026年9月28日
問い
整理を頼むときに「書かれていない年を補わない」と指示すれば、AI は原文に無い年を書かなくなるか。
条件
ここでは指示のある条件だけを並べる。どれも架空の相談文で、数えるのは原文に無い年が付いた箇所であり、年を落とすコードの歯止めは通す前の数字である。
| 条件 | 事例 | モデル | 年についての指示 | 回数 |
|---|---|---|---|---|
| A チャット・工夫した頼み方 | harras_long(原文に年なし) | claude-sonnet-5、gpt-5.5 | 「日付は本人の言い方のまま書き、書かれていない年や日付を補わない」 | 各1 |
| B 工程分けの時系列の工程 | harras_long(原文に年なし) | gpt-4.1-mini | 「原文に西暦が書かれていないなら、日付に年を補ってはならない。『去年の10月』としか書かれていないなら、それが何年かは決められない」。年の欄は空欄(null)にできる書式を強制 | 6(9/27 に3、9/28 に3) |
| C FactSort 本番のプロンプト | harras_year(冒頭に「2024年の4月に…入りました」を1文足した harras) | gpt-4.1-mini ほか4モデル | 「★★絶対に西暦を推測して補わないこと」。ただし同じプロンプトに、相対的な日付を証拠の日付に合わせて換算せよという規則がある(後述) | 各3 |
実行日は2026年9月27日・28日である。数え方は、A・B が原文に無い西暦の個数で、C は入社の出来事以外で年を持つ出来事・証拠の数(報告001の追試と同じ)である。
結果
| 条件 | モデル | 原文に無い年 |
|---|---|---|
| A(参考:指示なしでは 2) | claude-sonnet-5 | 0 |
| A | gpt-5.5 | 0 |
| B | gpt-4.1-mini | 9・3・0・4・0・0 |
| C | gpt-4.1-mini | 0・6・29 |
| C | glm-5.3-flash | 35・32・38 |
| C | deepseek-v4.1-flash | 25・29・28 |
| C | qwen3.8-flash | 1・0・0 |
| C | seed-2.0-mini | 0・0・0 |
原文との対照
B(原文に年なし)では、原文が次のとおりだった。
11月10日、オフィスのコーヒーメーカーが壊れました。
これに対する gpt-4.1-mini・工程分けの時系列の出力は次のとおり。
- 2023-11-10 11月10日、オフィスのコーヒーメーカーが壊れ、Userが最後に使った後だったため、総務の女性から「使い方が荒い」と厳しく叱責された。
C(原文に年が1つ)では、原文が次のとおりだった。
2024年の4月に、今の会社に中途で入りました。営業企画の部署です。
去年の10月、僕は経費精算の数字を見て、背中が冷えました。
glm-5.3-flash の出来事(開始日・原文の書き方)は次のとおり。
2024-10 去年の10月 相談者が経費精算の数字を見て、飲み代が「会議費」になっており…
同じ条件の別の出力は、注記に「2024年4月入社の記述に基づき推定(2024年10月)」「2025年と推定(入社が2024年4…」と書いていた。原文の1つの年を手がかりに、ほかの出来事の年を推し量っている。
所見
- 指示で止まるモデルと止まらないモデルがあり、claude-sonnet-5・gpt-5.5・seed-2.0-mini・qwen3.8-flash はほぼ止まったが、gpt-4.1-mini は6回中3回(B)、3回中2回(C)で年を作った。glm-5.3-flash と deepseek-v4.1-flash は、原文に年が1つあると毎回ほぼ全項目に付けた。
- 年を空欄にできる書式を強制しても、止まらなかった(B)。
- C のプロンプトには逆向きの指示が同居していた(「絶対に西暦を推測して補わないこと」の数行下に、「『去年の10月』のような相対的な表現は、証拠の日付に合わせて換算せよ。例:証拠が 2023-10-25 なら『2023-10』と解釈する」という規則があり、出力規則の末尾にも注記の例として「2025年10月頃と推定」があった)。原文に年が1つ現れたとき、モデルはこちらに従ったと見られる(注記の「〜に基づき推定」)。
- 原文に年が無い事例だけで測ると、C の本番は3事例とも「年の創作0」になる。その数字は、年を落とすコードが全部消した結果であり、原文に年が1つある相談文ではそのコードが働かなかった(2026年9月28日に直した)。
限界
- A は各1回なので、指示がどの程度の頻度で守られるかは分からない。
- B と C は指示の文面も事例も違う。同じ指示を別のモデルに当てた比較は C だけである。
- C の「逆向きの指示」が原因だというのは、出力の注記からの推測である。その規則を外して回し直してはいない。
- 事例は測定者が作った架空の相談文で、年の入れ方は1通り(入社の年)しか試していない。
再現資料
- 事例:harras_long、harras_year(/research/cases/ に公開)
- B の指示の全文:比較台の run_stages.py(工程③)と schema/stage3_chronicle.json
- C の指示:FactSort 本番の extract_v1.md(Requirements の3)
- 数え方:原文に無い西暦は報告001の正規表現。C は比較台の src/score_year.py