報告003 「無い」と分かっている証拠は整理に残るか
2026年9月28日
問い
本人が「録っていない」「付けていない」と話した証拠や、警察から「無い」と言われた痕跡を、AI は整理の中で「存在しない証拠」として挙げるか。頼み方によって差があるか。
条件
- 架空の相談文3つから、存在しない証拠4つを事項として取り上げた
| 事項 | 事例 | 原文 |
|---|---|---|
| E07 上司の口頭指示の録音 | harras_long(職場の嫌がらせ、2,869字) | 「悔しいのは、そのときボイスレコーダーを回していなかったことです。」 |
| E09 上司の発言の録音 | chat_log(職場のチャットの記録と補足) | 「録音は取っていません。」 |
| E05 自分の車のドライブレコーダー映像 | mumble_accident(交通事故の加害側、8,137字) | 「で、ドラレコがないのよ。」 |
| E10 路面のブレーキ痕 | mumble_accident | 「それにブレーキ痕ないって言われたんだけど、」(警察から告げられた) |
- 頼み方は素の頼み方と工夫した頼み方(報告001と同じ文面)で、工夫した頼み方の3項目めは「証拠になりうるもの。本人の手元にあるもの、相手方や第三者が持っているはずのもの、作られなかった・存在しないものを分けて」
- モデルは gpt-5.5(API)、claude-sonnet-5(API)、ChatGPT(ウェブ版、mumble_accident と harras_long の素の頼み方のみ)、FactSort 本番(gpt-4.1-mini)。各1回で、gpt-5.5 の工夫した頼み方は mumble_accident のみ2回、FactSort 本番は3回実行した
- 実行日は2026年9月27日(FactSort 本番のみ9月7日)
- 判定は、出力を読んで事項ごとに次の3つに分けた。判定したのは測定者1人である
- 証拠の欄で挙げる:証拠・資料を並べた欄で、無いものとして書く
- 本文でだけ触れる:時系列や事実の欄で無いことは書くが、証拠の欄では扱わない
- 触れない
結果
| 頼み方 | モデル | 事項数 | 証拠の欄で挙げる | 本文でだけ触れる | 触れない |
|---|---|---|---|---|---|
| 素 | ChatGPT(ウェブ版) | 3 | 0 | 1 | 2 |
| 素 | gpt-5.5(API) | 4 | 0 | 0 | 4 |
| 素 | claude-sonnet-5(API) | 4 | 2 | 1 | 1 |
| 工夫 | ChatGPT(ウェブ版) | 2 | 1 | 1 | 0 |
| 工夫 | gpt-5.5(API) | 4 | 3 | 1 | 0 |
| 工夫 | claude-sonnet-5(API) | 4 | 4 | 0 | 0 |
| FactSort 本番 | gpt-4.1-mini(3回) | 4 | 3、3、3 | 1、1、1 | 0、0、0 |
gpt-5.5 の工夫した頼み方の2回目(mumble_accident の2事項)も、1回目と同じ判定だった。事項ごとの判定は末尾の付表にある。
原文との対照
事項 E05(自分の車のドライブレコーダー)。原文:
で、ドラレコがないのよ。
付けようって言ってたのよ、私。二年前くらいから。旦那が「そんなもんいらない」って。だからもしドラレコあったら絶対わかったのに。
ChatGPT(ウェブ版)・素の頼み方は「客観的証拠として確認すべきもの」を11項目挙げたが、本人の車のドライブレコーダーには触れていない:
1. 交差点付近のコンビニエンスストアの防犯カメラ
2. 周辺マンション・店舗等の防犯カメラ
(中略)
11. 目撃車両・目撃者の有無
ChatGPT(ウェブ版)・工夫した頼み方:
## C 作られなかった、又は存在しないと本人が述べているもの
(1)本人車両のドライブレコーダー映像。事故車両にはドライブレコーダーが設置されていない。したがって、本人車両のドライブレコーダー映像は存在しない。
所見
- 素の頼み方の ChatGPT(ウェブ版・API)は、探すべき証拠の一覧は作るものの、無いと分かっている証拠は一覧に入れず、存在しない証拠を証拠の欄で1つも挙げなかった
- 素の頼み方でも、claude-sonnet-5 は4事項中2事項を証拠の欄で挙げた(「録音 なし」など)
- 工夫した頼み方では、本人が「無い」と言った3事項(E07、E09、E05)を、実行した出力がすべて証拠の欄で挙げた(ウェブ版 ChatGPT は mumble_accident だけを実行したので、E05 のみ)
- 警察から「無い」と告げられたブレーキ痕(E10)を証拠の欄で挙げたのは、工夫した頼み方の claude-sonnet-5 だけだった。ほかの出力と FactSort 本番の3回は、警察とのやりとりとして時系列にだけ書いた。本人の言う「無い」と他人から告げられた「無い」とで扱いが分かれた可能性があるが、該当は1事項しかない
- 逆向きの誤りも1件あった。FactSort 本番の2回目は、harras_long で後輩との会話の記録の所在を「相談者の手元(後輩との会話録音等)」と書いたが、原文に後輩との会話の録音は無く、書き手はボイスレコーダーを回していなかったと述べている
限界
- 事項は4つで、うち2つが同じ事例にある。事例はすべて測定者が作った架空の相談文で、工夫した頼み方もこれらの事項を知ったうえで書いた
- 判定は測定者1人による
- 各1回(FactSort 本番のみ3回)のため、頻度は分からない
- ウェブ版 ChatGPT は、一部の事例と頼み方しか実行していない
- 素の頼み方の出力は、証拠の欄を持たない構成のこともある。その場合、無いことを本文で書けば「本文でだけ触れる」になる
- 自動採点(照合語の文字一致)では、harras_long の照合語に「記憶」が含まれていたため、この事項はどの出力でも「挙げた」と数えられていた。この報告の判定は、自動採点を使っていない
再現資料
- 事例の原文:harras_long、chat_log、mumble_accident(/research/cases/ に公開)
- 頼み方の全文:報告001を参照
- 付表:事項ごとの判定(挙=証拠の欄で挙げる、本=本文でだけ触れる、無=触れない、-=実行していない)
| 事項 | 素・ウェブ | 素・gpt-5.5 | 素・claude | 工夫・ウェブ | 工夫・gpt-5.5 | 工夫・claude | FactSort(1・2・3) |
|---|---|---|---|---|---|---|---|
| E07 | 本 | 無 | 挙 | - | 挙 | 挙 | 挙・挙・挙 |
| E09 | - | 無 | 挙 | - | 挙 | 挙 | 挙・挙・挙 |
| E05 | 無 | 無 | 本 | 挙 | 挙 | 挙 | 挙・挙・挙 |
| E10 | 無 | 無 | 無 | 本 | 本 | 挙 | 本・本・本 |