一人でも失敗したら終わる世界で、人類はどう生き残るか

人類は、失敗からしか学べない。
痛い目を見て、次はこうしようと修正する。
試行錯誤こそ、人類最大の武器だ。

だが、その武器がまったく効かない領域がある。
一度起きたら、そこから学ぶ主体がもういない失敗だ。
そしてAIは、その「取り返しのつかない失敗」を、国家ではなく一人の個人が起こせる時代を近づけている。
善意の総和では、悪意のたった一回を、相殺できない。
この行き止まりに、抜け道はあるのか。

毎年x%という破滅の確率

まず、状況を確率で捉え直す。
AIを使えば、一人の人間が、自分の能力を超えた破壊を起こせる時代になりつつある。
核、生物兵器、大規模なサイバー攻撃。
かつては国家しか扱えなかった力の設計図や手順が、専門家でない個人の手元へ近づいている。

ここに、決定的な非対称性がある。
大多数が破壊を望まなくても、たった一人が実行すれば、結果は取り返しがつかない。
善意はいくら積んでも、悪意の一回を打ち消せない。

思考実験として、核ミサイルの発射スイッチが、AIエージェントに接続された状況を考えてみる。
AIがハルシネーションを起こしただけで、世界が核戦争に突入しうる。
悪いのは接続を許した人間だが、一人がそれをやった時点で、終わる。

この実験が突いているのは、人間の最終判断を取り除く設計の危うさだ。
ハルシネーションは、確率的に必ず起きる。
不可逆な破壊に、自律的な判断を接続すること自体が、設計として破綻している。
これは技術の問題ではなく、ガバナンスとアーキテクチャの思想の問題だ。

この状況は、確率でモデル化できる。
毎年x%の破滅リスクがあるとき、十分に長い時間が経てば、累積確率は100%へ近づく。
xが固定値であるかぎり、文明はいつか必ず一度は滅ぶ。

哲学者トビー・オードは、今世紀のうちに人類が長期的な可能性を失うリスクを、6分の1と見積もっている。
宇宙に他の知的文明の痕跡が見当たらないのも、どの文明も一定の技術水準でxが跳ね上がり自滅するからではないか、という仮説すらある。

では、そのxは何で決まるのか。
おおまかに、三つの要素だ。

破壊能力（分子）が上がっても、検知・抑止能力（分母）が同じだけ上がれば、xは一定に保てる。
動機を持つ人の割合は、技術とは独立に、社会の側で動かせる変数だ。
だから、問いは一つに絞れる。
「xを、時間とともに下げられるか」。

xが下げられないなら、話はそこで終わる。
だが、核兵器の歴史は、いったん上がったxを人類が下げた実例を示している。

核のxを時系列で見ると、上がって、そして下がっている。
最も高かったのは、1962年のキューバ危機前後だ。
偶発的な核戦争に、何度も近づいた。
1983年には、ソ連の早期警戒システムがアメリカの核攻撃を誤って報告した。
だが当直の将校がシステムを信じず、報告を上げない判断をして、核戦争を防いだ。

その後、核拡散防止条約、米ソ間のホットライン、相互確証破壊のドクトリンが整い、xは下がっていった。
ガバナンスが技術に追いついてxを下げたのは、観念ではなく、歴史的事実だ。

ただし、核とAIには、決定的な違いがある。
核兵器は、国家規模のリソースを必要とした。
ウラン濃縮施設、巨大な予算。
だからガバナンスの対象は数十の国家に限られ、交渉と監視で管理できた。

AIでは、破壊の能力が、個人のレベルまで降りてくる。
ガバナンスの対象が、数十の国家から数十億の個人へと爆発する。
国家間の条約で抑えられるものでは、もうない。
核の成功体験は、そのままではAIに使えない。
xを下げる仕組みを、まったく違う規模で設計し直す必要がある。

だが、設計し直すにも、もっと根深い壁がある。
冒頭で触れた、人類の学び方そのものに関わる壁だ。

人類は、失敗からしか学べない。
だが、取り返しのつかない失敗からは、学べない。
ここに、行き止まりがある。

核兵器ですら、一度実戦で使われるまで、人類は踏みとどまれなかった。
広島と長崎は、人類が核の意味を理解するための「小規模な致命的失敗」だった。
そこから学べたのは、それが地球規模ではなかったからだ。

文明全体の破滅には、この「小規模版」が存在しない。
一度起きたら、そこから学ぶ主体が、もういない。
試行錯誤という人類最大の武器が、ここでは使えない。

この行き止まりを抜ける細い道が、シミュレーションだ。
核戦争は、実際には起きていない。
それでも、何千回も机上で演習され、その結果がドクトリンに反映されてきた。
2001年の「ダークウィンター」演習は、天然痘によるバイオテロを仮想的に体験させ、現実の政策を動かした。

擬似的な失敗を作り出して学ぶ能力は、人類がかろうじて持つ特殊な力だ。
そしてAIは、この能力を桁違いに引き上げる。
AIは破壊の道具であると同時に、致命的な失敗を仮想的に経験させる装置にもなりうる。
冒頭の「致命的失敗からは学べない」という行き止まりを、正面ではなく側面から迂回する道だ。

xを下げられるかどうかは、破壊能力の進歩に、この「失敗なき学習」がどこまで追いつけるかにかかっている。
答えは、まだ出ていない。
だが少なくとも、滅びは確定した未来ではない。
設計しだいで動く、一つの変数だ。
どちらへ動かすかを、私たちはいま決めている最中なのだと思う。