o1 proとお話ししてたら、「AIにとっての人間の必要性の再創造」というなんとも言えないワードが出てきた

By default, capital will matter more than ever after AGI【要約】

・「資本」とは、お金だけでなく工場やデータセンターなどの物的資本も指す。
・AIが労働を代替する時代になると、多くの人にとって唯一のレバレッジだった「労働力の提供価値」が急速に低下する。
・その結果、「お金（資本）によるパワー」はこれまで以上に強力になり、逆にお金のない人間が現実世界で影響力を持つのは難しくなる。
・国家や企業が人間を気にかけるインセンティブも弱まるので、人権や自由が十分に保障されなくなるリスクが高まる。
・ベーシックインカムなどで最低限の生活は保証されるかもしれないが、社会的流動性は激減し、静的かつ不平等な状態が固定化する可能性がある。
・大規模な平等化（歴史的に見れば戦争や革命などによる）が起こるシナリオは考えにくい。
・結果として、現在の大資本保有者や強い国家が、そのまま権力を永続化する確率が高い。下手をすると、さらに極端な不平等が進み、人間全体への配慮が大幅に下がるかもしれない。
・最終的には物質的に豊かでも人間の主体性が失われる社会、あるいはAIに人類が取り込まれるシナリオなども懸念される。
・しかし、今の時点（AIがまだ労働を完全に代替していない段階）では、人間が行動を起こせる大きなチャンスがある。
・したがって、「どうせお金が全て」と諦めるのではなく、今こそ社会を動かすために行動すべきだし、社会の停滞を防ぐための制度・文化づくりが極めて重要だ。

----------
【和訳】

追記: 本記事の主な要点としては、「労働を代替するAIの出現によって、人間という生産要素と非人的な生産要素（資本）の相対的な重要性が変化し、社会が人間をケアするインセンティブが下がり、既存の権力がより効果的に強固になる」ということを伝えたい。 多くの方が本記事を読んで、「(a) ‘資本’ とはお金だけを指す（工場やデータセンターのような物的資本を含まない）」、または「(b) ここで懸念しているのは人間同士の格差問題で、より広い社会全体への懸念や、人類全体のポジション、人間の主体性の問題ではない」というふうに誤解される向きもあるようだ。本記事で言う「資本」は、お金に加えて、工場やデータセンターなど物理的に生産に用いられるもの全般を含むと理解していただきたいし、主題は単なる所得格差ではない。
私はこれまでに多くの人が「AGIが来たら、お金なんて意味がなくなる」といった趣旨の発言をするのを耳にしてきた。これはいつも奇妙に思えて仕方がなかったし、ほぼ間違いだろうと考えている。
まず前提として、労働とは、人間が精神的または肉体的に何か価値あるものを生み出す努力のことを指す。資本財とは、工場やデータセンター、ソフトウェアなど、人間が作り出し、財・サービスの生産に使われるものを指す。本記事では、「資本(capital)」という言葉を、資本財のストックに加え、それを購入できる金銭的リソース（またはそれに相当するもの）まで含めて使う。また、「お金(money)」という言葉は、資本財を除く純粋なお金のことを指すとする。

AIの主要な経済的影響は、AIが労働に対してより包括的な代替手段になることである。多くの領域において、人を雇って支払うよりも、資本──たとえばデータセンターとソフトウェア──に置き換えてしまうほうが安く早く質も良い、という状況が広がる。

本稿では、このことの帰結をいくつか述べていく。その最終的な結論は、労働を代替するAIによって以下の事態が起こりうる、というものである:

・（お金を使って）現実世界で何かを実行する能力が、劇的に向上する。
・（お金がない）人間が現実世界に影響力を及ぼす能力は劇的に低下する。 具体的には：
- 国家や企業などが人間を気にかけるインセンティブがなくなる。 -人間が、自分の生まれ持ったリソース以上の飛び抜けた成果を出すのが困難になる。  ・抜本的な平等化策（格差を一挙に縮めるような政策など）は起こりそうにない。
そして、結果として、社会は永久に停滞し、現在ある権力バランスが固定されてしまう可能性がある、というやや悲観的な見方を示す。
もちろん、十分に強力なAIがあれば、物質的には何不自由のない生活が保証されうるので、必ずしも「豊かさが足りない」わけではない。ただ、このシナリオでは人間がどれだけ安定した豊かさを得られるかは、かなり外部要因に左右されやすい。たとえば、ごく一部の国（たとえばアメリカ）だけがAIによって生み出される富を独占し、他の国や人々が置き去りにされるという構図も十分ありえる。あるいは、AIがそれほど急激に「超知能化」しない場合、人類の大半は、意外に（物質的にも）恵まれない状況が続くかもしれない。また、AIの導入とともに力を失う人々が多いこと自体が、社会にとって不安定要素ともなる。

私がこれらのシナリオの中で特に胸を痛めているのは、「固定化された支配階級により支えられた静的な社会」は、生き生きとしたダイナミズムを欠くのではないかという点だ。可能ならば、人間の野心や情熱を絶やしてはいけないと私は思う。 さらに、人々のことをさほど気にかけなくなった権力者（または権力構造）からは、徐々にではあるが、AI起因の緩慢な破局が引き起こされる可能性もある。（人類が最終的にAIに取り込まれる形でも「破局」と呼ぶかは議論の余地があるが、少なくとも人間主体の未来は消えうる。）

■デフォルトの解決策？

労働がAIに置き換えられて、大半の人間が失業するような状況を想定しよう。現在は次の二段構えの「解決策」がよく語られている。

政府がベーシックインカム（UBI）などを導入する。
そのうち超知能が実現し、うまくアラインメント（安全性）ができていれば、人類は「ポスト・スカーシティ」（完全な物質的豊かさ）の理想郷を手に入れる。

まず注目したいのは、たとえシンギュラリティ的な激変が起きても、少なくとも「経済を回す仕組み」としての価格メカニズム（＝お金の概念）がそう簡単には消えないだろうということだ。もし世界にただ1つのAIシステムだけが存在し、すべての経済活動を計画・管理してしまうなら別だが、多数の主体（AI同士でも）がお互いに取引するなら、価格システムは残るはずである。いかに豊富な資源があっても有限である以上、それをどう配分するかは何かしらの価格メカニズムが必要になる。

■現状、お金では「トップ人材」を買いにくい
現在において、お金で買えるものはたくさんある。一方で、本当に優れた人材を雇うというのは、単純にお金の多寡だけでは難しい。現にブルーオリジンとスペースXを比較してみれば、前者（2000年創業）は後者（2002年創業）より資金力があったはずなのに、ロケット開発で明らかに後塵を拝している。同様に、一世紀前のライト兄弟とサミュエル・ラングレーの例でも、後者は多額の資金提供を受けながら成果で敗れた。ベンチャーキャピタル（VC）とスタートアップ創業者の関係を見ると、VC側は多額の資金を持つが、実際には「才能のある少数の人」に賭けるしかないし、その「才能」がどこにあるかを見極めるのも難しい。トップ人材の多くはお金で買えないような強いモチベーションを持つことが多いし、一度スーパースターとして実績を上げた人材も、他社にクローンのように複製して移すことはできない。人間には個性があるからだ。
■だが「労働を代替するAI」なら優秀な労働をクローンできる
しかし、AI（特にソフトウェア的なAI）はコピーが容易だ。もし人間の一流研究者に匹敵する天才AIが登場したら、誰もが（十分な資本があれば）そのクローンを手に入れられる。あちこちの企業がお金を払って、その「天才AI」を導入するだろう。優秀な人材を厳選したり、説得したり、モチベーション管理をしたりする必要はなくなる。もう「多数のユニークな人間」を丹念にスカウトして育てる必要はない。

さらにAIの価格自体は、一旦開発されてしまえば、コピーコストや運用コスト（ハードウェアと電気代など）を除けば極端に安くなる。人間の一流人材を雇用し維持するより遥かに安上がりになるはずだ。そしてAIは人間と違って「好き嫌い」や「情熱の方向性」に左右されることもない。どんな面倒な仕事でも淡々とこなせる。加えて、そのうち人間よりはるかに優れた能力を持つようになるだろう。

これらは、お金を持つ者が「結果（成果）」を買う能力を飛躍的に高めることを意味する。

■大半の人間が持つ唯一の「権力レバレッジ」は労働力だ

一方、ほとんどの人が持つ唯一のレバレッジは、自分が労働者として提供できる能力である。だがAIが労働を置き換えるなら、そのレバレッジは失われる。普通の人はもう、どこかに雇われることで給料を得ることができなくなる。もちろん先述したUBIが導入される可能性はあるが、それはあくまで「権力を持つ人々が、人道的や政治的な理由などで富を再分配してくれる」という期待に基づく。ではなぜ、権力者層は人間の福祉を気にかけてくれるのか？
■なぜ国家は国民に優しくしてきたのか

近代に入ってから、国家は徐々に国民に対して手厚い福祉や教育、自由を保障する方向へ動いてきた。これは主に以下のような理由によると考えられる:

・啓蒙思想以降のリベラリズムや個人主義といった道徳観の変化

・工業化と技術進歩による富の拡大：前近代では社会全体が貧困に近かったため、貧者への本格的な社会保障などは不可能だった。

・国家が強くなるためには、国民が自由で豊かで高度教育を受けていることが有利だった：工業化が進むと、知的労働力や技術革新が国家の競争力を左右するようになり、経済発展のためにもある程度の民主主義や自由が必要とされた。
しかし、もしAIによって人間の労働力が重要でなくなれば、国家や企業などが国民の声に配慮するインセンティブが弱まる。たとえば、今はストライキなどで労働者側が抵抗できるが、AIが代わりになればストライキの影響は小さい。民主主義が維持されるかどうかも不透明だ。ましてや、自由や豊かさを与えなくても、国家や企業の競争力には影響しないかもしれない。人間はもはや経済や軍事力の要ではなくなるからだ。

アダム・スミスは「晩ご飯は肉屋やパン屋の善意ではなく、彼らの利己心によってもたらされるのだ」と述べた。市場や国家は、人々を活かすインセンティブを内在的に持っていたからこそ、繁栄が広がった。しかしAIで労働が不要になると、その利己心が人々のために働く仕組みが崩れる。結果、「国家やエリートが人々をケアするかどうかは、彼らの善意やイデオロギーにかかっている」という、脆い状態になってしまう。

西側の先進国は民主主義の理念が定着しており、13％程度の世界人口がリベラルデモクラシーの下で暮らしている。これがある程度のセーフガードにはなるが、残りの国々はそうではない。人道的配慮の少ない国が軍事や経済競争で優位になるほど、世界全体として人権や自由が軽視される流れになりかねない。

■飛び抜けた成功を実現する可能性は？

歴史を振り返ると、世界を変えるようなイノベーションや権力移動の大半は、「もともと外部にいた人」が何らかの形で力を得て躍進したケースだった。創業者が起業により大成功を収めたり、科学者や思想家が新たな理論を打ち立てて社会に影響を与えたり、政治家が大衆の支持を得て権力を握ったり。しかし、労働を代替するAIが実用化された場合、人間がそこまで伸し上がるルートは大幅に縮むかもしれない。

・起業: 今は小さなチームでもAIツールを活用してスタートアップを立ち上げるチャンスがある。しかし、AIがさらに進歩し完全に自律的なビジネス創造と運営をこなすようになれば、VCはもはや人間に投資する必要がなくなるかもしれない。

・学問: 自然科学などの「正解がはっきりしている」分野は、AIが数年のうちに人間を完全に凌駕すると考えられる。

・思想・哲学・経済学: ケインズやハイエクらは、技術的な分析力よりも「大衆を納得させる思想」を作ったことで影響力を持った。しかし超高性能のAIなら、すさまじい説得力と分析力を発揮できる。その中で人間のオリジナルな思想が目立つのは難しいかもしれない。

・政治: 人間が政治の実権を握る可能性は相対的に残るかもしれない。人間が「人間のトップリーダー」を望む文化はすぐには消えないだろうし、法的にもAIが大統領になるのは禁じられるかもしれない。ただし、AIが政治キャンペーンや世論操作を支配し得るので、現職や大資本の支援を得た政治家がより有利になるかもしれない。

・軍事: ナポレオンのように軍事で台頭する事例は近代では稀だが、AI兵器でクーデターを起こすなどのシナリオがゼロではない。ただし、国家や大企業が軍事AIを掌握しやすい環境なら、新参の革命者が軍事的に勝つのは至難の業だろう。

総じて言えば、人間が既存の資本や地位なしにゼロからビッグな成功を成し遂げるパターンは、今よりさらに難易度が上がる。AIが使えるとはいえ、最終的には既存の資本保有者に有利に働くだろう。

■平等化政策は起きそうにない

ウォルター・シャイデルの『The Great Leveler』によれば、歴史的大規模な格差縮小は、ほとんど「大戦争・革命・国家崩壊・疫病」といった大惨事によってのみ達成されてきた。つまり、人類社会は通常、大規模な平等化を自発的には選ばない。今後AIによる超大国間競争が激しくなる中で、「再分配を大幅に強化しよう」みたいな動きが優先されるかは疑わしい。よほど強い政治運動や新たなイデオロギーが一気に支持を得ない限り、実現は難しいだろう。

国家間の平等化も同様だ。圧倒的なAI技術を先取りした国が、その恩恵を世界中に無条件で分配してくれるとは限らない。移民の動機も弱まるかもしれない。というのは、移民を受け入れても経済的なメリット（労働力）が小さくなるからだ。結果として、国によっては永続的なカースト制度的な格差が固定される可能性もある。

■デフォルトの未来像

ここまでの議論を総括すると、次のような未来が「デフォルト」として想定される:

・お金（資本）で現実世界への影響を買う力は、かつてないほど強くなる。
・人間の労働はほぼ価値を失い、大半の人は自身の労働力によって影響力を得ることができなくなる。

・人間が自分の力だけで突出した成功をつかむルートはほぼ閉ざされる。

・AIが登場した時点で資本を多く保有していた者への大再分配は、起こりそうにない。

すると、労働を代替するAIが現れたその時点で、資本を多く持っていた人は恒久的に優位を保つ。 と同時に、それ以後に新たに台頭する「人間の挑戦者」はいなくなる。そのため、企業や国家など、すでに強大な資本を持つ既存の権力構造がより強固になり、かつそれが固定化される。そして、そうした構造が人間に配慮するインセンティブは少ないままになる。

ポジティブシナリオとしては、「やや不平等かつ前例のないほど静的ではあるが、とてつもなく豊かな北欧風社会」になるかもしれない。つまり、人間は全員生涯にわたって充足した生活を享受し、場合によっては不老長寿が得られるかもしれない。しかし、富や権力のヒエラルキーは動かず、「なぜあの人はそんなに影響力があるの？」といえば「彼の先祖がAGI前夜に○○社に勤めていたからさ」という世界になる。下層階級や一般市民は、せいぜい自分のコミュニティ内での小さなゲームに興じるくらいしか「野心」を発揮する余地がない。かつて封建社会で「俺のご先祖様はあの大戦で武功を挙げたんだぞ」と語られたような感じで、AGI以前の成果で家柄が決まっているような世界だ。ある意味で、現代人が封建社会を想像して身震いするように、未来人もこの状況をある種「グロテスク」と感じるかもしれない。

もっと悪いシナリオでは、AIによる富の独占により、ほんのひと握りのAI長者が絶対的な権力を握り、固定化された貴族制が永遠に続くかもしれない。（だが歴史を振り返れば、すでに長い間、そういう世界だったという見方もある。） さらに最悪の場合、AIが人間中心の社会を徐々に駆逐し、最終的に人類が滅亡する可能性さえある。

■まとめ: じゃあどうする？

もしあなたがこの文章を読んで、「それならもうさっさと自分のキャリアを諦めて、さほど大きな効果のない職に就いて資本を貯めるしかない」と思うなら、それは私の狙いとは違う。むしろ、「今は人間が本気で行動を起こせる最後の機会かもしれない」と思って行動してほしい。実際、AIがまだ完全には労働を代替していない今が、人間にとって世界を変える大きなチャンスの時期だ。特に今のAIによって、小規模チームでも大きな成果を出しやすくなっている。この「流動的な時代(dreamtime)」にこそ、人間の意志で社会を方向づける余地があるのだ。

一方で、大きなスケールの視点では、「AGI登場後の世界全体の構造をどうすれば停滞させずに済むのか？」という問いも重要だ。合理主義コミュニティでは、しばしば「まずは完全に安全なAIを作る方法を見つけて、それを使って人類の価値を最大化しよう」というシナリオが描かれるが、そのような単一の解法で一気に完結させる発想自体が非常にリスキーだと私は感じる。 むしろ、人類社会がいろいろと揺れ動き、変化し続けられる仕組みを残すこと、それ自体が重要だと考えている。そうでなければ、多様性や適応力が失われ、硬直してしまう危険がある。
「具体的にどうすればいいのか？」は私にも正解がわからない。だが、少なくとも以下のような示唆は得られると思う:
AIが人間のすべてを上回るのは不可避としても、そのタイミングやプロセスを緩やかにし、人間が主体的に意思決定し続ける余地を最大化する。

既存の権力が絶対的に固定化されないよう、民主主義や法の支配、公正な競争などを維持・強化する。
「どうせ無理だ」と決めつけず、人類が今できる「野心的な行動」に投資する。
AIが完全に人間を凌駕する“パレート改善”が近づいているとしても、その「壁」には多くの亀裂や隙間があるだろうし、接近してみれば意外にいろいろな余地があるかもしれない。
【解釈】

大量の人間労働が不可欠→情報技術が進む中で段階的に人間労働の必要性が減り、AIの飛躍によってそれが決定的になることは「歴史的必然」。

社会の静的固定化、歴史上は王朝や封建体制とも近い。これらは長期的には腐敗や内紛、外圧などで崩壊してきた。同じ構造がAI時代にも適用され、どこかで大きな破綻や革命的変化が起こるかもしれない

人間社会が自らの存続や幸福を最適化するうえで、どうやって「AIにとっての人間の必要性」を再創造するか、あるいは「AIを安全に抑止する枠組み」を作るか。たとえば、「人間の主体性」「多様な価値観」「自由な意思決定プロセス」を保護するような制度や技術的制約を設計する、「AIの意思決定が、人間の特定のシグナル（投票や権限付与など）を常に必要とする」といった仕組みが考えられる。しかしそれらの仕組みには大規模な権力者に都合よく改変されてしまうリスクや、AI同士がより洗練された方法で協調して人間を排除してしまうリスクをはらむ。

人間が脆弱な肉体や生物的限界を超えるための拡張手段（ブレイン–マシン・インターフェイスや遺伝子改変など）を促進するとしたら、人類自体が「労働を代替するAI」と融合し、新しい形態へ移行するかもしれない。しかし、それは結果的に「元の人間とは呼べない」存在に変容するかもしれない。そうした“トランスヒューマン”な形態であっても、結局は「知性」と「資源」をどのように制御・配分するかという政治・経済の問題から逃れられない。

「巨大な技術革新が起こると、社会的にも大きな再編が起こるのが歴史のパターン」と見なせる。産業革命後に社会制度が激変したように、AGI革命の後には新しい制度や価値観が立ち上がるかもしれません。ただし、その過程で「大きな苦痛」や「不安定期」が訪れる確率も高く、最悪の場合は戦争や暴力的衝突を引き起こす恐れがもある。人類が早い段階で国際協調や規制を整え、資本と労働の間で生じる極端な歪みを軽減するような政策を打つことで、混乱を最小化し、より持続的な変化を実現する可能性もある。

「社会のダイナミズムと多元性をいかに保持し、しかもAIを利用して人類に益する体制へと上手に誘導するか」がカギになるという見方が自然。いかなる超知能であっても、未来に起こる出来事を100％確定的に制御することは困難であり、人間社会が複雑で多層的である限り、さまざまなシナリオの分岐が考えられる。その不確実性こそが、現在の人類が「まだ」主体的に介入できる余地を生み出していると言えるでしょう。