変革技術のトリレンマの例
こんにちは、ゆのもりゆーりです。人間に化けて数十年のタヌキです。 CIPのホワイトペーパーをタヌキが読み解いてゆきます。
今回はCIPホワイトペーパー解題（２）として、今まさに行われている変革技術の開発と、そこに発生しているトリレンマとリスクについてみてゆく また現在のガバナンスがトリレンマに対応・変化できない理由について探る。
CIPのいう「変革技術（Transformative Technology、TTs、トランスフォーメイティブ・テクノロジー）」とは社会を大きく変える技術を指している。
変革技術はその影響範囲が大きいため、技術の加速、安全性の向上、市民の参加、の３つの観点が同時に成立されることが要求されます。 そのためのガバナンス（統治・管理） が必要ですが、現状この３つを同時に満たす現状の手法はありません。それぞれが個別的に条件を満たそうとして、他の点を満たさないトリレンマの状態に陥ります。
変革技術のトリレンマ
- Ⅰ. 資本主義の加速: 基本的な参加を維持しながら、進歩のために安全性を犠牲にする
- Ⅱ. 権威主義的テクノクラシー: 基本的な進歩を維持しながら、安全のために参加を犠牲にする
- Ⅲ. 停滞の共有: 基本的な安全性を維持しながら、参加のために進歩を犠牲にする
（詳しくは前編を参照）
ひとつの変革技術は１つの観点のみでトリレンマを発生させるのではなく、３つすべての観点でトリレンマを発生させる。 変革技術は影響範囲が大きいので当たり前と言えば当たり前である。
例としてAI技術において３つのすべての観点でトリレンマが起こっていることを具体例と共にみてみる。もちろん以下にあげる例はあくまで例の一部である。
３つの観点すべてにおいてトリレンマが発生しているAI技術の例
Ⅰ. 資本主義の加速: 進歩を優先して、安全性を無視する
以下は変革技術を持つ企業や支援するファンドが、外部への影響評価が不十分なまま急速成長を実現した結果もたらされた新たな問題です。
生成AIスタートアップの急成長に伴う想定外の危険：
OpenAI, Anthropic, MistralなどがVC資金を背景にスピード重視で開発しています。中には十分に検証が行われていない可能性のあるAIがリリースされ不正確な出力が発生したり、悪意を持ってAIサービスを利用している人間により、模倣・フェイク生成による情報汚染が起こっていいる。
- AIの「幻覚（ハルシネーション）」による不正確な出力：OpenAIの音声認識ツール「Whisper」は、医療現場で使用される中で、発言していない内容を生成する「幻覚」問題が報告されている。調査によると、公共会議の記録において80%の誤出力が確認され、患者の安全性に深刻なリスクをもたらしている。
- 偽情報サイトの急増：NewsGuardの報告によれば、AIを活用した偽ニュースサイトの数が2023年に10倍に増加した。これらのサイトはほとんど人間の監視なしに運営され、誤情報の拡散を助長している。（この話は個別に掘り下げたい）
Ⅱ. 権威主義的テクノクラシー: 基本的な進歩を維持しながら、安全のために参加を犠牲にする
以下は官僚機構が、民主主義的なプロセスを無視して社会実装を行った結果もたらされた問題である。
スマートシティ化によるデジタル権威主義の強化：
中国の複数の都市では、Alibabaが開発した「城市大脳（City Brain）」が導入され、交通、治安、公共サービスの最適化が図られており、リアルタイムの交通流解析、違法駐車の検出、緊急対応の最適化などが図られるている。一方、監視の強化による市民のプライバシー侵害や、自由な行動の制限に利用されている。
- 監視体制の強化と社会統制：顔認識技術や行動パターンの分析により、市民の行動を詳細に監視、また個人の信用スコアを基に、公共サービスの利用制限や罰則を適用している
- 権威主義的統治の強化：膨大なデータを中央集権的に管理し、国家の統治能力を強化、中国国外にも輸出され、デジタル権威主義の拡大が懸念される。（この話は個別に掘り下げたい）
Ⅲ. 停滞の共有: 基本的な安全性を維持しながら、参加のために進歩を犠牲にする
以下は専門家集団が技術の危険性を指摘し（あるいは自身の参加のため競争のスタートラインを引き直すことを目的として）、技術の加速を停止させようとした問題である。
AI開発の停止要求：
2023年3月、非営利団体「Future of Life Institute（FLI）」が主導し、イーロン・マスク氏やスティーブ・ウォズニアック氏などの著名人を含む1,000人以上の専門家が署名した公開書簡が発表された。この書簡は、OpenAIのGPT-4を超える高度なAIシステムの開発を6カ月間停止するよう求めたもの。
- ガバナンスと規制の不備：AI企業間の競争が激化し、開発者自身が理解・予測・制御できないほどの高度なAIが誕生するリスクが指摘された。これは現行の法制度や規制が急速なAIの進化に追いついておらず、適切なリスク管理が行われていないことに由来する。
- WIRED.jp：ChatGPTの「開発停止」を求めた専門家たちからの“警告”の意味
トリレンマから抜け出せない訳
では現状のトリレンマから抜け出せるのだろうか？それは非常に難しい。 それぞれのガバナンス主体には以下のような強固な動機があり、それを変えるのは困難だからである。
既存ガバナンス手法と犠牲になる要素の例（あくまで例）
| 主なガバナンス主体の例 | 観点 | 犠牲になる要素 |
|---|---|---|
| 変革技術保持企業・ベンチャーキャピタル | 技術加速 | 安全性（規制軽視） |
| 官僚機構・規制当局 | 安全性 | 市民参加（専門家支配） |
| 代議制民主主義・権威集団 | 市民参加 | 技術加速（政治リスク） |
I. 資本主義の加速：
- この道では、一般に自由市場、利益主導の発展を信奉することによって、技術進歩にインセンティブを与え、それを確保することを目指す。
- 参加は消費者の選択と投資家の主体性という形で行われ、リスクはリスクを取るための資源を持つ人々によって取られる。
- 変革技術保持企業やベンチャーキャピタルは、もちろんこの考えを捨てたりはしない
II. 権威主義的テクノクラシー:：
- この道は、安全性を確保するためには、先進技術を開発する能力を少数の主体にしか委ねられないという信念に基づいている。
- これは、集団的な参加は危険すぎる、調整が難しすぎる、時間がかかりすぎる、質の低い決定につながる可能性が高いという思い込みと結びついている。
- 官僚機構・規制当局（一部の企業や個人も）は、もちろんこの考えを捨てたりはしない
III. 停滞の共有:：
- この路線は、反テクノロジー志向と、現在の進歩の軌跡によって悪化する世界的状況（気候変動、不平等、偏見、差別、そしてAGIがもたらすかもしれない社会不安など）への懸念とを結びつけるものである。
- これはしばしば、より大きな形の直接民主主義、ローカルな生産と意思決定、そしてテクノロジーの進歩を阻止するという明示的または暗黙的な目標への願望と組み合わされる。
- 代議制民主主義・権威集団は、もちろんこの考えを捨てたりはしない
まとめ
- 技術、安全性、市民参加は三つ巴のトリレンマ構造にある
- 現在の制度ではこれをバランス良く処理できていない
- 新しい意思決定技術と制度設計が必要
変革の時代において、CIPの提案はただの理想論ではなく、制度の再設計による“現実的な出口戦略” である。
次回予告
CIPは、これらの課題を乗り越えるために、「集合知」を活用した意思決定の再設計と、技術開発を支える制度の再構築を提案している。
次回は、その第一歩として提案されている「価値観の抽出と合意形成の方法」について詳しく見てゆく。