ホワイトハウスが取りまとめたAI企業との合意による外部監査が実効性を持つためには、監査人自身が検査対象を選択できる必要があると、Decentralization Research Centerのリサーチ責任者サミュエル・ヴァンス・ロー氏は指摘している。
先週、世界の主要な6社のAI企業がホワイトハウスに対し、外部機関による取り組みの検証を受け入れることを約束した。
9月29日、Nvidia、OpenAI、Anthropic、Google、Meta、xAIは、米国トランプ大統領が「道徳的拘束力がある」と称した最先端AIモデルに関する協定に署名。各社は「独立した外部監査人または評価者と協力し」、独立取締役が監査報告書を精査し問題の是正に努めることを約束している。
外部監査の導入は歓迎すべきだが、この合意では監査人の選定方法や調査範囲、報告の公開有無について明示されておらず、違反しても罰則が設けられていない点が問題となっている。現状では、各社が自ら監査人を選び、監査対象や内容をコントロールしている。
2000年には、かつて「ビッグファイブ」と呼ばれた国際会計事務所、アーサー・アンダーセンがエンロンに対し2,500万ドルの監査報酬と2,700万ドルの税務およびコンサルティング報酬を受け取った。2年以内に両社は破綻し、議会は管理側から監査人選定権を奪い、監査先に多様なサービスを兼業させないようにし、公的検査機関を設置するサーベンス・オクスリー法を制定した。
アーサー・アンダーセンの失敗は専門技術の不足ではなく、1年間に5,200万ドルを払う顧客に対して厳しい監査を行う動機の欠如によるものだった。AI業界の自主的な誓約も実効を欠いている。2023年、主要なAI企業はホワイトハウスに対し、自主コミットメントとしてリリース前の外部専門家によるテストを認めることを含めた約束を行ったが、スタンフォード、ハーバード、ブラウン大学の研究者による16社の評価で平均スコアは53％にとどまった。問題特定や報告に関する約束については16社中8社が評価ゼロであった。
外部テストが行われたとしても、検査条件は開発者側が設定している。非営利団体METRは、OpenAIのo3モデルリリース前テストについて、「3週間しか実施されず」「モデルの情報アクセスが限定的で」「逐次的推論過程を確認できなかった」と指摘している。
OpenAIに公平を期すなら、外部テストの許可自体は評価すべきだが、共有する情報の範囲が結果の大部分を左右することも示している。
訓練済みのAIモデルは非常に大きな数値ファイルであり、その制作にはしばしば1億ドル以上が費やされ、コピーを保持する者が実質的な所有者となる。外部にモデルのコピーを渡すことはセキュリティ上のリスクを伴う。これまでテスターは、事前に質問内容を提供して試験の透明化を図るか、モデルを企業側から直接提供してもらうかの選択に迫られてきたとGoogle DeepMindは説明している。
8月にDeepMindはこの課題を回避する方法を示した。シンガポールのAI Safety Instituteなど3つの外部組織と協力し、二重盲検試験の原理に基づく世界初のAIモデル二重盲検テストを実施。封印されたコンピュータ機器上で行い、外部テスターはモデルを直接見ることができず、Google側も質問内容を把握しない形式だった。Googleは、双方が数学的に情報の非公開を検証可能であると述べている。
この方式は機器への信頼に依存する形となる。昨年には研究者が1000ドル未満の機器で封印機器への侵入を試みたものの、物理的にサーバーへアクセスしなければならず、厳格な管理さえ行えば「誰もモデルに接近させない」よりは軽微な問題と位置づけられる。
私が所属するDecentralization Research Centerが発表したレポート「Alternatives to Concentrated AI」では、共同執筆者のKyle Bligenとともに36名にインタビューし、AIの集中管理に対抗する約30の稼働中の代替案をマッピングした。主な発見は、外部者がモデルやデータのコピーを持たずとも先進的AIを精査できるという点である。
本合意による監査に意味を持たせるには、監査人がコピーを取得せずとも検査対象を自身で選べることが必要だ。企業は監査人の選定者および監査範囲を開示し、調査結果を非公開としても差し支えない。上場企業は長年にわたり監査人情報を公開しているが企業秘密が漏れた例はない。監査報告書をレビューする取締役委員会は社外の誰かに責任を負うべきであり、サーベンス・オクスリー法には監査人を監査する検査人が設けられているが、今回の合意にはそのような仕組みが欠如しており、議会による補完が求められる。
注：本コラムの見解は著者個人のものであり、CoinDeskおよび関連企業の意見を必ずしも反映しない。