AIにガバナンスを設計させる。そのAIを、誰が統制するのか。
更新日：2 時間前
Humanと複数AIで挑む、AI開発基盤ガバナンス設計記録｜第1回
普段、Claude CodeやCodexを使って、プログラム作成や資料作成、ログ分析などをAIに任せています。
もちろん、会社には既存のガバナンスやセキュリティに関するルールがありますし、私のAI開発環境にもGuardrailによる操作制限、Human承認、AIによるレビューなどを実装しています。
今回やりたいのは、それらを置き換えることではありません。
既存の会社のガバナンスを前提に、AIが自律的に行動する開発基盤としての考え方を、もう少し体系的に整理してみよう。
そんなところから始まった取り組みです。
せっかくなので、ChatGPTと議論しながら基本方針・基本設計を考え、その過程もブログに残していくことにしました。
1. ChatGPTにも反対意見を求めてみる
今回、議論を進めるうえで意識したのは、ChatGPTに何でも賛成してもらわないことです。
実際に、こんなお願いをしました。
Human（私）
反対意見やドキュメント作成するにはCodexやClaudeCodeを利用したほうが良いということがあれば遠慮なく言ってください。あなただけでは限界もあると思います。
ChatGPTもこの進め方に賛同。
AIと一緒に設計するのであれば、単に提案してもらうだけでなく、必要なら私の考えにも反対してほしい。
そんなスタンスで議論を始めました。
2. AIはどこまで自由に行動してよいのか
まずChatGPTが提案したのは、AIの自律性の考え方です。
ChatGPT（回答から抜粋）
HumanがAIのすべての操作を承認するのではなく、AIが行動できる境界を管理する。
具体的には、次の3つに分類します。
分類 | 内容 |
自律実行 | 許可された範囲ではAIが自律的に実行 |
Human承認 | Humanが承認した場合に実行 |
AI実行禁止 | 原則としてAIには委任しない |
Human（私）
違和感はないですね。私から１つ議論したいことがあります
ここから、リスクに関する議論に進みました。
Human（私）
私の考えでは、一番の高リスクは以下だと考えてます。 機密情報の漏洩 外部システムへのハッキング行為(破壊行為含む) その他、同レベルで何かありますか？
ChatGPTからは、重大なデータ破壊や権限の不正利用なども候補として提示されました。
さらに、重大な被害と、その原因となる脅威は区別して整理する必要があるという指摘も。
なるほど。単純にリスクを並べればよいわけではなさそうです。
3. 議論の途中で、ちょっと違和感が……
ここで、今回の議論で一番印象的だった場面です。
ChatGPTは、私が現在利用しているOrcaという開発環境をもとに、かなり具体的な提案をしてくれました。
ありがたいのですが、途中で気になりました。
Human（私）
会話している中ですこし違和感があります。「Orca AI開発基盤」という言葉が多々使われています。ただし、基本方針、基本設計書なので少し依存していないかな？
ChatGPT
現時点の議論は、少しOrcaという現行環境に依存しすぎています。
やっぱりそうですよね。
今回はOrcaの設定を見直すことが目的ではなく、AI開発基盤に共通するガバナンスの基本方針・基本設計を考えることが目的です。
そこで、設計を次の3つに分けることになりました。
基本方針書：製品・環境に依存しない原則
基本設計書：原則を実現する論理設計
環境別のギャップ評価：完成した設計と現行環境を比較
既存の環境に合わせて方針を作るのではなく、先にあるべき姿を考えてから現行環境を評価する。
Humanの違和感から、設計の方向性が少し変わりました。
4. ChatGPTからも反対意見が
その後、AIの分析結果が間違っていた場合の責任についても議論しました。
私としては、「最終的にHumanが判断・実行するのであれば、その意思決定はHumanの責任ではないか」、という考えです。
ChatGPT
基本的に賛同します。ただし、一部反対意見があります。
AIの出力に誤りが生じるリスクまで、Humanの判断責任に含めて管理対象から外してはいけない、という指摘でした。
確かに、Humanの意思決定責任と、AI出力の品質管理は別に考える必要があります。
結果として、AI出力の信頼性はガバナンスの管理対象とし、Humanの意思決定責任とは区別する方針になりました。
今回の検討では、NIST AI RMFやOWASPのAIエージェント向けリスク分類も参考にしています。
5. 最終的に9つの方針を確定
こうした議論を経て、2026年10月20日、ガバナンス基本方針の骨格となる9項目をHumanとして正式に承認しました。
主な内容は、製品非依存の設計、HumanによるAIの行動境界の管理、リスク分類、AI出力の信頼性、統制の有効性と限界の明示などです。
Human（私）
本日のAI開発基盤ガバナンス基本方針の最終判断：確定。
ただし、ここで完成したのは基本方針の骨格です。基本方針書や基本設計書そのものは、これから作成していきます。
6. 最後に、別のAIにもレビューしてもらおう
9項目を確定したところで、もう一つ提案しました。
Human（私）
別のAIにもレビューさせるのはどうですか？
ChatGPT（回答から抜粋）
今回の9項目を正式な設計方針として確定し、その内容をClaude CodeとCodexに独立レビューさせることをおすすめします。 ただし、ここで一つ重要な提案があります。 Claude CodeとCodexに、最初から同じ結論を共有してレビューさせるのは避けたいです。 双方が先行レビュー結果に影響されると、独立レビューの価値が下がるからです。
ということで、次の工程はClaude CodeとCodexによる独立レビューです。
ChatGPTと一緒に考えた方針を、別のAIはどう評価するのでしょうか。
同じ結論になるのか、それとも異なる指摘が出てくるのか。
もちろん、AIのレビュー結果を無条件に採用するわけではなく、最終的な判断はHumanが行います。
HumanとAIが互いの考えを検討し、さらに別のAIにも独立して評価してもらう。
そんな進め方で、AI開発基盤のガバナンスを作っていこうと思います。
次回は、Claude CodeとCodexによる独立レビューについて紹介する予定です。
※本記事は2026年10月20日の実際の議論をもとに再構成しています。会話は原文の一部を抜粋して掲載しています。今回の取り組みは既存の社内ガバナンスを置き換えるものではなく、AI開発基盤に関する設計・運用上の方針を整理するものです。
コメント