研究会趣旨
「AI生成コンテンツの安全性研究会」（以下、「本研究会」）は、AIの利活用の広がりに伴い、誤情報・偽情報の拡散、権利侵害、有害・不適切なコンテンツの生成・流通、真正性の確認の難しさなど、社会の信頼と安全に関わる新たな課題が生じていることを踏まえ、マルチステークホルダーで対応策を議論・研究する場として、一般社団法人AIガバナンス協会（AIGA）と一般社団法人トラスト&セーフティ協会（JTSA）の共同イニシアチブとして設立したものです。
AI生成コンテンツの問題は、AIの開発・利用だけでなく、SNSや広告、検索、メッセージングサービスを通じた流通・拡散にも関わります。そこで本研究会では、AIガバナンスの観点を持つAIGAと、オンラインサービスの安全・安心に取り組む実務家コミュニティであるJTSAが連携し、生成から流通、被害防止までを一体的に検討します。
2026年9月1日、第1回研究会で得られた論点を踏まえ、研究会委員と両協会の会員、その他のステークホルダーの参加のもと、第2回研究会を実施しました。今回は、AI生成コンテンツのバリューチェーンと関係主体の役割分担を中心に議論するとともに、Anthropic様およびグーグル合同会社様から事業社として行っている安全性確保の最新の取り組みをご紹介いただきました。
出席者・運営（敬称略）
- 座長：
- 成原 慧 九州大学 法学研究院・法学部 准教授
- 委員：
- 上田 正基 神奈川大学 法学部 法律学科 教授
- 大岩 寛 国立研究開発法人産業技術総合研究所 インテリジェントプラットフォーム研究部門 副研究部門長
- 酒井 麻千子 東京大学大学院 情報学環 准教授
- 笹原 和俊 東京科学大学 環境・社会理工学院 イノベーション科学系 教授
- 野口 祐子 弁護士、東京大学 法・政治デザインセンター 客員教授
- 水谷 瑛嗣郎 慶應義塾大学 メディア・コミュニケーション研究所 准教授
- 一般社団法人AIガバナンス協会：
- 業務執行理事兼事務局長 佐久間 弘明
- 事務局リサーチフェロー 野中 瑛里子
- 一般社団法人トラスト&セーフティ協会：
- 理事・事務局長 田中 清隆
- JTSA事務局スタッフ 高野 雅典
このほか、両協会の会員企業、関係団体および有識者など、50名を超える参加者が出席しました。
イベント概要
Anthropic様からは、利用規約、モデル訓練、不正利用の検知、悪用事例の公開など、AIの悪用を防ぐための多層的な安全対策が紹介されました。また、Claudeが画像や動画を直接生成しない場合でも、詐欺やディープフェイクのための調査、シナリオ・メッセージの作成などに利用される可能性があることや、テキストへの電子透かしにも改変によって失われるなどの限界があることが示されました。
グーグル合同会社様からは、コンテンツの来歴情報を付与するC2PA・Content Credentials、AI生成物に電子透かしを埋め込むSynthID、検索やGeminiにおける情報源の表示などが紹介されました。加えて、権利者の保護とクリエイターとの協働、モデルカード等を通じた透明性確保、オンライン詐欺への対応における事業者間連携の重要性について説明がありました。
その後、第1回研究会で示された「問題・リスクの性質」と「バリューチェーン上の関係主体」という二つの軸をもとに、①AI生成コンテンツの違法・有害性、②来歴表示や検出技術の有効性と限界、③AI開発者・提供者と流通プラットフォーム等の役割分担、という三つの論点について議論が行われました。
（議論内容一部抜粋）
1．AI生成コンテンツの違法・有害性
- AI生成コンテンツの問題は、詐欺、選挙・政治的操作、性的被害、著作権・人格権侵害など、影響を受ける権利・利益や社会的影響ごとに性質が異なる
- AIによって生成されたことと、違法・有害であることは同じではなく、コンテンツの内容、利用目的、文脈、行動パターン、発生した被害を踏まえて判断する必要がある
- 児童性的虐待コンテンツのように生成段階で比較的明確に対応できるものと、ロマンス詐欺や政治的表現のように、コンテンツ単体では正当な利用との区別が難しいものを分けて考える必要がある
- 詐欺、選挙介入、著作権侵害などには既存法の適用が基本となる一方、実在人物の声の無断利用や完全に架空の人物を生成した性的コンテンツなど、現行法上の位置づけが明確でない領域も存在する
2．来歴表示や検出技術の有効性と限界
- 電子透かしや来歴証明は、AI生成コンテンツの生成元や作成・編集過程を確認する手がかりとして有用である一方、改変による消失、事業者間の非互換性、透かしを付与しないモデルの利用などの限界がある
- 加えて、AI生成コンテンツであっても正規な権利者によるものや全く法的に問題のないものも沢山あり、AI生成コンテンツであるから直ちに問題がある、ということではないことにも留意が必要である。
- 電子透かしが付いていないことを「AI生成ではない」「信頼できる」と誤認しないよう、技術の有効範囲と限界を利用者に適切に伝える必要がある
- 防御技術を広く利用できるようにするためには一定の情報公開が必要である一方、詳細の公開が悪意ある主体に回避方法を与える可能性もある
- 偽物をすべて検出するだけでなく、政府、報道機関、企業、選挙候補者等による正規のコンテンツに真正性情報を付与し、「本物であること」を証明する仕組みも重要である
3．AI開発者・提供者と流通プラットフォーム等の役割分担
- AI開発者・提供者には、利用規約、モデル訓練、生成拒否、不正利用の検知、アカウント停止など、生成段階で実施可能な安全対策が求められる
- 悪意ある利用者が安全対策の弱いモデルやオープンモデル、ローカル環境へ移行する可能性があるため、SNS、広告、検索、メッセージングサービス等の流通段階における対策も重要になる
- 単一のサービス内の対策だけでなく、複数のAIやツールを組み合わせて安全対策を迂回する利用にも目を向ける必要がある
- AIサービス、SNS、広告、通信、金融・決済などを横断したシグナル共有が必要である一方、個人情報保護とプライバシーに配慮した共有範囲・手続を設計する必要がある
- コンテンツモデレーションの実効性は削除件数だけでは評価できず、閲覧・拡散の規模や対応速度なども考慮するとともに、安全対策に取り組む事業者が適切に評価される仕組みが必要である
今後の活動予定
第2回研究会では、第1回で示された二つの軸をもとに、問題類型ごとの性質と、AI生成コンテンツの生成・流通に関わる主体の役割について議論を深めました。今後も研究会を継続開催し、関係事業者による実際の取り組みを参照しながら、バリューチェーン上で実施可能な対策と、その技術的・法的・実務的課題を整理し、最終的な報告書の取りまとめを進めていく予定です。
