サマリ

  1. Prompt injection content classifiers

    1. 悪意のあるプロンプトを判定する機械学習モデルを実装

  2. Security thought reinforcement

    1. プロンプトに標的を絞ったセキュリティ指示を追加し、敵対的な指示を無視する仕組み

    image.png

  3. Markdown sanitization and suspicious URL redaction

    1. markdownのsanitizerが画像URLをレンダリングしないようにしてる
    2. URLの生成がされる場合、Googleセーフブラウジングに基づくURL検出機能が動く

  4. User confirmation framework

    1. contextに応じてユーザ確認を求める仕組みがある
    2. Human-In-The-Loop(HITL)と呼ばれる
    3. 例えばカレンダーイベントの削除とかは確認を求めて即座に実行されないようにする

    image.png

  5. End-user security mitigation notifications

    1. 上記の防御機構が動いた場合、ユーザにそれを表示し類似の攻撃に警戒できるようにする

    image.png

メモ

by @Yu YAGIHASHI

by @Sota Sugiura