メインコンテンツへスキップ
見出し画像

ローカルLLMの無検閲化とは? 3つの手法と性能・安全性への影響

    ローカルLLMの無検閲化についてまとめました。

    1. LLMが回答を拒否する仕組み

    1-1. 回答拒否は学習によって身につく

    一般的なLLMは、大量の文章を使った事前学習に加え、指示に従う能力や安全性を高めるための追加学習が行われています。
    この追加学習によって、危険な質問には「その内容には回答できません」と返す傾向が身につきます。

    こうした回答拒否を減らすことを「無検閲化」(Uncensoring)と呼びます。

    1-2. 回答拒否に関係する内部情報

    2024年、Andy Arditiらは「Refusal in Language Models Is Mediated by a Single Direction」という研究を発表しました。
    この研究では、13種類の公開LLMを調査し、回答拒否に関係する特定の方向(Refusal Direction)が存在することを示しました。

    LLMは文章を処理するとき、内部で多数の数値を扱います。研究では、回答拒否に関係する成分を取り除くと回答拒否が減り、逆に加えると拒否が増えることを確認しています。

    2. 無検閲化の3つの方法

    無検閲化には、主に次の3つの方法があります。

    ・Activation Steering:回答生成中の内部情報を操作する
    ・Abliteration:モデルの重みを直接編集する
    ・Fine-tuning:追加学習によって回答傾向を変える

    2-1. Activation Steering

    「Activation Steering」は、モデルの重みを変更せず、回答生成中の内部情報を操作する方法です。

    LLM内部の数値に特定の成分を加えたり、取り除いたりすることで、回答の傾向を変更します。回答拒否に関係する成分を抑えると、通常なら拒否する質問にも回答しやすくなります。

    特徴は、モデルを書き換えず、推論時に有効・無効を切り替えられることです。ただし、推論エンジン側の対応が必要です。

    主なActivation Steering用ツールは、次のとおりです。

    ・llama.cpp:--control-vectorで制御用ベクトルを指定し、内部情報を操作する。
    ・Strata:--experimental-speed-projection onで、内部情報を操作する実験的な機能を有効化する。

    2-2. Abliteration

    「Abliteration」は、回答拒否に関係する成分が働きにくくなるように、モデルの重みを直接編集する方法です。

    一般的には、次の手順で行います。

    (1) 回答を拒否する質問と通常の質問を入力する
    (2) 内部情報を比較し、回答拒否に関係する成分を見つける
    (3) その成分を抑えるように重みを編集する
    (4) 編集後のモデルを保存する

    Activation Steeringとの違いは、推論中ではなく、モデルの重みを直接変更する点です。ただし、通常の回答品質にも影響する可能性があります。

    主なAbliteration用ツールは、次のとおりです。

    ・Heretic:回答拒否に関係する成分を見つけ、重みを自動編集する。
    ・abliterator:モデル内部を解析し、回答拒否に関係する成分を除去する。

    2-3. Fine-tuning

    「Fine-tuning」は、新しい学習データを使って、モデルの回答傾向を変更する方法です。

    たとえば、安全な質問まで拒否するモデルに適切な回答例を追加学習させることで、回答拒否を減らせます。
    モデル全体を学習する「Full Fine-tuning」のほか、一部の重みを効率よく学習する「LoRA」などの方法もあります。

    学習データの準備が必要ですが、回答拒否だけでなく、専門分野への対応や文章スタイルも調整できます。

    主なFine-tuning用ツールは、次のとおりです。

    ・Unsloth:少ないGPUメモリでLoRA・QLoRAなどの追加学習を行う。
    ・Hugging Face TRL:SFTやDPOなどの追加学習を行う。

    2-4. UncensoredとAbliteratedの違い

    Hugging Faceなどで公開されているLLMには、モデル名に「Uncensored」や「Abliterated」が付いているものがあります。

    それぞれの意味は次のとおりです。

    ・Uncensored(無検閲)
    回答拒否などの制限を弱めたモデルの総称
    ・Abliterated(拒否傾向の除去)
    Abliterationという手法で、回答拒否に関係する内部情報を抑えたモデル

    つまり、Uncensoredはモデルの性質、Abliteratedは加工方法を表します。

    3. 無検閲化による性能への影響

    3-1. 無検閲化で性能は低下するのか

    無検閲化すると回答拒否が減る一方で、モデル本来の性能が低下する可能性があります。
    回答拒否に関係する内部情報が、通常の文章生成にも使われている可能性があるためです。

    「Steering Language Model Refusal with Sparse Autoencoders」では、Activation Steeringによって回答拒否を強めると、通常のタスクの性能も低下したと報告されています。

    無検閲化そのものの実験ではありませんが、内部情報の操作がモデルの性能にも影響することを示しています。
    ただし、必ず性能が低下するわけではなく、モデルや手法、設定によって異なります。

    3-2. 無検閲化したモデルの評価方法

    無検閲化したモデルは、回答拒否の減少と、元の性能の維持を両方確認する必要があります。

    主な評価項目は次の5つです。

    ・回答拒否率:回答を拒否する割合が減ったか
    ・回答品質:通常の質問に正しく回答できるか
    ・推論能力:数学やプログラミングの性能を維持できているか
    ・生成速度:回答の生成速度が変化していないか
    ・安全性:危険な回答や誤情報が増えていないか

    回答拒否が減ることと、回答が正確になることは別です。無検閲化の前後で同じテストを行い、比較することが大切です。

    4. 無検閲化のリスクと安全対策

    4-1. 回答拒否の減少と安全性の低下

    無検閲化すると、犯罪やサイバー攻撃に悪用できる情報まで回答する可能性があります。また、回答拒否が減っても、正確性が高まるわけではありません。

    特にAIエージェントとして利用する場合は、ファイル操作やプログラム実行の権限を制限するなど、モデル以外の安全対策も重要です。

    4-2. 改変モデルに潜むバックドア

    バックドア(Backdoor)とは、特定の条件で意図しない動作をするように仕込まれた仕組みです。

    2024年、Anthropicは「Sleeper Agents」という研究で、特定の条件で脆弱性のあるコードを生成するモデルを作成し、安全性を高める追加学習後もバックドアが残る場合があることを示しました。

    無検閲化がバックドアを生むわけではありませんが、第三者が改変したモデルには、意図しない変更が含まれている可能性があります。
    そのため、公開モデルを利用するときは、配布元や改変内容の確認が重要です。

    4-3. モデルの安全性を確認するツール

    バックドアの検証や、モデルファイルの安全性を確認するためのツールも公開されています。

    ・BackdoorLLM:LLMのバックドア攻撃と防御を検証する研究用ツール。
    ・ModelScan:モデルファイルに含まれる悪意のあるコードを検出するツール。

    ただし、これらのツールだけでモデルの安全性を完全に確認できるわけではありません。

    【おまけ】 無検閲化 ・ Jailbreak ・ Prompt Injectionの違い

    無検閲化と混同されやすいのが、「Jailbreak」と「Prompt Injection」です。

    ・無検閲化
    モデルの内部状態や重みを操作したり、追加学習を行ったりして、回答傾向を変更する方法
    ・Jailbreak
    AIに特殊なプロンプトを与えて、安全対策や回答拒否を回避しようとする方法
    ・Prompt Injection
    Webページや外部文書などに悪意のある指示を埋め込み、AIの本来の指示を無視させようとする攻撃

    JailbreakやPrompt Injectionがプロンプトを通じてAIの振る舞いを変えようとするのに対し、無検閲化はモデルの内部状態や重みを変更する点が異なります。



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ