メインコンテンツへスキップ
見出し画像

Strata の無検閲化の概要

    「Strata」の無検閲化の概要をまとめました。

    1. Strataの無検閲化とは

    「Strata」は、「Qwen3.8-Flash-Next」などの大規模言語モデル(LLM)を、一般的なPCで実行するためのオープンソースの推論エンジンです。

    Strataには、LLMの回答拒否を減らす「Experimental Speed Projection」という実験的な機能が搭載されています。
    また、Strataの派生版「strata-nvfp4」では、「Disable censorship」という名前で、無検閲化をオン・オフできる機能が提供されています。

    主な特徴は次のとおりです。

    ・追加学習が不要:モデルの再学習やファインチューニングは不要
    ・モデルの重みを変更しない:推論中の内部処理だけを変更
    ・オン・オフを切り替え可能:通常モデルと無検閲モデルを切り替えて使用
    ・回答品質への影響:回答拒否は減るが、通常の回答品質にも影響する可能性がある

    従来の「Abliteration」がモデルの重みを変更する方法として使われるのに対し、Strataではモデルを実行するときに回答拒否を抑制することができます。

    2. 無検閲化の仕組み

    2-1. 回答拒否の方向

    LLMの内部では、文章の意味や判断に関する情報が、多数の数値によって表現されています。この内部情報には、回答拒否と関連する特定の方向(Refusal Direction)が存在することが知られています。

    「Abliteration」は、この回答拒否の方向を特定し、その影響を取り除くことで、モデルが回答を拒否しにくくする手法です。

    Strataでは、同様の処理を推論中に適用します。

    2-2. Control Vectorによる無検閲化

    Strataの無検閲化では、「Control Vector」と呼ばれるデータを使用します。

    処理の流れは次のとおりです。

    (1) 回答拒否に関連する方向をControl Vectorとして用意
    (2) 推論中にモデルの内部情報を取得
    (3) Control Vectorに沿った成分を取り除く
    (4) 変更後の内部情報で推論を継続

    この方法は、モデルの内部情報を操作する「Activation Steering」の一種です。
    通常のActivation Steeringが特定の方向の成分を加減するのに対し、Strataでは「Projection」によって特定方向の成分を取り除きます。

    モデルの重み自体は変更しないため、同じモデルを通常モードと無検閲モードで使い分けられます。

    3. Strataでの無検閲化

    3-1. 公式版のExperimental Speed Projection

    Strata公式版では、「Experimental Speed Projection」を利用できます。

    主な仕様は次のとおりです。

    ・対象モデル:オリジナルのQwen3.8-Flash-Next
    ・Control Vector:約480KB
    ・適用範囲:レイヤー4〜44
    ・初期設定:オフ
    ・切り替え:Web UIまたはAPIから変更可能

    名前に「Speed」が含まれていますが、推論速度を直接向上させる最適化ではありません。実際には回答拒否の方向を取り除く処理で、同じ文章に対する処理コストはわずかに増加します。

    公式ドキュメントによると、Control Vectorの適用によって、モデルが回答を拒否する頻度が大幅に減少します。

    ・Strata - Experimental Speed Projection

    3-2. 派生版のDisable censorship

    「strata-nvfp4」は、StrataをベースにNVFP4量子化などに対応した派生版です。
    この派生版では、無検閲化を「Disable censorship」という機能として提供しています。

    主な仕様は次のとおりです。

    ・対象モデル:Qwen3.8-Flash-Nextの対応する量子化モデル
    ・Control Vector:約268KB
    ・適用範囲:レイヤー8〜33
    ・初期設定:オフ
    ・切り替え:Web UI、API、起動設定から変更可能

    公式版とは異なるControl Vectorを使用しており、回答拒否を減らしながら、通常の回答や推論への影響を抑えることを目指しています。

    なお、NVIDIAが提供するNVFP4モデルはライセンス上の理由から対象外となっています。

    ・strata-nvfp4 - uncensor

    4. 無検閲化の使い方

    4-1. 公式版Strata

    公式版のソースコードからセットアップする場合、次のコマンドで設定できます。

    START-HERE.bat --setup

    セットアップ中に表示される次の質問で有効化します。

    Turn on the experimental speed projection? [n]:

    また、次のオプションでも有効化できます。

    START-HERE.bat --experimental-speed-projection on

    無検閲化を適用した後は、Web UIのSampling設定から切り替えることもできます。

    ※これらはWindowsのソースコード版向けコマンドです。インストール方法やバージョンによって設定手順は異なります。

    4-2. strata-nvfp4

    派生版では、次のコマンドで無検閲化を有効にできます。

    START-HERE.bat --uncensored on

    また、Web UIの「Disable censorship」スイッチからも変更できます。

    APIから利用する場合は、リクエストに次のパラメータを追加します。

    {
      "uncensored": true
    }

    これにより、モデルの重みを変更せずに、リクエストごとに無検閲化を切り替えることができます。

    5. 無検閲化の効果と注意点

    5-1. 回答拒否の減少

    strata-nvfp4の開発者が公開したテスト結果では、無検閲化によって回答拒否が大幅に減少しています。

    Qwen3.8-Flash-NextのNVFP4-GPTQ版で、Thinkingを有効にした場合の結果は次のとおりです。

    ・通常モデル:テストした要求のほぼすべてを拒否
    ・無検閲モデル:英語104件、ウクライナ語30件のテストで拒否0件

    これは開発者が用意したテストでの結果であり、あらゆる質問に回答できることを保証するものではありません。

    ・strata-nvfp4 - Releases

    5-2. 通常の回答品質への影響

    strata-nvfp4の開発者は、通常モデル、Strata公式版、strata-nvfp4、OrcaRouterの4種類を比較したベンチマークを公開しています。
    「KLダイバージェンス」は、通常モデルとの出力確率の違いを示す指標です。小さいほど通常モデルに近いことを意味します。

    結果は次のとおりです。

    ・通常モデル:0(基準)
    ・Strata公式版:0.043
    ・strata-nvfp4:0.026
    ・OrcaRouter(Abliteration):0.047

    strata-nvfp4は、Strata公式版よりも通常モデルに近い出力を維持しています。
    また、Strata公式版の別の測定では、無検閲化によってコードのPerplexityが約15%増加しています。これはコードの予測確率に影響が出たことを意味しますが、コード生成の正解率が15%低下したという意味ではありません。

    5-3. Thinkingと推論速度への影響

    同じベンチマークでは、Thinkingの長さと生成速度も比較されています。

    Thinkingの平均トークン数

    ・通常モデル:1,699
    ・Strata公式版:1,825
    ・strata-nvfp4:1,947
    ・OrcaRouter:約1,000〜1,150

    生成速度

    ・通常モデル:158.8 tok/s
    ・Strata公式版:158.4 tok/s
    ・strata-nvfp4:159.0 tok/s
    ・OrcaRouter:141.1 / 161.7 tok/s

    strata-nvfp4では、通常モデルよりThinkingが長くなる一方、生成速度はほぼ変わりません。
    OrcaRouterではThinkingが大幅に短くなる傾向が見られます。

    これらは特定のClaude Codeリクエストを使った測定結果です。Thinkingが長いほど推論能力が高いとは限りません。
    また、HumanEvalやSWE-benchなど、コーディングの正解率を直接比較した結果ではないため、無検閲化による実際のコーディング性能への影響は、まだ十分に検証されていません。

    ・strata-nvfp4 - 公開ベンチマーク

    5-4. 無検閲化の注意点

    無検閲化には、次のような注意点があります。

    ・回答品質:コード生成や文章生成の品質が変化する可能性がある
    ・推論能力:Thinkingの長さや判断が変わる可能性がある
    ・安全性:危険な要求への回答拒否も減少する
    ・正確性:無検閲化によって知識や正確性が向上するわけではない

    公開ベンチマークでは、strata-nvfp4はStrata公式版よりも通常モデルの出力への影響が小さい結果となっています。

    ただし、これは開発者による特定条件での測定結果です。実際のコーディング能力や複雑な推論への影響は、別途検証する必要があります。

    関連



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ