メインコンテンツへスキップ
見出し画像

Strataの公式推奨構成と生成速度まとめ - RAM・VRAM別のモデル選び

    「Strata」の公式推奨構成と生成速度についてまとめました。

    1. Strataとは

    Strataは、GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジンです。

    現在は「Qwen3.8-Flash-Next」を中心に、その派生モデルや量子化モデルに対応しており、125Bパラメータ級のモデルをRTX 5070 12GBのようなGPUでも実行できます。

    2. 対応モデルと量子化方式

    2-1. 対応するLLM

    Strataが対応する主なLLMは次の3種類です。

    ・Qwen3.8-Flash-Next:総125B、アクティブ約3BのMoEモデル
    ・Qwen3.6-35B-A3B:総35B、アクティブ約3BのMoEモデル
    ・DeepSeek V4.1-Flash-1017:総552B、アクティブ8B(入力時)/16B(生成時)のMoEモデル

    対応状況には違いがあり、Qwen3.6-35B-A3BとDeepSeek V4.1-Flashは、現時点ではApple Silicon MacのStrataエンジンでは実行できません。

    2-2. 量子化モデルの種類

    「量子化」は、モデルの重みを少ないビット数で表現し、必要なメモリ容量を削減する技術です。

    Qwen3.8-Flash-Nextでは、次の量子化モデルが用意されています。

    ・Q2_0:約2bit。生成速度重視
    ・IQ2_XS:約2bit。速度と品質のバランス
    ・IQ3_XXS:約3bit。品質重視
    ・IQ3_S:約3bit。さらに品質重視
    ・UD-IQ4_XS:Unsloth Dynamic方式の約4bit
    ・UD-Q4_K_XL:Unsloth Dynamic方式の4bit
    ・UD-Q5_K_XL:Unsloth Dynamic方式の5bit
    ・UD-Q6_K_XL:Unsloth Dynamic方式の6bit
    ・Q8_0:8bit。品質重視
    ・NVFP4:NVIDIA向けの4bit浮動小数点形式

    基本的には、ビット数が大きいほどモデルの容量が増え、量子化による品質低下を抑えやすくなります。

    公式では「ISTA-DASLab」のQ2_0、IQ2_XS、IQ3_XXS、IQ3_Sを優先して推奨しています。
    また、NVIDIA向けのNVFP4には、Strata独自変換版、NVIDIA版、NVIDIAの追加学習版「NVFP4-QAD」の3種類があります。

    2-3. 軽量化・追加学習モデルの種類

    量子化以外にも、モデルを加工した派生版があります。

    ・Coder(IQ1_M):Expertを512個から256個に削減したコーディング向け軽量版
    ・Swift 1.5:思考トークンを減らし、回答時間の短縮を狙った追加学習版
    ・Gyro-S:Expertの重みを強く圧縮したメモリ優先版
    ・Gyro-M:メモリ容量と品質のバランスを重視した圧縮版

    Coderは元モデルより軽量ですが、一般用途では性能が低下する場合があります。
    Swift 1.5は、1トークンあたりの生成速度を大きく変えずに、回答全体のトークン数を減らすことを狙っています。
    Gyroは少ないメモリでも実行できる一方、通常の量子化モデルより生成速度が低下する傾向があります。

    3. RAM・VRAM別の推奨モデル

    3-1. PC構成別のモデル候補

    RAM 32GB〜128GB、VRAM 12GB〜32GBの構成ごとに、実行候補となるモデルを紹介します。

    ・RAM 32GB+VRAM 12〜16GB:Coder(低RAMモード)/ Qwen3.6-35B-A3B
    ・RAM 32GB+VRAM 24GB:Q2_0 / IQ2_XS(低RAMモード)
    ・RAM 48GB+VRAM 12〜16GB:Q2_0 / IQ2_XS
    ・RAM 64GB+VRAM 12〜16GB:IQ2_XS / IQ3_XXS / IQ3_S
    ・RAM 96GB+VRAM 16〜32GB:IQ3_S / UD-IQ4_XS / NVFP4
    ・RAM 128GB+VRAM 24〜32GB:UD-Q4_K_XL / UD-Q5_K_XL

    ※公式のメモリ要件をもとに整理した候補であり、すべての構成が実測されたわけではありません。NVFP4はNVIDIA GPU専用で、RTX 50シリーズではFP4演算を利用できます。それ以外の対応NVIDIA GPUでは8bit精度で処理されます。

    特に、RAMとVRAMの合計が同じでも、その配分によって生成速度が変わる点に注意が必要です。

    Strataでは、VRAMに保持できるExpertが多いほどCPU側の計算負荷を削減できるため、GPUの演算性能だけでなくVRAM容量も重要になります。
    Apple SiliconやStrix Haloなどの統合メモリ環境では、CPUとGPUがメモリを共有するため、RAMとVRAMを二重に数えません。

    3-2. モデル別のメモリ要件

    各モデルのRAM配置分やRAM+VRAMの必要容量を説明します。

    Qwen3.8-Flash-NextのISTA-DASLab版を比較します。

    ・Coder:RAM配置分 23GB
    ・Q2_0:RAM+VRAM 37.6GB / RAM配置分 34GB
    ・IQ2_XS:RAM+VRAM 39.2GB / RAM配置分 35.5GB
    ・IQ3_XXS:RAM+VRAM 47.0GB / RAM配置分 43GB
    ・IQ3_S:RAM+VRAM 54.8GB / RAM配置分 50GB

    RAM配置分は、モデルのExpertをすべてRAMに配置する場合の目安です。別途、GPU側の処理に必要なVRAMも確保する必要があります。公式ではOSなどのために約10GBの余裕を見込んでおり、コンテキスト長によって必要な追加メモリも変わります。
    また、VRAMが大きい場合は低RAMモードを利用でき、RAM 32GB+VRAM 24GBでもQ2_0やIQ2_XSを実行できます。

    低メモリ・大容量メモリ向けには次の選択肢があります。

    ・Gyro-S:RAM+VRAM 27.6GB
    ・Gyro-M:RAM+VRAM 35GB
    ・UD-IQ4_XS:RAM約72GB
    ・NVFP4:RAM約80GB
    ・UD-Q4_K_XL:RAM約88GB
    ・UD-Q5_K_XL:RAM約108GB
    ・UD-Q6_K_XL:RAM約118GB
    ・Q8_0:RAM約136GB

    GyroはRAMとVRAMの合計容量、UD系とNVFP4、Q8_0は全ExpertをRAMに配置する場合の目安です。
    後者はRAMが不足してもSSDからExpertを読み込んで実行できますが、生成速度が大きく低下する場合があります。

    4. モデル別の生成速度

    公式リポジトリには、複数のPC構成で測定した生成速度が公開されています。

    以下の数値はtok/s(1秒間に生成するトークン数)です。モデルやベンチマークによって入力長などの条件が異なるため、厳密な横断比較には利用できません。

    4-1. Qwen3.8-Flash-Next

    まず、RTX 5070を使った公式測定結果です。ここではモデル間の比較条件を統一するため、Strata 0.1.26の測定値を使用します。最新のエンジンでは一部の処理が高速化されています。

    測定環境は次のとおりです。

    ・GPU:RTX 5070(12GB)
    ・CPU:Ryzen 5 7600
    ・RAM:64GB DDR5-5200
    ・OS:Windows
    ・推論エンジン:Strata 0.1.26

    入力4Kトークンと32Kトークンでの生成速度は次のとおりです。

    ・入力4Kトークン

    ・Q2_0:93.0 tok/s
    ・IQ2_XS
    :78.6 tok/s
    ・IQ3_XXS
    :61.6 tok/s
    ・IQ3_S
    :53.3 tok/s
    ・Coder
    :55.1 tok/s

    ・入力32Kトークン

    ・Q2_0:81.8 tok/s
    ・IQ2_XS
    :76.3 tok/s
    ・IQ3_XXS
    :58.5 tok/s
    ・IQ3_S
    :48.3 tok/s
    ・Coder
    :54.9 tok/s

    ※2026年9月29日の測定データです。IQ2_XSはSwift 1.5版を使用しています。

    さらに、公式に掲載された別のGPUでの実測例は次のとおりです。

    ・RX 9070(16GB)+RAM 64GB:IQ3_XXS / 58.7 tok/s
    ・TITAN RTX(24GB×2)+RAM約125GiB:IQ3_S / 77.3 tok/s
    ・Strix Halo(128GB統合メモリ):UD-IQ4_XS / 59.2 tok/s

    これらは測定条件やエンジンのバージョンが異なります。

    最新エンジンでは一部のGPU向けに高速化が進んでいるため、過去の実測値は性能の目安としてください。

    4-2. Qwen3.6-35B-A3B

    「Qwen3.6-35B-A3B」は、総パラメータ数35B、有効パラメータ数約3BのMoEモデルです。

    量子化モデルのメモリ要件は次のとおりです。

    ・UD-Q4_K_XL:ファイル22.9GB / RAM約32GB
    ・UD-Q6_K_XL:ファイル32.6GB / RAM約44GB
    ・Q8_0:ファイル37.8GB / RAM約52GB

    最も軽いUD-Q4_K_XLの生成速度は次のとおりです。

    ・RTX 3060(12GB):59.7 tok/s
    ・Radeon AI PRO R9700(32GB):117.8 tok/s

    こちらは生成速度のみの測定です。

    RAMやVRAMが少ない場合は、大規模モデルを強く量子化するより、小型モデルの高品質な量子化を選ぶ方が実用的な場合があります。

    4-3. DeepSeek V4.1-Flash

    「DeepSeek V4.1-Flash-1017」は、SSDも活用して実行する大規模MoEモデルです。

    公式では、次の3種類が用意されています。

    ・1.75 bpw:ダウンロード容量239GB / 必要な空き容量約245GB
    ・2.00 bpw:ダウンロード容量257GB / 必要な空き容量約265GB
    ・2.25 bpw:ダウンロード容量274GB / 必要な空き容量約280GB

    「bpw(bits per weight)」は、モデルの重み1個あたりに使用する平均ビット数を示します。
    値が大きいほど容量も増えますが、量子化による品質低下を抑えやすくなります。

    公式の2.00 bpw版の実測結果は次のとおりです。

    ・RTX 5070(12GB)+RAM 64GB:4〜6 tok/s
    ・RTX 3060(12GB)+RAM 46GB:9〜11 tok/s
    ・Radeon AI PRO R9700(32GB)+RAM 251GB:21〜25 tok/s
    ・Radeon AI PRO R9700 ×4+大容量RAM:74〜77 tok/s
    ・Ryzen AI Max+ 395(128GB統合メモリ):19〜21 tok/s(コード生成)

    ※主にStrata 0.2.5の公式掲載値です。Strix Haloの測定結果は別条件のもので、コード生成時に19〜21 tok/s、チャット時に約11 tok/sを記録しています。

    DeepSeekには「Faster」と「Full quality」の実行モードもあります。
    Fasterは使用するExpertを6個から5個に減らして高速化する方式で、合計VRAMが16GiB以下のPCやStrix Haloなどの統合GPU環境では標準設定になります。
    また、「DSpark」という小型のドラフトモデルを使った投機的デコードにも対応しており、一部の環境では生成速度が改善します。
    ただし、DeepSeekは大量のデータをSSDから読み込むため、NVMe SSDの性能やCPU性能によっても速度が変わります。
    そのため、必要なメモリ容量を満たしていても、実用的な生成速度が得られるとは限りません。



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ