Qwen3.8がRTX 5070で秒間93トークン！推論エンジンStrataの衝撃

• 事実と背景：Niko1221氏が125Bモデル「Qwen3.8-Flash-Next」をコンシューマGPUで高速動作させる推論エンジン「Strata」をMITライセンスで公開。
• 技術的変革：MoEの特性を活かし、頻出エキスパートのみVRAMに配置。投機的デコーディングやCPU/SSDとの協調動作で1.6〜1.8倍の高速化を実現。
• 現場への影響：OpenAI/Anthropic互換APIにより、既存のAIコーディング環境を完全ローカル化可能。APIコストとデータ漏洩リスクをゼロにできる。

開発現場において、LLMのAPI利用料は常に頭の痛い問題だ。特に、コードベース全体を読み込ませるようなAIエージェントをフル稼働させれば、月末の請求書を見て冷や汗を流すことになる。かといって、機密性の高いソースコードを外部のクラウドAPIに送信することへのセキュリティ懸念は、エンタープライズ開発において常にデッドロックを引き起こす。この「コストとプライバシーのジレンマ」に対する決定打となり得るのが、今回登場したオープンソースの推論エンジン「Strata」だ。

Strataは、Alibabaが開発した総パラメータ数1,250億（125B）、アクティブパラメータ数60億（6B）という超巨大な大規模言語モデル「Qwen3.8-Flash-Next」を、なんとビデオカード1枚の一般的なゲーミングPCで、秒間60〜95トークンという実用レベルを遥かに超えた「爆速」で動作させる。開発者はNiko1221氏で、ライセンスは極めて自由度の高いMITライセンスだ。

これまで、100Bを超えるようなモデルをローカルで動かすには、数百GBのVRAMを備えたエンタープライズ向けのH100やA100といった、数百万〜一千万円クラスのサーバー機材が必要だった。しかし、Strataが要求するのは、12〜24GBのVRAMを搭載したNVIDIA製のGeForce RTX 20/30/40/50シリーズと、64GBのメインメモリ、そして約80GBの空きディスク容量だけだ。対応OSもWindows 10/11およびLinuxと、我々が普段開発やゲームに使っている環境そのままである。

公開されたベンチマークデータは、我々シニアエンジニアの常識を覆す。GeForce RTX 5070（VRAM 12GB）とRyzen 5 7600、64GBメモリという、ミドルハイクラスの自作PC環境において、最も軽量な量子化モデル「Q2_0」を用いた場合、短い対話で93tok/s、128Kという広大なコンテキストウィンドウでも74tok/sを記録している。さらに、実用的な精度を持つ推奨モデル「IQ2_XS」でも79tok/sを叩き出し、プロンプトの読み込み速度にいたっては2,090tok/sに達する。VRAM 24GBを搭載するRTX 3090クラスであれば、100〜140tok/sという、もはや人間が読む速度を遥かに超越したスピードでテキストが生成される。この圧倒的なパフォーマンスは、ローカルLLMの「遅くて使い物にならない」という先入観を完全に粉砕するものだ。

なぜ、これほどまでに巨大なモデルが、限られたVRAMしか持たないコンシューマPCで高速に動作するのか。その秘密は、Strataが採用した極めてスマートな「リソースの適材適所配置」と「投機的デコーディング」にある。

Qwen3.8-Flash-Nextは、MoE（Mixture of Experts）と呼ばれるアーキテクチャを採用している。このモデルは内部に2万4,576個もの「エキスパート」と呼ばれる専門ネットワークを抱えているが、実際に1つのトークンを生成する際にアクティブになる（呼び出される）のは、そのうちわずか10個だけだ。Strataはこの特性に目をつけた。あらゆる単語の処理に必須となる共通部分と、頻繁に使用される数千のエキスパートだけを高速なVRAM（GPU）に常駐させ、残りの全エキスパートデータはメインメモリ（CPU側）に退避させる。もしGPU側にないエキスパートが必要になった場合は、CPUがバックグラウンドで並行して処理を行う。これにより、GPUとCPUの相互待ち時間（ボトルネック）を極限まで排除しているのだ。

さらに、大容量のルックアップテーブルはSSD上に配置されているが、Strataは必要な数行だけをピンポイントでシークして読み出す。さらに、実行中にどのエキスパートが頻繁に使われるかを動的に学習し、GPU側のキャッシュ構成をリアルタイムで最適化していくという、まるでデータベースのインデックスチューニングのような処理を自動で行っている。

これに加え、Strataの高速化を決定づけているのが「投機的デコーディング（Speculative Decoding）」の導入だ。これは、モデルに組み込まれた軽量な小型ヘルパーモデルが「次に続くであろう数トークン」を高速に予測し、その予測結果をメインモデルが一括して検証・採用するというアプローチだ。ヘルパーが下書きを書き、メインモデルがそれを校正・決定するような役割分担を行うことで、出力の品質（精度）を一切犠牲にすることなく、全体の処理速度を1.6〜1.8倍に引き上げることに成功している。プロンプトの読み込みも最大8,192トークン単位でバッチ処理されるため、巨大なソースコードを流し込んでも、1,000tok/s以上の速度で瞬時にコンテキストを理解する。

ここで、Strataがサポートする量子化モデルのスペックと必要メモリの比較を表にまとめておこう。

このように、ユーザーのPC環境（特に搭載メモリ量）に合わせて、速度重視から精度重視まで柔軟にモデルを選択できる設計になっている。さらに、推論を短縮して回答を早く返すUkisAI製のファインチューンモデル「Swift 1.5」も選択可能であり、開発者の好みに応じたカスタマイズ性も確保されている。

Strataの真の価値は、単に「ローカルでLLMが速く動く」というベンチマーク上の数字だけにとどまらない。実務における最大のゲームチェンジャーは、起動後に「http://127.0.0.1:8080/v1」でOpenAI互換APIを、そして「/v1/messages」でAnthropic互換APIを標準で提供する点にある。

これは何を意味するか。我々が日々の開発で愛用しているCursorやCline、ContinueといったAIコーディングエージェントの設定画面を開き、APIの接続先をローカルホストに書き換えるだけで、今日から「完全無料・完全オフライン・情報漏洩リスクゼロ」の超高度な開発環境が手に入るということだ。外部のAPIサーバーがダウンして開発がストップする「他力本願な障害」からも完全に解放される。

セットアップの容易さも特筆に値する。Windows環境であれば、GitHubからZIPを解凍して「START-HERE.bat」を実行するだけで、Python環境の構築から推論エンジンのセットアップ、約70GBに及ぶモデルのダウンロードまでが全自動で行われる。Linux環境でも「setup.sh」やDockerfileが用意されており、インフラの構築に不慣れなフロントエンドエンジニアであっても、迷うことなく数クリックでデプロイ可能だ。さらに、画像入力（マルチモーダル）にも対応し、思考の深さ（Thinking）をoff/low/medium/highの4段階から選べるため、複雑なアルゴリズムの設計からUIのモックアップ解析まで、実務のあらゆるフェーズに対応できる。

しかし、我々エンジニアはこの技術的ブレイクスルーを前に、一つの痛烈な問いを突きつけられている。それは、「これほど強力なローカル推論環境が手軽に手に入る時代において、我々は本当にクラウドAIに依存し続ける必要があるのか」という問いだ。もちろん、フロンティアモデル（GPT-4oやClaude 3.5 Sonnetなど）の絶対的な知能にはまだ及ばない部分もある。だが、日常的なリファクタリング、テストコードの自動生成、ボイラープレートの記述といった「手数を要する作業」において、秒間90トークン超で動くローカル125Bモデルは、すでに十分すぎる実用性を持っている。

我々が明日から取るべきアクションは明確だ。まずは手元のゲーミングPCや遊んでいるGPUサーバーにStrataを導入し、自社のコードベースを食わせてみることだ。そして、どのタスクをローカルに逃がし、どのタスクをクラウドに投げるべきかという「ハイブリッドAIワークフロー」を自ら設計・検証すること。このローカル推論の波を乗りこなせるかどうかが、今後のエンジニアとしての生産性、ひいては開発コストの最適化において、決定的な差を生むことになるだろう。