Strata v0.1.39登場！旧型GPU救済と並列推論360tok/s

• 事実の要約：ローカルLLM推論環境「Strata v0.1.39」が公開され、複数リクエスト並列処理や旧世代ハードウェア対応が追加された。
• 技術の変革：デコード処理最適化でRTX 5070にて約6%高速化し、4GPU構成の8並列処理で合計360tok/sを達成した。
• 現場の対応：GTX 10系やIntel Arcを再利用可能にし、OpenAI Responses API対応でCodex CLIからの連携が可能となった。

ローカル環境でLLMを稼働させる際、多くのエンジニアが直面するのが「コンテキスト長の肥大化に伴うレイテンシの悪化」と「複数セッション時のデッドロックにも似た推論キューの詰まり」である。APIコスト削減や機密情報の社内完結を目的にローカルLLMサーバーを構築しても、長文プロンプトの読み込みで待たされ、実用に耐えかねるケースは珍しくない。オープンソースの推論環境「Strata」の最新版「v0.1.39」は、まさにこの現場のボトルネックにメスを入れるアップデートとなった。

開発者のNiko1221氏によってGitHub上で無償公開されているStrataは、ワンクリックでWindowsおよびLinux上にOpenAIおよびAnthropic互換のAPIサーバーを立ち上げられる手軽さが評価されてきた。今回のv0.1.39では、推論エンジンのデコード処理に踏み込んだ最適化が施され、GeForce RTX 5070（Q2_0量子化）の実測環境において約6%の速度向上が確認された。さらに、長文プロンプトの処理性能および超長コンテキスト展開時のスループット低下が抑え込まれている。

特筆すべきは、マルチリクエストの同時処理（並列バッチ推論）への本格対応である。単一リクエストあたりのトークン生成速度はトレードオフとして若干低下するものの、システム全体でのキュー待機時間を大幅に削減できる設計となった。公開された検証データによれば、4基のGPUを束ねたクラスタ構成において、単一リクエスト処理時の120tok/sに対し、8リクエストを並列処理した環境では合計360tok/sという高いスループットを叩き出している。

小規模な開発チームで社内向け推論プロキシを運用する際、単一スレッドのピーク速度よりも同時アクセス時のトータルレイテンシがUXを決定づける。この並列処理能力の強化は、チーム共有のローカル推論基盤としてStrataを本番採用する強力な後押しになると言えるだろう。

最新のLLMエコシステムにおける大きな課題の一つが、CUDA 13への急速なシフトに伴う旧世代ハードウェアの切り捨てである。Pascal世代のGeForce GTX 10シリーズやTesla P40、Volta世代のV100といった、かつてデータセンターやワークステーションの主力を担ったVRAM容量の大きなGPUが、最新の推論ランタイムから締め出され、遊休資産化している現場は多い。Strata v0.1.39は、こうしたハードウェアの延命に正面から取り組んでいる。

本バージョンでは実験的機能として、CUDA 13非対応の旧世代GPU向けに「CUDA 12.9ベース」の実行エンジンが個別に用意された。これにより、24GBのVRAMを搭載しながら最新フレームワークで動かしづらくなっていたTesla P40やGTX 1080 Tiなどの旧世代カードを、最新のQwen3.8-Flash-Nextの推論基盤として再稼働させることが可能となる。高価な最新アクセラレータを買い揃えられない検証環境において、手元にあるハードウェア資産を最大限に活かせるメリットは計り知れない。

さらに、Linux環境下におけるIntel Arc GPU向けのSYCLバックエンド対応や、AVX2命令セットを持たない旧世代CPUのサポートも追加された。NVIDIA一強のロックインから脱却し、Intelのグラフィックスカードや古いサーバープロセッサを推論クラスタに組み込む選択肢が提示されたことは、自作クラスタを組むエンジニアにとって興味深い進展である。

• CUDA 12.9ベースエンジンの提供：GeForce GTX 10シリーズ、Pascal（P40）、Volta（V100）を救済
• Intel Arc向けSYCL実装：Linux環境でのIntel GPU推論を可能にし、NVIDIA依存を緩和
• AVX2非対応CPUサポート：レガシーなCPU環境でもフォールバックとして推論を実行可能

メモリ使用量に上限を設けた際にプロンプト処理が著しく遅延していた不具合の修正も含まれており、限られたハードウェアリソースを極限まで使い切るチューニングが施されている。眠っていた機材を掘り起こし、エッジ推論ノードとして再定義する価値がここにある。

単にモデルを動かすだけでなく、既存の開発ツールチェーンにどれだけ滑らかに統合できるかがローカル推論基盤の実用性を左右する。Strata v0.1.39では、新たにOpenAI Responses API仕様に準拠したエンドポイント（/v1/responses）が実装された。これにより、OpenAIの自律型コーディングエージェント「Codex CLI」など、最新のAPI仕様を前提とした外部開発ツールからのダイレクトな呼び出しが可能となった。

既存ユーザーは、Windowsであれば「UPDATE.bat」、Linuxであれば「update.sh」を実行するだけで新環境へシームレスに更新できる。OpenAI互換やAnthropic互換のAPIエンドポイントに加え、オプションでの画像入力（マルチモーダル）対応を維持しつつ、Codex CLIのような開発支援エージェントのバックエンドとしてQwen3.8-Flash-Nextをローカルホスト上で完結させられる環境が整った。

しかし、ここで我々エンジニアは冷静に自らのシステム設計を問い直す必要がある。クラウドプロバイダーが提供する巨大なコンピュートリソースとマネージドAPIに依存し続けるのか、それとも社内資産を再構成して完全なデータ主権と低コスト性を手に入れるのか。ローカルLLM環境の進化は、単なる「ホビー用途の実験室」を越え、実務レベルの開発フローをどう自前で構築すべきかというアーキテクチャの選択を突きつけている。

明日からの実務に向けた実践的な処方箋として、まずは社内に眠るGTX 1080 TiやTesla P40、あるいはIntel Arc搭載機を1台確保し、Strataを立ち上げてCodex CLIのバックエンドとして接続してみることを強く推奨したい。クラウドの従量課金メーターを気にせず、ローカルの高速なトークンストリームの上で開発エージェントを走らせたとき、エンジニアリングの日常における自由度の違いを肌で実感できるはずだ。