FermiからBlackwellへ：NVIDIA GPUアーキテクチャ15年の進化と断絶

深夜のデバッグ中にふと、かつてのFermi世代のホワイトペーパーを読み返したことはないだろうか。GF100の巨大なダイ、TDP 250Wという暴力的な消費電力、そして何より「ハードウェアが実行時に賢く振る舞う」という設計思想。あの頃、我々エンジニアはGPUを『汎用的な並列計算機』として夢見ていた。しかし、Kepler(2012)の登場は、その夢を冷徹な現実へと引き戻した。Keplerが我々に突きつけたのは、ホットクロックの廃止という『電力効率への降伏』である。

G80から続いたシェーダ2倍クロックは、限られた面積でスループットを稼ぐための苦肉の策だった。しかし、Keplerは『面積を払ってでも低クロックで並列度を稼ぐ』というダークシリコン時代の鉄則に従った。さらに衝撃的だったのは、Fermiが誇ったハードウェアによる動的な依存チェック機構の撤廃だ。これは単なる機能削減ではない。複雑な依存解決をシリコンからコンパイラ(ptxas)へと移管し、ハードウェアを『命令に従うだけの単純な実行器』へと変貌させたのだ。この取引は、GPUがレイテンシ隠蔽を大量のwarpで賄えるという特性を逆手に取った、極めてエンジニアリング的な合理性に基づいている。

この転換は、SASS（実マシン命令）の世代間互換性を捨て、PTXという中間表現を介在させるという、現代のCUDA開発における「不可逆な構造」を決定づけた。我々が書くコードは、もはやハードウェアの直接的な制御ではなく、コンパイラが生成する制御語（control words）を介した、高度に抽象化された命令列へと変貌したのである。Keplerが捨てたのは、単なる回路ではない。GPUが『汎用CPUの延長』として振る舞うという、あの甘美な幻想そのものだったのだ。

Volta(2017)の登場は、GPUの歴史における最大のパラダイムシフトだ。それまで汎用性を追求していたGPUが、Tensor Coreという『行列演算専用回路』を搭載したことで、突如としてAIアクセラレータへとその本質を書き換えた。これは、G80以来の『固定機能を減らして汎用化する』という進化の歴史を完全に逆転させる行為だった。なぜNVIDIAは、再び専用回路という『スパゲッティコードの温床』になりかねない道を選んだのか。答えはシンプルで、深層学習という特定のワークロードにおいて、汎用シェーダの電力効率がもはや限界に達していたからだ。

さらに、Voltaで導入された『独立スレッドスケジューリング』は、SIMTモデルの根幹を揺るがした。G80からPascalまで、1 warp = 1 PCという前提で我々はコードを書いてきた。しかし、スレッドごとに独立したPCとコールスタックを持つようになったことで、従来のwarp同期に依存したコードは、突如としてデッドロックや未定義動作の地雷原へと変貌した。CUDA 9で導入された__syncwarp()の強制は、ハードウェアの進化がプログラミングモデルをいかに破壊し、再構築するかを物語る象徴的な出来事だった。

以下の表は、GPUアーキテクチャの進化における制御情報の変遷を示している。この複雑性の移管こそが、現代のGPU開発の核心である。

この進化の果てに、Blackwell(2024)ではレティクル限界を突破するために2ダイ構成という物理的な断絶を迎えた。我々エンジニアは、もはや単一のチップを相手にしているのではない。NVLinkやNVSwitchを介した、ラック全体を一つの巨大なGPUとして扱う時代に突入しているのだ。

Fermiで時が止まっていたエンジニアにとって、現在のGPUアーキテクチャは『ブラックボックスの巨大化』に見えるかもしれない。しかし、その中身は、電力効率とスループットを極限まで追求した、極めて論理的な『切り捨ての歴史』である。ホットクロックを捨て、ハードウェア依存チェックを捨て、SIMTの純粋性を捨て、そして最後には単一ダイという物理的制約すら捨てた。この15年間の進化は、我々が書くコードが、いかにハードウェアの物理的な制約（電力、配線、レイテンシ）と密接に結びついているかを再認識させる。

今、我々が直面しているのは、AIモデルの巨大化と、それを支えるハードウェアの複雑化という無限ループだ。Tensor CoreやRT Coreといった専用回路の増強は、今後も続くだろう。しかし、その一方で、我々が書くCUDAコードは、ハードウェアの細部を意識しなくても動くようになっているのか？ 答えは否だ。むしろ、__syncwarp()やメモリ階層の最適化など、ハードウェアの特性を理解しなければ、性能を10%も引き出せない時代になっている。

明日から我々が取るべき処方箋は明確だ。最新のホワイトペーパーを読み込み、マイクロベンチマークでハードウェアの挙動を暴くこと。そして、コンパイラが生成するSASSを読み解く勇気を持つことだ。抽象化のレイヤーが厚くなればなるほど、その下で何が起きているかを知るエンジニアだけが、真のパフォーマンスを制御できる。あなたは、この進化の速度に追いつく準備ができているか？ それとも、Fermiの時代の『賢いハードウェア』という幻想に、まだしがみついているのだろうか？