Mixture of Experts

Mixture of Experts（MoE：混合専門家）とは、ニューラルネットワークのアーキテクチャ設計手法の一種であり、モデル全体を巨大化させつつ、入力データに応じて処理を担当する部分ネットワーク（エキスパート）を動的に切り替える技術である。従来のニューラルネットワークでは、すべての入力に対してモデル内の全パラメータを用いて計算を行う「高密度（Dense）モデル」が主流であったが、MoEは必要な部分のみを活性化させる「疎（Sparse）モデル」を実現する。

技術的仕組みと構造

MoEの基本構造は、複数のエキスパート（Expert）と呼ばれるサブネットワークと、入力を適切なエキスパートに振り分けるゲーティングネットワーク（Gating Network）（またはルーター）で構成される。具体的な処理フローは以下の通りである。

1. 入力の受け取り：モデルにデータ（トークンなど）が入力される。
2. ルーティング：ゲーティングネットワークが、入力データの特徴を分析し、どのエキスパートに処理を割り振るかを決定する。この際、ソフトマックス関数などを用いて各エキスパートへの割り当て確率（重み）が算出される。
3. エキスパートによる処理：選択された上位N個（通常は1〜2個）のエキスパートのみが活性化し、入力を並行して処理する。選択されなかった他のエキスパートは計算を行わない。
4. 出力の統合：各エキスパートの出力に、ゲーティングネットワークが算出した重みを掛け合わせ、それらを足し合わせることで最終的な出力を得る。

具体例

大規模言語モデル（LLM）におけるMoEの適用例として、以下のような構成が挙げられる。

• Transformerデコーダ層への組み込み：TransformerアーキテクチャのFFN（Feed-Forward Network）部分を、複数の独立したFFN（エキスパート）に置き換える。
• Mixtral 8x7B：8つのエキスパートを持ち、各トークンの処理において常に2つのエキスパートをアクティブにする設計のオープンソースLLM。

IT業界における重要性

MoEは、計算資源の制約下でモデルの表現力を極大化するための鍵となる技術である。パラメータ数を数千億から数兆規模にスケールアップさせながらも、1トークンあたりの実質的な計算量（アクティブパラメータ数）を低く抑えることができる。これにより、ハードウェアの物理的限界や電力消費の制約に対応しつつ、より高度な推論能力を持つAIモデルの構築が可能となるため、現代の基盤モデル開発において中核的な設計思想となっている。