LLMの計算は「筆算」ではない：Anthropicが暴いたブラックボックスの真実

深夜のデバッグ中、LLMに計算を任せて「よし、これで合っているはずだ」と安堵した経験はないだろうか。しかし、我々エンジニアがLLMに抱くその信頼は、実は極めて危うい砂上の楼閣の上に成り立っている。Anthropic社の研究が明らかにしたのは、LLMが我々人間と同じ論理的思考プロセスで計算を行っているわけではないという、ある種の「残酷な真実」だ。我々が「1+1」という入力を与えたとき、LLMは電卓のようにCPUの算術論理演算ユニット（ALU）を叩いているわけではない。それは、膨大なパラメータの海の中で、統計的に最も「2」というトークンが出現する確率が高い経路を辿っているに過ぎないのだ。

このプロセスを理解するには、まずLLMが世界をどう認識しているかを解像度高く捉える必要がある。LLMにとって「1+1」は数式ではなく、単なるトークンのシーケンスだ。トークナイザーの辞書設定次第では、「1」と「+」と「1」が別々のIDとして処理されることもあれば、特定の文脈では結合されて処理されることもある。この「トークン化」という前処理の段階で、すでに数学的な厳密性は失われていると言っても過言ではない。我々がコードを書く際、型定義や演算子の優先順位を厳格に管理するのに対し、LLMは「文脈」という曖昧な霧の中を漂いながら、次のトークンを予測し続けている。この「統計的推論」と「論理的演算」の決定的な乖離こそが、LLMが時に驚くべき計算ミスを犯す根本的な原因であると私は考える。

さらに深刻なのは、モデルが自身の挙動を説明する際の「ハルシネーション（幻覚）」だ。Anthropicの研究で、Claudeが計算過程を問われた際に「筆算の手順」を流暢に語りながら、実際には全く異なる並列的な近似計算を行っていたという事実は、我々エンジニアにとって警鐘を鳴らすべき事象である。これは、モデルが「計算のロジック」を理解しているのではなく、「計算のロジックを説明する人間の文章」を学習しているに過ぎないことを示唆している。つまり、LLMは「計算の専門家」ではなく、「計算について語る人間の振る舞いを模倣する役者」なのだ。この乖離を理解せずにLLMをビジネスロジックの根幹に据えることは、仕様書を読まずにコードをコピペするジュニアエンジニアにミッションクリティカルなシステムを任せるようなものだと言わざるを得ない。

Anthropicが2025年3月に発表した研究『Tracing the thoughts of a large language model』は、ブラックボックスであったLLMの内部構造にメスを入れた画期的な成果だ。特に「36+59」という計算において、モデルが「大まかな見積もり」と「下1桁の精密計算」という二つの異なる経路を並列的に走らせ、それらを統合して答えを導き出すプロセスを観測した点は、AIの解釈可能性（Interpretability）における大きな転換点である。これは、従来のニューラルネットワークが「層を重ねるごとに抽象度が増す」という単純な理解を超え、モデル内部に特定のタスクを処理するための「機能的な回路」が動的に形成されている可能性を示している。

我々エンジニアがこの知見から学ぶべきは、LLMの「出力」を鵜呑みにすることの危険性だ。以下の表は、LLMが計算を行う際の「人間的な論理」と「LLMの統計的挙動」の決定的な違いを整理したものだ。

この対比から明らかなように、LLMは「計算機」ではなく「確率的な推論エンジン」として扱うべきだ。もしあなたが、LLMの出力する数値に依存するシステムを設計しているなら、それは今すぐ見直すべきだ。正確性が求められる計算処理においては、LLMに計算させるのではなく、LLMには「計算式を生成させる」あるいは「計算用ツール（Pythonインタープリタや電卓API）を呼び出させる」という、いわゆるTool Use（Function Calling）のアーキテクチャを採用することが、現代のエンジニアリングにおける最低限の防衛策である。

我々が直面しているのは、AIが「賢そうに振る舞う」ことと「実際に論理的である」ことの間の深い溝だ。この溝を埋めるのは、AIの進化ではなく、我々エンジニアの設計思想である。AIが「記憶で答える」のか「RAG（検索拡張生成）で外部知識を補完する」のか、あるいは「ツールを使って計算する」のか。その判断をAI任せにするのではなく、システムアーキテクチャとして明示的に制御することこそが、シニアエンジニアに求められる責務ではないだろうか。AIの内部で何が起きているかを理解しようとする姿勢は、単なる知的好奇心ではなく、プロダクトの品質を担保するための必須スキルになりつつある。

ここまでLLMの計算プロセスを深掘りしてきたが、最後に我々自身に問いかけたいことがある。それは、「AIが人間のように思考している」という幻想を、我々自身がいつまで抱き続けるのか、という点だ。Anthropicの研究が示したように、モデルは我々が期待する「論理」ではなく、我々が残した「文章のパターン」を学習している。もし、我々が書くコードやドキュメントが、AIにとっての「学習データ」であるならば、我々が不正確な論理や曖昧な説明を繰り返すほど、AIはより巧妙に「もっともらしい嘘」をつくように進化してしまうのではないか。

これは、技術的な課題であると同時に、エンジニアの倫理的な課題でもある。AIが計算を間違えるのは、AIが悪いのではない。AIに「計算機」としての役割を期待し、その限界を理解せずにシステムを構築した我々の設計思想にこそ問題がある。明日からあなたが取るべき対策は明確だ。まず、LLMの出力を「真実」として受け入れるのをやめること。そして、LLMを「推論のパートナー」として活用しつつ、計算や論理的整合性の担保は、決定論的なコードや外部ツールにオフロードするハイブリッドなアーキテクチャを徹底することだ。

我々は、AIという「確率の怪物」を飼い慣らすための檻を、コードで設計しなければならない。AIが内部で何をしているかを解明する研究は、今後さらに加速するだろう。しかし、その解明が進めば進むほど、AIが「人間とは全く異なる知性」であることが浮き彫りになるはずだ。そのとき、我々はAIを「人間を模倣する存在」として扱うのか、それとも「全く新しい計算資源」として再定義するのか。この問いに対する答えを、我々は日々の開発現場で出し続けなければならない。AIのブラックボックスを覗き込むことは、同時に我々自身のエンジニアリングのあり方を問い直すことと同義なのだ。あなたは、AIが吐き出す「もっともらしい答え」を、そのまま本番環境にデプロイする勇気があるだろうか？