AIエージェント時代の検索インフラ：Keenableが挑むWebの再定義

我々エンジニアが日々直面する「検索」という行為は、長らく人間がブラウザを開き、青いリンクのリストを眺めるというUXに縛られてきた。しかし、AIエージェントが自律的にタスクを遂行する現在、このパラダイムは完全にレガシーと化している。かつてGoogleが構築したインデックスは、人間がクリックすることを前提に最適化されており、AIが高速に情報を抽出するための構造とは程遠い。深夜の障害対応でログを追う際、人間なら数行のスタックトレースで原因を推測できるが、AIには文脈を補完するための広範なドキュメントのグラウンディング（根拠付け）が必要だ。この「人間向け検索」と「AI向け検索」の乖離こそが、現在のAI開発における最大のボトルネックであると私は確信している。

元Yandexの検索・AI・クラウド部門を率いたAndrey Styskinと、ドイツのAI科学者Matthias Petriが立ち上げた「Keenable」は、まさにこの「AIのためのWebインデックス」という未踏の領域に2,600万ドルのシード資金を投じて挑んでいる。彼らが構築しているのは、1,000億件以上のドキュメントを網羅する、AIエージェント専用の検索インデックスだ。これは単なるクローラーの強化ではない。AIが推論時にリアルタイムで情報を取得し、それを自身の回答の根拠として利用するための「APIファースト」な検索基盤である。既存のエンタープライズ検索ソリューションをWebスケールで運用しようとすれば、コストとレイテンシの壁に即座に突き当たる。Keenableは、クエリに応じて検索空間を極めて高速に絞り込む独自のインデックス構造を開発することで、このコスト問題を解決しようとしている。これは、スパゲッティコード化した既存の検索エンジンを力技で叩くのではなく、AIの推論プロセスに最適化されたデータパイプラインを再設計するという、極めてエンジニアリング的なアプローチだ。

GoogleやMicrosoftといった巨大テック企業が、自社の検索APIを閉鎖し、パートナーを厳選する動きを見せているのは、単なるビジネス上の戦略ではない。彼らは「AIエージェントがWebを直接読み漁る」ことで、自社の検索トラフィックがカニバリゼーションを起こすことを恐れているのだ。しかし、この「囲い込み」は、我々開発者にとっての選択肢を奪う行為に他ならない。Accelが主導したKeenableへの投資は、この独占的な検索インフラに対する強力なカウンターパンチである。StyskinがAmazon時代にAlexaの検索インフラを構築した際に目の当たりにしたのは、AIクローラーによるトラフィックの爆発的な増加だった。彼は、既存の検索エンジンがAIの需要に耐えられず、崩壊していく未来を予見していたのだ。

Keenableが開発中の「Web Query Language」は、単一のソースに答えがない場合でも、複数のWebソースから情報を統合して回答を生成する能力を持つ。これは、従来の「キーワードマッチング」から「意味的推論」への完全な移行を意味する。現在、彼らのAPIは既に複数のAIラボや推論プロバイダーのプロダクション環境で利用されており、Gradiumのような音声AI企業との提携も進んでいる。以下に、Keenableが解決しようとしている技術的課題と、既存の検索エンジンとの比較を整理する。

「検索エンジンをGoogleから乗り換えさせるのは極めて困難だ」とStyskinは認める。しかし、エージェントによるクエリという新しい市場において、Googleのイノベーションのジレンマを突く余地は十分にある。15名の精鋭エンジニアチームが、欧米を跨いでこの巨大なインデックスを維持し、コストを最適化し続けることは、まさに「死の行軍」に近い挑戦だ。しかし、彼らが成功すれば、Webは「人間が読むための場所」から「AIが知識を抽出するための巨大なデータベース」へと変貌を遂げることになるだろう。

「10個の青いリンク」が並ぶ検索結果ページは、もはや過去の遺物となりつつある。我々エンジニアは、この変化を単なる「検索ツールの変更」として捉えてはならない。これは、アプリケーションのデータ取得レイヤーそのものが根本から書き換わるという、アーキテクチャの転換点である。Keenableのようなスタートアップが台頭する背景には、Webという巨大な非構造化データ群を、AIが直接的に「API」として利用できる形に再構築するという、極めて野心的な試みがある。もしあなたが現在、AIエージェントを組み込んだプロダクトを開発しているなら、自社の検索基盤をどう設計すべきか、あるいはどの外部APIに依存すべきかを再考する時期に来ている。

ここで我々が突きつけられている問いは、「自社のAIエージェントが参照する情報の『鮮度』と『信頼性』を、誰のインフラに委ねるのか」という点だ。Googleに依存し続けることは、彼らのAPI制限というデッドロックに将来的に陥るリスクを孕んでいる。一方で、Keenableのような新興勢力に賭けることは、技術的な不確実性とコストの増大を許容することを意味する。明日から我々が取るべき実践的な処方箋は、単一の検索エンジンへの依存を排除し、複数の検索ソースを抽象化して切り替え可能な「検索抽象化レイヤー」を自社アプリケーション内に実装しておくことだ。また、AIエージェントがWebをクロールする際のコストを、トークン消費量だけでなく、インデックスへのアクセス頻度という観点からも再計算する必要がある。

Webは今、人間からAIへとその主役を譲り渡そうとしている。この移行期において、我々エンジニアは「検索」という行為を、単なる情報の取得から、AIの推論を加速させるための「データ供給パイプライン」へと再定義しなければならない。あなたは、この巨大なインフラの再構築において、どのような役割を果たす準備ができているだろうか。あるいは、この変化を傍観し、既存の検索エンジンのAPI制限に縛られ続けることを選ぶのだろうか。技術の進化は待ってくれない。今この瞬間も、WebのインデックスはAIのために書き換えられ続けているのだ。