Jevでgrepを再発明：意味で検索するsemgrepが変えるログ解析の未来

• Jevモデルを活用し、正規表現ではなく「意味」でテキストを検索するツール「semgrep」が公開された。
• 行単位でyes/no確率を判定するnoul型質問をマトリックス化し、1リクエストで効率的に検索を実行する。
• ベクトル検索と異なり索引不要で、命題の真偽を直接判定可能。ただしAPI利用料とトークン消費には注意が必要。

深夜の障害対応中、ログファイルの中から「なんとなく怪しい挙動」を探し出すために、複雑怪奇な正規表現を書いては失敗し、grepとsedをパイプで繋いでスパゲッティコードのようなコマンドを叩いた経験は、多くのエンジニアが一度は通る道だろう。正規表現は強力だが、あくまで「文字列のパターン」を追うものであり、そこに込められた「文脈」や「意図」を理解することはできない。今回登場した『semgrep』は、まさにその限界を打ち破るツールだ。

筆者が開発したこのツールは、TypeSafe AIのSystem Oneモデル『Jev』をバックエンドに据え、正規表現の代わりに「意味」をクエリとして受け付ける。例えば「誰かが変装している」という曖昧な命題を投げれば、ログの中に含まれる日本語、ドイツ語、フランス語といった多言語の記述から、その意味に合致する行を抽出する。これは単なる類似度検索ではない。ベクトル検索が「話題の近さ」を測るのに対し、semgrepは「その命題が真か偽か」を判定する。つまり、ドラゴン退治の報酬が銅貨5枚であるという事実から「危険のわりに報酬が安すぎる」という文脈を読み解くような、高度な推論が可能になっているのだ。

技術的な実装も非常に興味深い。1行ずつAPIを叩くような非効率な実装ではなく、行と意味のマトリックスを構築し、チャンク単位で一括リクエストを送ることで、APIのオーバーヘッドを最小化している。Node.js環境で動作し、依存関係をゼロに抑えた設計は、現場のエンジニアが即座にツールボックスへ追加できる実用性を備えている。ただし、これは手元のgrepとは異なり、検索のたびにAPIへデータが送信されるという前提がある。このトレードオフを理解した上で、いかに効率的にLLMの推論能力を実務に組み込むか。我々エンジニアには、新しい道具を使いこなすためのアーキテクチャ設計能力が改めて問われている。

「それってベクトル検索でいいのでは？」という疑問を持つ読者は多いだろう。確かに、埋め込みベクトルを用いたコサイン類似度計算は、大規模なデータセットから関連するドキュメントを高速に抽出する手法として確立されている。しかし、ベクトル検索には致命的な弱点がある。それは「索引の固定化」だ。一度ベクトル化して保存したデータは、検索時のクエリがどれほど複雑であっても、その時点での「話題の近さ」しか測れない。否定形や条件分岐、あるいは「報酬の返還を求めているか」といった具体的な命題の真偽を判定するには、ベクトル検索だけでは精度が不足する。

semgrepが採用した『noul』型質問は、モデルに対して「yes/no」の確率を直接問うものだ。これにより、検索のたびにモデルがその行を「読み直す」ため、クエリの意図を正確に反映した判定が可能になる。例えば「正体を隠している」というクエリに対し、単に「正体」という単語が含まれる行を拾うのではなく、文脈的に「隠している」という命題が成立するかを評価する。この柔軟性は、索引を必要としない動的な検索において圧倒的な強みとなる。一方で、この手法はコーパス全体を毎回APIに投げるため、トークン消費量は膨大になる。同じファイルを何度も検索するようなユースケースでは、ベクトル検索で候補を絞り込み、最終的な判定にsemgrepを使うといったハイブリッドなアプローチが現実的な解となるだろう。

以下に、semgrepが提供する論理演算の柔軟性をまとめた。これらは正規表現では記述が困難な複雑な条件を、自然言語の組み合わせで表現できることを示している。

このツールが提示しているのは、単なる検索エンジンの代替ではない。LLMを「推論エンジン」としてパイプラインに組み込み、従来のテキスト処理ツールをアップグレードするという新しい開発スタイルだ。我々は、APIのコストと推論の精度を天秤にかけながら、どのタスクを従来のアルゴリズムで処理し、どのタスクをLLMに委ねるべきかという、新しい設計判断を迫られている。

semgrepの登場は、我々エンジニアに「検索」という行為の再定義を迫っている。これまでgrepやawkで処理していたテキスト解析は、文字列のパターンマッチングという制約の中で行われてきた。しかし、JevのようなモデルがAPIとして提供される世界では、検索は「推論」へと進化する。これは、開発現場におけるデバッグやログ解析のあり方を根本から変える可能性がある。例えば、複雑なエラーログの山から「特定の条件下で発生する、特定の意図を持つ例外」を抽出する際、もはや正規表現をこねくり回す必要はないかもしれない。

しかし、ここで立ち止まって考えるべきことがある。それは「ブラックボックスへの依存」だ。APIの仕様変更やモデルの挙動の変化は、我々のツールチェーンに予期せぬ破壊的変更をもたらす可能性がある。また、検索対象のログに機密情報が含まれている場合、外部APIへの送信はセキュリティポリシーとの深刻な衝突を引き起こすだろう。ローカルで完結するgrepと、クラウドの推論能力を借りるsemgrep。この二つの選択肢を、我々はプロジェクトの要件に応じてどう使い分けるべきか。あるいは、ローカルLLMを動かすことでこの問題を解決する未来がすぐそこまで来ているのではないか。

明日からあなたが取るべき実践的な処方箋は、まず小規模なログファイルに対してsemgrepを試し、その「推論の精度」を肌で感じることだ。そして、正規表現で30分かけて書いた複雑なフィルタリング条件が、自然言語のクエリ一つで解決する快感を体験してほしい。その上で、自社のセキュリティ要件と照らし合わせ、どのデータをAPIに送って良いのか、どのデータはローカルで処理すべきかの境界線を明確に引くこと。技術の進化を享受するだけでなく、そのリスクを制御するアーキテクトとしての視点を忘れてはならない。LLMがgrepを置き換える未来において、我々エンジニアが守るべき「制御の主導権」とは一体何なのか。この問いに対する答えを、日々の実装の中で見つけ出していく必要がある。