OneRouter: 世界初のエージェント型LLMルーター

大規模言語モデルの普及は、企業にとって重要な課題を提示しています。それは、異なるモデルプロバイダ全体でコスト効率、レイテンシ、およびパフォーマンスの最適化です。この複雑さは、異なるモデル、ツールの使用といった高度な機能、キャッシュ管理などの運用上の懸念、外部ツール呼び出しを含むエージェントクエリの進化の多様性によってさらに増大します。

OneRouterは、伝統的なゲートウェイ機能（認証、クォータ、レート制限）を超えて運用する統一ルーティングレイヤーを提供することでこれに対応します。クエリの意味、企業レベルの履歴パターン、リアルタイムのモデル動態を分析し、コスト、パフォーマンス、地域、レイテンシなどのために最適なモデル選択を継続的に推奨する、世界初のインテリジェントなエージェント層を導入します。

エンタープライズLLMルーティングの複雑性

エンタープライズLLMの展開は、API呼び出しのルーティングを超えています。これは、ゲートウェイインフラストラクチャ、ワークフローディペンデンシー、コスト最適化戦略、およびツール強化されたエージェントリクエストの増大する複雑さを管理する必要があります。

従来のゲートウェイ要件

LLMルーティングは、基本的なゲートウェイ機能から始まります。認証、クォータ、レート制限です。OneRouterは、これらのコア機能を最適化するためにかなりの投資を行い、企業クライアントに対して99.9%のアップタイムと初期2000 RPMを達成しました。

高度なコスト管理

効果的なコスト最適化は、モデルの価格設定を超えます。LLMキャッシュヒットは、リクエストごとの費用を最大90%削減できる可能性がありますが、プロンプトキャッシングポリシー、トークン価格帯、地域の可用性などの要因がルーティングの決定をさらに複雑にします。インテリジェントなルーティングは、最適なコストパフォーマンス比を達成するためにこれらの変数を統合しなければなりません。

ワークフローレベルの依存関係

現代の企業は、n8n [1]のようなプラットフォームを使用して、複雑なワークフロー内でLLMを展開します。これらのワークフロー内の各ノードは、厳格な出力形式要件を持つマルチターン会話を含む場合があります。一つのノードでの最適でないルーティング決定は、下流でエラーを伝播させ、依存するノードを通じて全体のワークフローパフォーマンスを低下させる可能性があります。

LLMクエリの複雑性の増加

現代のLLMクエリは、単純なテキスト生成をはるかに超えています。エージェントリクエストは、ウェブ検索のような広範なツール呼び出しを含むようになりました。OneRouterは、これらのツールの一部に対してネイティブサポートを構築しており、統合された検索エンジンAPI [2]を含んでいます。私たちは、これらの外部ツールを持つLLMの数が増えていることを観察しました。さらに、企業は、そのワークフローに特有のますます複雑なマルチステップツールオーケストレーションに関して、非常に異なるクエリパターンを示します。

OneRouter: エージェントルーティングアーキテクチャ

これらの課題に対処するため、私たちは、エンタープライズの複雑さに対処するインテリジェントなエージェント層を通じて、最初のエージェントLLMルーターであるOneRouterを提案します。

全体のアーキテクチャは、以下に示されています：

クエリ分析と理解

OneRouterの基盤は、ユーザークエリの要件と意味を理解することにあります。クエリの意図、複雑性、文脈、パフォーマンス制約（コスト、レイテンシ）を分析することにより、ルーターは各リクエストが求めているものに関する包括的な理解を構築します。

エンタープライズ固有の学習とパーソナライズ

各エンタープライズは、そのユニークなエージェントとLLMワークフローによって形成された非常に異なる使用パターンを示します。

この多様性に対応するために、OneRouterは各エンタープライズのワークフローパターンと履歴使用（明示的なユーザーの許可を得て）を分析し適応する学習レイヤーを組み込みます。この学習したコンテキストは、ワークフローの複雑性、履歴パフォーマンス、およびエンタープライズ固有の要件を考慮に入れることで、各ルーティング決定を豊かにします。

モデル市場のダイナミクス

LLMの風景は急速に進化しており、新しいモデルが月単位または週単位で登場し、頻繁な価格変更、機能更新、地域の可用性の変動が続いています。

OneRouterは、この課題に対処するために、常にモデル市場を監視し、新しいプロバイダーを迅速にオンボーディングします。現在、40以上のプロバイダーを統合し、市場のダイナミクスをリアルタイムで把握するための専門ツールを開発しました。

Reactベースのエージェントアーキテクチャ

従来のルーティングはLLMを決定論的なサービスとして扱い、固定ルールやシンプルな分類モデルに基づく静的決定を行います。しかし、現代のLLM展開には、複雑なトレードオフを動的に評価できる推論能力を持つルーターが必要です。これには、単なるトラフィックコントロールではなく、インテリジェンス制御プレーンとしてルーティングを行うという根本的に異なるアプローチが求められます。

推論と行動を言語モデルで結びつけるReActフレームワーク [3] に触発されたOneRouterは、このパラダイムをインテリジェントなルーティング決定に実装します。

OneRouterは、「最初に考え、次に行動し、その後決定する」というReActベースのアーキテクチャを採用しています。モデル選択にコミットする前に、ルーターは次のことができます：

• クエリの意味と理解要件を分析する

• より詳細なパーソナライズ推奨のために学習したエンタープライズレベルのパターンから関連するコンテキストを取得する

• 専門ツールを介してリアルタイムのモデル市場のダイナミクス（レイテンシ、価格、地域の可用性）をクエリする

この推論駆動のアプローチにより、ルーターは静的分類器が処理できない複雑で多次元のトレードオフを合成することができます。時間に敏感なワークフローのためにコストとレイテンシをバランスさせ、エンタープライズ固有の履歴パターンを取り入れ、リアルタイムの市場ダイナミクスに適応します。ルーティングを分類問題としてではなく、推論タスクとして扱うことで、OneRouterは、ルーティングの決定を一度限りの検索からエンタープライズの使用パターンからの集団知能を構築する継続的な学習プロセスに変革します。

反省と自己改善

Reflexionフレームワーク [4] からのインスピレーションを受けて、OneRouterのルーティング決定は、実行後に自動的に評価され、異なるメトリクスやパフォーマンスの結果がキャプチャされます。これらの評価結果は保存され、将来の決定のためのエージェントルーターに利用可能にされます。これにより、ルーターが自らの成功と失敗から学び、時間をかけて推論プロセスを洗練し、進化するエンタープライズの要件に適応する持続的な反省ループが作成されます。

実験評価

OneRouterの効果を検証するために、私たちは多様なエンタープライズユースケースにわたる3,000の実世界のクエリに対して実験を実施しました。各クエリは、OneRouterによって推奨されたモデルにルーティングされ、その出力は、五つの次元（事実性、関連性、流暢さ、完全性、安全性）にわたってベースラインモデルの選択と比較されました。

結果

ルーティング決定は、品質を維持しながら強力なコストパフォーマンスの最適化を示しました：

• 10.7% のルーティングされたモデルは、ベースラインとほぼ同等のパフォーマンスを達成しました

• 46.7% のルーティングされたモデルは、ベースラインと比較して優れたパフォーマンスを発揮しました

• 42.6% のルーティングされたモデルは、パフォーマンスがわずかに低下しましたが、低下幅は10%未満でした

その間に、入力トークンコストは約50%、出力トークンコストは約65%削減され、品質を保持しながら大幅な経済的利益を示しました。

参考文献

[1] n8n - ワークフロー自動化プラットフォーム。 https://n8n.io/
[2] OneRouter検索エンジンAPI。 https://docs.onerouter.pro/api-reference/search-engine-api
[3] ReAct: 言語モデルにおける推論と行動の統合。 https://arxiv.org/abs/2210.03629
[4] Reflexion: 言語エージェントのための言葉による強化学習。 https://arxiv.org/abs/2303.11366