概要
OrcaRouter AI は、LLM とのやり取りを統合・ガバナンス・最適化するために設計された包括的な AI ゲートウェイです。OpenAI 互換の単一エンドポイントとして機能し、200+ を超える AI モデルに対してインテリジェントなルーティング、可観測性、セキュリティを提供します。すべてのプロンプトをリアルタイムで評価することで、OrcaRouter はリクエストを最も効率的なモデルへルーティングし、フロンティア品質のパフォーマンスを維持しながら運用コストを大幅に削減できるよう支援します。
主な目的とターゲットユーザー
OrcaRouter AI の主目的は、適応型ルーティングと自動ガバナンスによりベンダーロックインを解消し、AI インフラコストを最適化することです。以下のユーザー向けに構築されています。
- ソフトウェアエンジニア / AI 開発者: 既存 SDK を変更せずに、複数の LLM プロバイダーを管理できるドロップインソリューションが必要。
- エンタープライズチーム: AI エージェント向けに、集中管理、コストの透明性、セキュリティガードレールを求める。
- プロダクトマネージャー: 高品質な AI 応答を維持しつつ、トークン支出を予測可能で透明性の高い形に保ちたい。
機能詳細とオペレーション
- 適応型 AI ルーティング: プロンプトを自動評価し、コスト・レイテンシ・品質要件に基づいて最適なモデル（フロンティアまたはオープンソース）へルーティングします。
- 自動フェイルオーバー: プロバイダーの稼働状況をリアルタイムで監視し、レート制限やダウンタイムが発生した場合は、リクエストを即座に健全なモデルへ再ルーティングします。
- エージェント・ファイアウォール & ガードレール: 課金前に PII 保護とコンテンツポリシーを適用し、ブロックされたリクエストは課金されないことを保証します。
- プロンプト管理: コードの再デプロイなしで、プロンプトのバージョニング、A/B テスト、即時ロールバックを可能にします。
- 可観測性 & ロギング: コスト、モデル選択、レイテンシ、障害分析を含む、すべてのリクエストの完全な構造化ログを提供し、実行可能な cURL コマンドとしてエクスポートできます。
- プログラマブル・ルーティング: 複雑なロジック向けに YAML ベースのルーティングルールを提供し、タスククラスごとの挙動を開発者が定義できます。
ユーザーベネフィット
- トークン上乗せゼロ: ユーザーはプロバイダーへ公開レートで直接支払い、OrcaRouter はトークンあたり $0 を追加するため、コストの透明性が完全に担保されます。
- コスト効率: インテリジェントなモデル選定と効率的なキャッシュ戦略により、AI 支出を最大 40% 削減します。
- 運用レジリエンス: 50ms 未満のフェイルオーバーにより、上流プロバイダー障害によるサービス中断を解消します。
- 統合の簡素化: LangChain、LlamaIndex、OpenAI SDK など既存ツールと、base URL を変更するだけでシームレスに動作します。
- セキュリティ強化: 課金前ガードレールと、エージェント型ワークフロー向けの異常検知により、機微データを保護します。
互換性とインテグレーション
- SDK 対応: OpenAI、Anthropic、Google GenAI、LangChain、LlamaIndex、Vercel AI SDK と完全互換です。
- フレームワーク: Cursor、OpenCode、Promptfoo などと統合できます。
- MCP 対応: エージェントをゲートウェイへ直接接続するための OrcaRouter MCP サーバーを提供します。
- デプロイ: クラウド利用に加え、厳格なデータ主権を求めるエンタープライズ向けにプライベート / オンプレミス導入にも対応します。
アクセスと有効化方法
- クイックスタート: GitHub からサインアップし、60 秒未満で API キーを取得できます。
- 実装: 既存の OpenAI 互換クライアントの
base_urlをhttps://api.orcarouter.ai/v1に更新するだけです。 - 料金プラン: 「Hacker」プラン（永久無料・上乗せゼロ）、「Team」プラン（コラボ機能）、「Enterprise」プラン（カスタム SLA と専用インフラ）を提供。開始にクレジットカードは不要です。
