エージェントオペレーション
無料
AgentOps は、AI エージェントおよび LLM アプリケーション用の開発者プラットフォームであり、トレース、セッション リプレイ、LLM コール コスト追跡、デバッグと監査、フレームワーク統合、クラウド ダッシュボード、エンタープライズ セルフ ホスティングをカバーします。これは、プロトタイプのエージェントを、観察可能、再現可能、管理可能な運用環境に移行するのに適しています。
AgentOps
コアパラメータと統計
AgentOps は、AI エージェントおよび LLM アプリケーションの観察および開発者ツール プラットフォームとして正式に位置づけられています。公式 Web サイトでは、「信頼できる AI エージェントのトレース、デバッグ、デプロイ」をカバーすることを推奨しており、OpenAI、CrewAI、AutoGen、および 400 以上の LLM/フレームワーク エコシステムなどのエージェント フレームワークにサービスを提供していることを明確にしています。これは基本モデルのサプライヤーでも、一般的なロギング プラットフォームでもありません。コア境界はエージェント アプリケーション層にあり、LLM 呼び出し、ツール呼び出し、マルチエージェント インタラクション トークン、コスト、エラー プロンプト挿入リスク、およびセッション リプレイを再現可能なエンジニアリング証拠に整理します。
| プロジェクト | 広報 |
|---|---|
| 正式な入口 | https://www.agenttops.ai/ |
| アプリケーションポータル | https://app.agenttops.ai/ |
| オープンソース ウェアハウス | https://github.com/AgentOps-AI/agenttops |
| Python パッケージ | https://pypi.org/project/agenttops/ |
| 最新の Python SDK | 0.4.21、2025 年 8 月 29 日にリリース |
| ライセンス | GitHub リポジトリのアノテーション MIT |
| GitHub コミュニティの規模 | 約 5.6k スター、599 フォーク (GitHub API の現在の公開値) |
| コア機能 | エージェント トレース、セッション リプレイ、LLM コスト トラッキング、トークン トラッキング、デバッグ/監査、フレームワーク統合 |
| 公開価格帯 | ベーシック、プロ、エンタープライズ |
| エンタープライズ展開 | エンタープライズ層では、オンプレミス展開、セルフホスティング (AWS/GCP/Azure)、カスタム SSO、SLA などの用語が公開されます。 |
機能の境界: AgentOps は、モデル API、ベクトル データベース、またはビジネス オーケストレーション フレームワークを直接置き換えるのではなく、「エージェントの実行方法」を文書化して管理するのに適しています。 LLM を 1 回だけ呼び出す軽量スクリプトの場合、AgentOps への完全なアクセスが非常に重要であるように思えるかもしれません。複数ステップのツール呼び出し、長いリンクのタスク、オンラインのエージェント障害レビュー、およびコスト管理では、その価値がより明確になります。
ユーザーと市場の認識
開発者採用シグナル: 公式 AgentOps リポジトリでは、AI エージェントの監視、LLM コスト追跡、ベンチマーク、その他のシナリオ用の Python SDK について説明し、CrewAI、Agno、OpenAI Agents SDK、LangChain、AutoGen/AG2、CamelAI などの統合の方向性をリストしています。GitHub は現在、約 5.6k のスターと 599 個のフォークを公開しており、AI エージェントの可視範囲に入ったことを示しています。しかし、これは依然としてオープンソースへの注目の表れであり、有料顧客の数と同等ではありません。
公式 Web サイトの市場シグナル: 公式 Web サイトには、「信頼できるエージェントを構築する何千人ものエンジニアを支援する」と記載されており、最初の画面で OpenAI、CrewAI、Autogen、および 400 以上の LLM/フレームワークのエージェントの可観測性が強調されています。このステートメントは、製品が主なターゲット顧客グループとして開発者とエージェント エンジニアリング チームをターゲットにしていることを示している可能性があります。独立系有料顧客の数、年間収益、更新率、業界普及率は明らかにされていない。
生態学的立場: AgentOps のコンテキストでは、観察は従来の APM の単純な拡張ではなく、エージェント イベント、LLM イベント、ツール イベント、セッション リプレイを中心に構築された因果関係の連鎖です。モデル呼び出しログのみを表示するサプライヤー バックエンドと比較して、AgentOps は、複数エージェントの対話、ツール呼び出し、コスト、および再生を同じデバッグ パネルに入れることに重点を置いています。 LangSmith、Phoenix、Opik などの LLMOps プラットフォームと比較して、その公式 Web サイトの表現は「エージェントの可観測性」と「タイムトラベル デバッグ」により重点を置いています。
コストメリット
AgentOps のコスト構造は、個人/初期段階のプロジェクト、開発チーム/API アクセス、エンタープライズ/セルフホストの 3 つの層に分かれています。公式 Web サイトの価格セクションには、ベーシックは月額 0 ドル、5,000 イベントまでは無料であると明確に記載されています。 Pro は月額 40 ドルから始まり、従量課金制を提供します。 Enterprise はカスタムであり、SLA、カスタム SSO、オンプレミス展開、カスタム データ保持ポリシー、セルフホスティングをカバーします。
C サイド/個人開発者: Basic レイヤーの中心的な重要性は、初回アクセスのしきい値を下げることです。個々の開発者は、まず 5,000 イベントの無料割り当てを使用して、SDK 管理のリプレイ分析と LLM コスト追跡が主要なエージェント リンクをカバーできるかどうかを確認できます。隠れたコストは主に、サブスクリプション料金ではなく、コード アクセス、イベントの命名、機密フィールドの処理、再生データのクリーニングにあります。
開発者/API チーム: Pro は月額 40 ドルから始まり、公式 Web サイトには無制限のイベント制限、無制限のログ保持、セッションとイベントのエクスポート、専用の Slack と電子メールのサポート、ロールベースの権限付与が含まれています。エージェントを立ち上げている小規模チームの場合、「ログ、コスト、再生、エクスポート、権限」を 1 つの製品パスに統合することでコスト上の利点が得られ、クラウド ログ、テーブル評価、一時的なデバッグ スクリプトの間で切り替える必要性が軽減されます。
エンタープライズ/民営化シナリオ: エンタープライズは固定見積を開示していないため、公式のリアルタイム ページとビジネス契約に従う必要があります。そのコストはサブスクリプションから発生するだけでなく、セルフホスト型インフラストラクチャ、クラウド リソース、データ保持ポリシー SSO/RBAC、監査、セキュリティ評価、サポート SLA も含まれます。コンプライアンスの高いチームにとって、Enterprise の重要性は、単に書籍の最低価格を追求するのではなく、エージェントの稼働データを制御可能な環境に維持することです。
主な機能
- エージェント トレース: LLM 呼び出し、ツール呼び出し、複数エージェントの対話、および実行中のイベントを記録し、エンジニアリング チームが「出力が期待どおりにならない」問題を位置決め可能なタイムライン、入力、出力、および中間状態に分解するのに役立ちます。
- セッションのリプレイ / タイム トラベル デバッグ: 公式 Web サイトでは、エージェントの実行をリプレイできることが強調されています。スクリーンショットのセッション リプレイ パネルには、イベント タイムライン LLM イベント、モデル、期間、コスト、トークンが表示されます。この機能は、長いリンク タスクの失敗、ツール パラメータのエラー、およびコンテキスト汚染を確認するのに適しています。
- LLM コスト追跡: 公式 Web サイトでは、LLM コスト追跡 (400 以上の LLM)、トークン数、および最新の価格監視をサポートしていると公に述べられています。その役割は、モデル自体の単価を下げることではなく、どのエージェント、ツール チェーン、またはモデルの選択がコストの異常を引き起こしているのかをチームが確認できるようにすることです。
- デバッグと監査: 公式 Web サイトには、ログ、エラー、プロンプト インジェクション攻撃の完全なデータ証跡が明確に記載されており、プロトタイプから運用まで監査証跡を保持する必要があるエージェント プロジェクトに適しています。
- フレームワークの統合: README とドキュメントには、OpenAI Agents SDK、CrewAI、AG2/AutoGen、LangChain、LangGraph、LlamaIndex、LiteLLM、Anthropic、Google Generative AI、xAI などの統合ポータルがリストされており、チームがさまざまなフレームワーク用に観測適応レイヤーを作成する必要性が軽減されます。
- デコレーターとスパン システム: 公式の「llms.txt」には、セッション、エージェント、操作/タスク、ワークフロー、およびその他のデコレーターが表示されます。これらは、エージェント ワークフローの階層スパンを作成するために使用されます。この設計により、フレームワークに組み込まれていないビジネス関数をトレースに含めることができます。
- セルフホスティングとエンタープライズ展開: ドキュメントのセルフホスティング ディレクトリには、概要、バックエンド セットアップ、Docker ガイド、ネイティブ開発などのページが含まれています。公式 Web サイトのエンタープライズ層では、AWS/GCP/Azure セルフホスティング オプションも公開されています。
モデルとバージョンの進化
AgentOps自体はモデルバージョンの製品ではありません。メイン バージョン ラインは主に SDK、オープンソース ウェアハウス、クラウド プラットフォームの機能に反映されています。安定して検証できる現在のバージョン ラインは、GitHub リリース、PyPI および pyproject.toml からのもので、3 つすべてが Python SDK 0.4.21 を指します。
AgentOps SDK メインライン
0.4.21 (2025-08-29): このバージョンは、GitHub リリースと PyPI の両方で公開されています。リリース レコードには、OSS dist 同期、新しいスクリーンショット、ライブラリ ファイルのリカバリなどが含まれており、現在の Python SDK アクセスのベースライン バージョンとして使用できます。
0.4.20 (2025-08-15): 以前のバージョンのリリース記録には、OSS リリースに埋め込まれたドキュメントビデオとバックエンド操作手順の更新が含まれており、チームがドキュメント、オープンソース配布、およびローカル操作パスの維持を継続していることを示しています。
0.4.19 (2025-08-01): 以前のバージョンのリリース レコードには、OpenAI Responses API テスト、サンプル ドキュメントの更新、AG2 移行関連の変更が含まれており、新しい Agent/LLM SDK エコシステムに対する AgentOps のフォローアップを反映しています。
AgentOps の製品形態の進化
README の「2 行のコードでセッションをリプレイ」から、v2 ドキュメントのトレース、スパン、デコレーター、TypeScript SDK、およびセルフホスティング ディレクトリに至るまで、AgentOps の進化の方向性は、単純な SDK 管理からより完全なエージェント監視システムに拡張することです。 SDK バージョンを運用環境で使用する場合は、SDK バージョンを修正する必要があります。まず、ステージングでのイベント構造、機密フィールドの処理、およびコスト調整を検証してから、コア エージェント サービスに昇格する必要があります。
技術的な利点
少量のコード アクセス: README に記載されているクイック スタートは、pip install Agentops、agentops.init()、および agentops.end_session('Success') です。機械的には、SDK と統合フレームワークを通じて LLM/エージェント イベントを自動的にキャプチャします。その結果、初期のチームは複雑な可観測性パイプラインを構築する必要がなくなります。該当するシナリオは、PoC、プロトタイプ エージェント、および迅速なレビューが必要な開発状況です。
スパン レベルはエージェント プロセスを表します: 公式ドキュメントと「llms.txt」には、セッション、エージェント、操作/タスク、ワークフロー、その他のデコレータが表示されます。機械的には、エージェントの実行を親子スパンに分割します。その効果は、「ツール呼び出しのどのステップ、どのプロンプト、またはどのモデルの応答」が最終結果に影響を与えるかを特定することです。適用可能なシナリオは、マルチツール呼び出し、マルチエージェントコラボレーション、および非同期ワークフローです。
同じ画面上のコストと品質の証拠: AgentOps スクリーンショットの LLM イベントには、モデル、期間、コスト、トークン、プロンプト コンテンツが同時に表示されます。コスト指標を請求レベルで単に要約するのではなく、機械的に特定のイベントにバインドします。その結果、チームは「なぜ高価なのか」と「なぜ失敗したのか」を同じ再生リンクに入れて分析できるようになります。該当するシナリオは、頻繁に使用する顧客サービス エージェント、リサーチ エージェント、コード エージェント、および社内の企業ナレッジ アシスタントです。
フレームワークの範囲: AgentOps の公式資料は、OpenAI、CrewAI、AutoGen/AG2、LangChain、およびその他のエコシステムをカバーしています。機械的には、異なるエージェント フレームワークの管理の違いが軽減されます。その結果、プラットフォーム チームはより一貫性のあるイベント モデルを使用して複数のプロジェクトを管理できるようになります。該当するシナリオは、組織内で複数のエージェント フレームワークが同時にテストされる段階です。
使い方
| 使用パス | 入口 | 一般的な手順 | 適応シナリオ |
|---|---|---|---|
| Python SDK クイック アクセス | PyPI / GitHub の README | agentopsをインストール -> APIキーを取得 -> プログラムエントリでagentops.init()を呼び出す -> エージェントを実行 -> ダッシュボードでセッションを表示 |
個人開発者の PoC、小規模エージェント サービス |
| フレームワークの統合 | docs.agenttops.ai/v2/integrations | CrewAI、AG2、OpenAI Agents、LangChain などの統合ページを選択します。 -> コンテキスト変数/API キーを設定します。 -> サンプルを実行します。 -> トレースが完了したかどうかを確認します。既存のエージェント フレームワーク プロジェクト | |
| カスタム スパン/デコレータ | v2 の概念/使用法に関するドキュメント | セッション、エージェント、オペレーション/タスク、ワークフロー デコレーターを使用してビジネス機能に注釈を付ける -> スパン レベルと入出力レコードを確認する | 複雑なワークフロー、非標準フレームワーク、自社開発エージェント |
| エンタープライズセルフホスティング | v2 セルフホスティング ドキュメント / エンタープライズ ビジネス | エンタープライズ条件を確認 -> AWS/GCP/Azure またはオンプレミスを評価 -> バックエンドとデータベースをデプロイ -> アクセス許可、保持ポリシー、監査を構成 | データ境界、コンプライアンス、セキュリティ要件が高い組織 |
最小ランディング パス: まず、リサーチ アシスタント、顧客サービスの転送、セールス リードの処理、コード エージェントなど、価値の高いエージェント リンクを選択します。最初の段階では、イベント カバレッジと障害回復時間を検証するために、トレースとリプレイのみが接続されます。第 2 段階では、コスト追跡とトークン指標が追加されます。第 3 段階では、権限、エクスポート、保持ポリシー、およびエンタープライズ展開が管理に含まれます。
製品の価格設定
AgentOps 公式 Web サイトでは、Basic、Pro、Enterprise の 3 つの層が公開されています。具体的な割り当てと条件、特にイベントの請求、エクスポート、保持期間、エンタープライズ セキュリティ条件は、引き続き公式リアルタイム ページに基づく必要があります。
| 計画 | 公開価格 | 開示された機能 | 一般的な配置 | |
|---|---|---|---|---|
| 基本 | $0/月 | 最大 5,000 のイベントを無料で利用可能。エージェントに依存しない SDK。 LLM コスト追跡 (400 以上の LLM)。リプレイ分析 | 個人向け、初期 PoC、無料検証 | |
| プロ | 月額 40 ドルから | 従量課金制。無制限のイベント制限。無制限のログ保持。セッション/イベントのエクスポート。 Slack/電子メールのサポート。役割ベースの権限付与 | Agent | を立ち上げているチーム |
| エンタープライズ | カスタム | SLA;スラックコネクト;カスタム SSO。オンプレミス展開。カスタムデータ保持ポリシー。セルフホスティング (AWS/GCP/Azure)。 SOC-2、HIPAA、NIST AI RMF | エンタープライズセキュリティ、コンプライアンス、セルフホスティング、大規模なガバナンス |
請求範囲: AgentOps の公開価格は、基礎となる LLM 推論コストと同等ではありません。モデルの呼び出しコストは、OpenAI、Anthropic、Google、Mistral などのモデル ベンダーまたはクラウド プラットフォームによって引き続き個別に請求されます。 AgentOps は主に、これらのコストの記録、帰属、ガバナンスを担当します。正式に購入する前に、イベントの規模、チーム シート、ログの保持、輸出許可 SSO、SLA、セルフホスト リソース、およびデータ処理条件を確認する必要があります。
アプリケーションのシナリオ
- プロダクション エージェントの障害レビュー: マルチステップ エージェントが誤ったツール呼び出し、長い遅延、異常なコスト、または不安定な出力に遭遇した場合、セッション リプレイはタイムラインに従ってイベントを復元し、チームがモデル選択、ツール パラメーター、コンテキスト プロンプト、または外部サービスの問題を特定するのに役立ちます。
- LLM コスト管理: 頻繁に電話を受けるカスタマー サービス、調査、販売、コード エージェントの場合、コスト追跡とトークン カウントにより高コスト ノードを特定し、モデル プロンプト、ツール呼び出し時間、再試行戦略の比較に役立ちます。
- エージェントのリリース前検証: ステージングが AgentOps に接続された後、チームはテスト サンプル、障害追跡、および主要な指標を記録して、デモンストレーション効果のみに基づいて複雑なエージェントを起動することを回避できます。
- セキュリティと監査: 公式 Web サイトでは、プロンプト インジェクション攻撃のデータ証跡について明確に言及されています。内部ナレッジ ベース、顧客データ、またはコンプライアンス テキストを処理するエージェントの場合、完全なイベント トレースはリスクの入力と出力を確認するのに役立ちます。
- マルチフレームワーク プラットフォーム ガバナンス: 企業が CrewAI、OpenAI Agents、LangChain、AG2 などのフレームワークを同時にテストする場合、AgentOps を統合監視レイヤーとして使用することで、各ビジネス ラインで独自に構築した監視スクリプトの必要性を減らすことができます。
該当する人
- AI エージェント開発者: エージェントが各ステップで何をしたか、モデルのコスト、どのノードで障害が発生したかをすぐに知る必要があります。前提条件は、SDK またはフレームワークをコードに統合する意欲があることです。
- プラットフォーム エンジニアリング/LLMOps チーム: 複数のエージェント プロジェクトに統合トレース、コスト追跡、イベント エクスポート、権限管理を提供する必要があります。前提条件は、組織にすでに複数のエージェント プロジェクトがあるか、明確な運用計画があることです。
- 製品および品質チーム: 単一の手動エクスペリエンスだけを調べるのではなく、オンラインの障害サンプル、リプレイ証拠、品質指標をリリース プロセスに含める必要があります。
- エンタープライズ セキュリティおよびコンプライアンス チーム: セルフホスト型 SSO、ログ保存、SOC-2/HIPAA/NIST AI RMF の監査などに重点を置きます。このグループは、エンタープライズ契約、データ領域、保存ポリシー、および内部セキュリティ要件の検証を優先する必要があります。
境界には適していません: 1 回限りのデモ、長期的なオンライン計画のない個人的なスクリプト、モデル サプライヤーの基本的なログを表示するだけでよいプロジェクトは、短期的には AgentOps の完全な価値を反映できない可能性があります。チームが主要なエージェント リンク、イベントの命名規則、機密情報の処理方法を定義していない場合、直接大規模なアクセスによってノイズの多いデータが生成されやすくなります。
概要と展望
AgentOps の中核となる価値は、エージェント アプリケーションの「実行中の証拠」を再生可能な開発者プラットフォームに一元化することです。つまり、手順を確認するためのトレース、プロセスを復元するための再生、コストを説明するためのコスト追跡、リスクの手がかりを保持するためのデバッグ/監査、およびアクセスしきい値を下げるためのフレームワーク統合です。これは、エージェントのプロトタイプから準実稼働または実稼働段階に移行したチームに最適です。そのようなチームが実際に解決する必要があるのは、品質が安定しているかどうか、障害が再現可能かどうか、コストが制御可能かどうか、およびデータが監査可能かどうかであるためです。
現在の制限と不確実性には主に 4 つのカテゴリがあります。1 つは、エンタープライズ見積もりの SLA、SSO、セルフホスティング、およびデータ保持の詳細についてはビジネス上の確認が必要です。第二に、独立系有料顧客の数、収益、維持率、業界分布は開示されていません。第三に、AgentOps の効果はイベント管理の品質に依存します。チームに明確なスパン構造と機密性の高いフィールド管理がなければ、再生データの維持が困難になります。第 4 に、基礎となるモデル コストはモデル サプライヤーである AgentOps によって別途請求されます。これは観察と特定に役立つだけであり、モデル コスト最適化戦略に代わるものではありません。
実装に関する提案は、最初に 1 ~ 2 つの高価値エージェント リンクを試験運用して、トレース カバレッジ、平均レビュー時間、障害再発率、単一タスクのコスト、および異常イベント率を定量化することです。これらの指標が安定してリリース プロセスに入ることができれば、複数のプロジェクト、権限管理、エクスポート、長期保存、エンタープライズ セルフ ホスティングに拡張できます。正式に購入する前に、公式 Web サイトの価格、イベント課金の規模、データ処理条件、ログ保持 SSO/RBAC、SLA、セルフホステッド環境、SDK の最新バージョンの互換性を確認する必要があります。
関連ツール: github-copilot、cursor
バージョン情報
- AgentOps Python SDK 0.4.21 :Python SDK の最新バージョンは、GitHub Releases と PyPI の両方で公開されています。リリース レコードには、OSS dist 同期、新しいスクリーンショット、ライブラリ ファイルのリカバリなどの更新が含まれています。
- AgentOps Python SDK 0.4.20 :GitHub Releases は公開プレリリース バージョンであり、リリース レコードには、OSS リリースに埋め込まれたドキュメント ビデオとバックエンド操作手順の更新が含まれています。
- AgentOps Python SDK 0.4.19 :GitHub Releases は公開プレリリース バージョンです。リリース レコードには、OpenAI Responses API のテスト、サンプル ドキュメントの更新、AG2 移行関連の変更が含まれています。
ユーザーレビュー