高い同時実行数
トラフィックのピーク時にも、より多くのタスクを同時送信できます。
高い同時実行数、複数プロバイダー間のフェイルオーバー、実際の利用状況に合わせた商用条件を必要とするチーム向けの本番 API レイヤーです。
カスタム料金
モデル構成とトラフィック特性に合わせたボリュームベースの条件です。
エンタープライズ分析
推定コスト
$42.8k
−8.4%
成功タスク
12.4m
+14.2%
キュー時間中央値
820ms
−18.6%
トラフィックのピーク時にも、より多くのタスクを同時送信できます。
空き容量の多いプロバイダーへ優先的にルーティングします。
利用可能な容量に応じて待ち時間をできるだけ短縮します。
混雑時には別のプロバイダーへ自動で切り替えます。
ローンチや継続的な大規模利用に向けて容量を確保します。
エンタープライズ API で最大 99.9% の可用性目標を提供します。
リアルタイム容量
稼働中ワーカー
86
本日 +24
GPU 使用率
78%
正常
ウォーム容量
12
準備完了
GPU クラスターを管理せずに、独自の推論サービスをデプロイできます。ワークロードに合った実行環境、スケーリング方針、容量プロファイルを選択できます。
アイドル時は縮小し、トラフィック到来時はすばやく拡張します。
各ワークロードに適した GPU クラスを選べます。
独自のランタイム、依存関係、モデルスタックを利用できます。
低レイテンシが重要な場合にワーカーを待機させます。
稼働中の計算資源に対して、企業向けボリューム条件で支払います。
稼働状況、使用率、障害を一つの画面で確認できます。
大規模な重みをデプロイ間でも計算資源の近くに保持します。
ローンチや安定需要に備えて保護された容量を確保します。
利用モデル、想定ボリューム、ローンチ予定をお知らせください。1〜2営業日以内にご連絡します。