過去2年間、AIに関する話題のほとんどはモデル競争に集中してきました。つまり、誰のモデルがより大きく、より速く、ベンチマークでより良いスコアを出すかということです。しかし、AIがパイロット段階から製品やワークフローの中核へと移行するにつれて、クラウドコンピューティングの初期の頃に見られたパターンが再び現れています。システムはこれまで以上にプログラム可能になっていますが、運用ははるかに困難になっています。これは、AIにおける最も重要な競争が、「最高の」モデルを持つことから、AIを大規模に信頼性高く、効率的かつ安全に運用できることへとシフトしていることを意味します。
数千の本番システムからの実際のテレメトリを分析すると、明確な状況が見えてきます。アプリケーションがスケールに達すると、AIリクエストの約20件に1件が失敗し、その失敗の大部分は、モデルのバグや精度の低さではなく、レート制限、クォータ、同時実行制限などの容量制限に起因しています。これは、ほとんどのチームがかつて熱中していたベンチマークチャートとはまったく異なる話です。リクエストごとに送信されるデータ量も増加しており、中央値のユーザーはトークン使用量を2倍以上に増やし、ヘビーユーザーは数倍に増やしています。この成長は、より野心的なAIユースケースの症状であると同時に、コストとITインフラストラクチャへの負担の直接的な原因でもあります。
その影響は、多くのチームがGPUスプロールと呼ぶ現象に最も明確に現れています。つまり、クラウドとオンプレミスクラスターに分散した断片化されたフリートです。一部のGPUはアイドル状態である一方、他のGPUは常に飽和状態であり、GPU時間が費やされる場所とビジネス価値を生み出す場所との間にはほとんど相関関係がありません。結果は、クラウドコンピューティングの初期導入を経験した人にはおなじみのものです。つまり、制御不能な支出、予測不可能なパフォーマンス、そしてどこからともなく現れる容量危機です。
アジア太平洋地域、特にASEANでは、現在構造的な圧力が見られます。AI導入は加速していますが、運用の成熟度は不均一です。シンガポールは、規制上の期待とより成熟したクラウド環境に後押しされ、ガバナンスと可観測性においてさらに進んでいます。一方、インドネシア、マレーシア、タイなどの市場は、導入において非常に急速に進んでおり、運用慣行が追いつかないうちに、AIを顧客向けサービスに押し込むことがよくあります。これらの市場の組織は、マルチモデルおよびエージェントベースのアーキテクチャを展開するにつれて、信頼性の問題、限られた可視性、一貫性のないモデルパフォーマンスに直面しています。トークンの使用量は急速に増加していますが、プロンプトキャッシングやコンテキストエンジニアリングなどの最適化手法は十分に活用されていません。
持続可能な成功を収めるために、AIチームは4つの運用分野を習得する必要があります。1つ目は、可視性と属性の確立です。GPU時間とトークンが特定のアプリケーション、チーム、ユースケースにどのようにマッピングされるかを確認し、その使用状況をレイテンシ、エラー率、ユーザーへの影響に関連付ける必要があります。2つ目は、制御とガードレールの実施です。これらがなければ、AIシステムは与えられただけの容量を消費します。実用的な制御には、レート制限、予算上限、無限の再試行やループを防ぐエージェント動作の保護が含まれます。3つ目は、供給を拡大する前にGPU使用率を最適化することです。ほとんどのチームは、実際には使用率の問題を抱えているときに、より多くのGPUに手を伸ばします。4つ目は、クラウドのFinOpsに似た財務規律を採用してAIコストを管理することです。これらの分野は、チームが複雑さに対処し、運用上およびコスト上の負債を回避するのに役立ちます。
この記事について質問
回答はこの記事のみからAIが生成します。