ИИ напоминает ранние дни облачных вычислений: настоящая гонка — в операционной эффективности

За последние два года основное внимание в области искусственного интеллекта было сосредоточено на гонке моделей — чья модель больше, быстрее или лучше показывает себя в тестах. Однако по мере того, как ИИ переходит от пилотных проектов к ядру продуктов и рабочих процессов, возникает знакомая картина из ранних дней облачных вычислений: системы стали более программируемыми, но их стало гораздо сложнее эксплуатировать. Это означает, что самое важное соревнование в ИИ смещается: от того, у кого «лучшая» модель, к тому, кто может надежно, эффективно и безопасно управлять ИИ в масштабе.

При анализе реальной телеметрии тысяч производственных систем становится ясно, что почти каждый 20-й запрос ИИ завершается сбоем при достижении масштаба, и большинство этих сбоев связано с ограничениями пропускной способности, такими как лимиты скорости, квоты и ограничения параллелизма, а не с ошибками модели или низкой точностью. Это сильно отличается от графиков тестов, которыми раньше увлекались команды. Объем данных, отправляемых на запрос, также растет: медианные пользователи удвоили использование токенов, а тяжелые пользователи увеличили объемы в несколько раз. Этот рост является как симптомом более амбициозных сценариев использования ИИ, так и прямой причиной роста затрат и нагрузки на ИТ-инфраструктуру.

Наиболее ярко это влияние проявляется в том, что многие команды теперь называют «расползанием GPU»: фрагментированные парки, разбросанные по облакам и локальным кластерам. Некоторые GPU простаивают, в то время как другие постоянно насыщены, и существует очень слабая корреляция между тем, где тратятся часы GPU и где они создают бизнес-ценность. Результат знаком каждому, кто пережил раннее внедрение облачных вычислений: неконтролируемые расходы, непредсказуемая производительность и кризисы пропускной способности, возникающие из ниоткуда.

В Азиатско-Тихоокеанском регионе, особенно в АСЕАН, наблюдаются структурные проблемы: внедрение ИИ ускоряется, но операционная зрелость неравномерна. Сингапур продвинулся в вопросах управления и наблюдательности, отчасти благодаря регуляторным ожиданиям и более зрелой облачной среде. В то же время такие рынки, как Индонезия, Малайзия и Таиланд, быстро внедряют ИИ, часто в клиентские сервисы, в то время как операционные практики отстают. Организации сталкиваются с проблемами надежности, ограниченной видимости и нестабильной производительности моделей. Использование токенов быстро растет, но методы оптимизации, такие как кэширование промптов и инженерия контекста, используются недостаточно.

Чтобы добиться устойчивого успеха, командам ИИ необходимо освоить четыре операционные дисциплины. Первая — установить видимость и атрибуцию: необходимо видеть, как часы GPU и токены соотносятся с конкретными приложениями, командами и сценариями использования, чтобы связать использование с задержкой, частотой ошибок и влиянием на пользователей. Вторая — внедрить контроль и ограничения: без них системы ИИ будут потреблять столько ресурсов, сколько им дадут. Практические меры включают лимиты скорости, бюджетные ограничения и защиту от бесконечных повторных попыток. Третья — оптимизировать использование GPU перед масштабированием поставок: большинство команд тянутся к большему количеству GPU, когда на самом деле у них проблема с использованием. Четвертая — внедрить финансовую дисциплину, аналогичную FinOps для облака, чтобы управлять затратами на ИИ. Эти дисциплины помогут командам справиться со сложностью и избежать долгов по эксплуатации и затратам.