过去两年，人工智能领域的大部分噪音都集中在模型竞赛上——谁的模型更大、更快或在基准测试中得分更高。但随着人工智能从试点项目进入产品和工作流程的核心，云计算早期的一个熟悉模式正在重新出现：系统比以往任何时候都更可编程，但也更难运行。这意味着我们现在知道人工智能中最重要的竞争正在转移：从谁拥有“最好”的模型转向谁能可靠、高效和安全地大规模运营人工智能。
从数千个生产系统的真实世界遥测数据来看，一个清晰的画面开始形成。一旦应用程序达到规模，近二十分之一的人工智能请求会失败，而这些失败中的大多数现在源于容量限制，如速率限制、配额和并发上限，而不是模型错误或准确性差。这与大多数团队过去痴迷的基准图表截然不同。每个请求发送的数据量也在攀升。在许多生产环境中，普通用户的令牌使用量增加了一倍以上，而重度用户的用量则增长了数倍。这种增长既是更雄心勃勃的人工智能用例的症状，也是成本和IT基础设施压力的直接驱动因素。
在亚太地区，尤其是东盟，我们目前正看到结构性压力：人工智能采用正在加速，但运营成熟度参差不齐。新加坡在治理和可观测性方面走得更远，部分原因是监管期望和更成熟的云环境。与此同时，印度尼西亚、马来西亚和泰国等市场在部署方面进展迅速，通常将人工智能推向面向客户的服务，而运营实践则滞后。随着这些市场的组织推出多模型和基于代理的架构，他们遇到了可靠性问题、有限的可见性和不一致的模型性能。
随着人工智能的演变类似于云计算的早期，好消息是我们至少可以预测事情的发展方向。现在，人工智能领导者应该问的问题是：哪些学科能够区分最能应对这种复杂性的团队？在我看来，人工智能团队需要采用四个学科才能实现可持续成功：建立可见性和归因、实施控制和护栏、在扩大供应之前优化GPU利用率，以及管理成本和优化。
你无法运营你看不到的东西，人工智能也不例外。团队需要看到GPU小时和令牌如何映射到特定的应用程序、团队和用例，以便将使用情况与延迟、错误率和用户影响联系起来。没有护栏，人工智能系统会消耗你给它们的任何容量。实际控制包括速率限制和预算上限，以及对代理行为的保障措施，以防止无限制的重试、循环和边界不清的工作流程耗尽共享资源。大多数团队在真正遇到利用率问题时才会寻求更多GPU。GPU实例已经占据了计算成本的很大一部分，随着组织深入大规模训练和推理，这一比例只会增长。我们在云计算早期学到的是，在这些情况下，过度配置成为最安全的默认选择——但即使存在闲置容量，支出也会膨胀。
询问这条新闻
回答由AI仅根据本新闻生成。