지난 2년 동안 AI에 대한 대부분의 소음은 모델 경쟁, 즉 누구의 모델이 더 크고, 빠르며, 벤치마크에서 더 나은 점수를 받는지에 집중되어 왔습니다. 그러나 AI가 파일럿에서 제품과 워크플로의 핵심으로 이동함에 따라 클라우드 초기 시절의 익숙한 패턴이 다시 나타나고 있습니다. 시스템은 그 어느 때보다 프로그래밍 가능하지만, 실행하기는 훨씬 더 어려워졌습니다. 그리고 이는 AI에서 가장 중요한 경쟁이 어디로 이동하고 있는지를 보여줍니다. 즉, '최고'의 모델을 가진 사람에서 AI를 안정적이고 효율적이며 안전하게 대규모로 운영할 수 있는 사람으로 말입니다.
수천 개의 프로덕션 시스템에서 얻은 실제 원격 측정 데이터를 살펴보면 명확한 그림이 형성되기 시작합니다. 애플리케이션이 규모에 도달하면 AI 요청 20개 중 거의 1개가 실패하며, 이러한 실패의 대부분은 이제 모델 버그나 정확도 저하가 아니라 속도 제한, 할당량 및 동시성 제한과 같은 용량 한계에서 비롯됩니다. 이는 대부분의 팀이 집착하던 벤치마크 차트와는 매우 다른 이야기입니다. 요청당 전송되는 데이터 양도 증가하고 있습니다. 많은 프로덕션 환경에서 중간 사용자는 토큰 사용량을 두 배 이상 늘린 반면, 헤비 사용자는 볼륨이 몇 배로 증가했습니다. 이러한 성장은 더 야심찬 AI 사용 사례의 증상이자 비용 및 IT 인프라 스트레스의 직접적인 동인입니다.
영향은 많은 팀이 현재 GPU 스프롤이라고 설명하는 것에서 가장 명확하게 드러납니다. 클라우드와 온프레미스 클러스터에 분산된 파편화된 플릿입니다. 일부 GPU는 유휴 상태인 반면 다른 GPU는 지속적으로 포화 상태이며, GPU 시간이 소비되는 위치와 비즈니스 가치를 창출하는 위치 사이에는 거의 상관관계가 없습니다. 그 결과는 클라우드 컴퓨팅의 초기 채택을 경험한 사람이라면 누구에게나 익숙합니다. 통제 불능의 지출, 예측 불가능한 성능, 그리고 갑자기 나타나는 용량 위기입니다.
아시아 태평양 전역, 특히 ASEAN에서 우리는 현재 구조적 압력을 목격하고 있습니다. AI 채택은 가속화되고 있지만 운영 성숙도는 고르지 않습니다. 싱가포르는 규제 기대와 더 성숙한 클라우드 환경에 힘입어 거버넌스 및 관찰 가능성 측면에서 더 앞서 있습니다. 한편 인도네시아, 말레이시아, 태국과 같은 시장은 배포 측면에서 매우 빠르게 움직이고 있으며, 운영 관행이 따라잡히는 동안 AI를 고객 대면 서비스에 자주 밀어넣고 있습니다. 이러한 준비와 배포 사이의 격차는 이미 운영 및 비용 부채를 창출하고 있으며, 나중에 해결하기가 더 어려울 것입니다.
AI의 진화가 클라우드 초기와 유사해짐에 따라, 우리는 적어도 약간은 상황이 어디로 향할지 예측할 수 있다는 좋은 소식이 있습니다. 이제 AI 리더가 물어야 할 질문은 다음과 같습니다. 어떤 규율이 이러한 복잡성에 가장 잘 대처할 팀을 구별할까요? 제 생각에는 AI로 작업하는 팀이 지속 가능한 성공을 위해 채택해야 할 네 가지 규율이 있습니다. 가시성 및 귀속성 확립, 통제 및 가드레일 시행, 공급 확장 전 GPU 활용 최적화, 비용 관리 및 FinOps 도입입니다. 이러한 규율 없이는 AI 프로그램은 기술적 한계에 도달하기 훨씬 전에 경제적 한계에 부딪히는 경향이 있습니다. 인상적인 프로토타입은 만들지만 지속 불가능한 단위 경제성으로 끝나게 됩니다.
이 기사에 대해 질문
답변은 이 기사만을 바탕으로 AI가 생성합니다.