AI Mulai Mirip Awal Mula Cloud – Perlombaan Sebenarnya Adalah Operasional

Selama dua tahun terakhir, sebagian besar kebisingan seputar AI berfokus pada perlombaan model – model siapa yang lebih besar, lebih cepat, atau mendapat skor lebih baik pada tolok ukur. Namun saat AI beralih dari proyek percontohan ke inti produk dan alur kerja, pola yang familiar dari awal mula cloud mulai muncul kembali: sistem lebih terprogram dari sebelumnya, tetapi juga jauh lebih sulit dijalankan. Dan itu berarti kita sekarang tahu ke mana persaingan terpenting dalam AI bergeser: dari siapa yang memiliki model "terbaik" menjadi siapa yang dapat mengoperasikan AI secara andal, efisien, dan aman dalam skala besar.

Saat melihat telemetri dunia nyata dari ribuan sistem produksi, gambaran yang jelas mulai terbentuk. Hampir 1 dari 20 permintaan AI gagal setelah aplikasi mencapai skala, dan sebagian besar kegagalan tersebut sekarang berasal dari batas kapasitas seperti batas kecepatan, kuota, dan batas konkurensi, bukan dari bug model atau akurasi yang buruk. Itu adalah cerita yang sangat berbeda dari grafik tolok ukur yang dulu membuat banyak tim terobsesi. Jumlah data yang dikirim per permintaan juga meningkat. Di banyak lingkungan produksi, pengguna median telah menggandakan penggunaan token mereka, sementara pengguna berat melihat volume tumbuh beberapa kali lipat. Pertumbuhan itu adalah gejala dari kasus penggunaan AI yang lebih ambisius dan pendorong langsung biaya serta tekanan infrastruktur TI.

Dampaknya paling jelas terlihat pada apa yang sekarang digambarkan banyak tim sebagai GPU sprawl: armada yang terfragmentasi tersebar di cloud dan klaster on-prem. Beberapa GPU menganggur sementara yang lain terus jenuh, dan ada sangat sedikit korelasi antara di mana jam GPU dihabiskan dan di mana mereka menciptakan nilai bisnis. Hasilnya akrab bagi siapa pun yang hidup melalui adopsi awal komputasi cloud – pengeluaran yang meroket, kinerja yang tidak dapat diprediksi, dan krisis kapasitas yang muncul entah dari mana.

Di seluruh Asia-Pasifik, dan terutama di ASEAN, kami saat ini melihat tekanan struktural: adopsi AI semakin cepat, tetapi kematangan operasional tidak merata. Singapura lebih maju dalam tata kelola dan observabilitas, didorong sebagian oleh ekspektasi regulasi dan lanskap cloud yang lebih matang. Sementara itu, pasar seperti Indonesia, Malaysia, dan Thailand bergerak sangat cepat dalam penerapan, sering mendorong AI ke layanan yang berhadapan dengan pelanggan sementara praktik operasional masih tertinggal. Kesenjangan antara kesiapan dan penerapan ini sudah menciptakan hutang operasional dan biaya yang akan lebih sulit diurai nanti.

Dengan evolusi AI yang menyerupai awal mula cloud, kabar baiknya adalah kita dapat memprediksi, setidaknya sedikit, ke mana arahnya. Sekarang, pertanyaan yang harus diajukan para pemimpin AI adalah: disiplin mana yang membedakan tim yang akan mengatasi kompleksitas ini dengan baik? Menurut saya, ada empat disiplin yang perlu diadopsi tim yang bekerja dengan AI untuk mencapai kesuksesan berkelanjutan: membangun visibilitas dan atribusi, menegakkan kontrol dan pagar pembatas, mengoptimalkan pemanfaatan GPU sebelum meningkatkan pasokan, serta menerapkan manajemen biaya dan FinOps. Tanpa disiplin ini, program AI cenderung mencapai batas ekonomi jauh sebelum mencapai batas teknis. Anda berakhir dengan prototipe yang mengesankan, tetapi ekonomi unit yang tidak berkelanjutan.