Intel destekli SambaNova, eski Nvidia GPU'lara yeni bir soluk getiriyor

Intel'in yapay zeka çipi üreticisi SambaNova'ya yaptığı büyük yatırım meyvelerini vermeye başlıyor görünüyor. Şirketin açıkladığı son kıyaslama sonuçlarına göre, geliştirdikleri yeni nesil yapay zeka hızlandırma platformu, yalnızca GPU kullanan rakip platformlara kıyasla çok daha üstün bir performans sergiliyor. Artificial Analysis uzmanları tarafından yürütülen bu testler, Şubat ayında tanıtılan SN50 serisi hızlandırıcıların dikkat çekici bir başarıya imza attığını ortaya koyuyor. Kısa bağlam uzunluklarında gerçekleştirilen testlerde SambaNova sistemlerinin saniyede 763 token ürettiği ve rakiplerini katbekat geride bıraktığı tespit edildi. Şirket, daha uzun bağlam uzunluklarında dahi sistemlerinin saniyede 450 token üzerinde sürdürülebilir bir hız yakalayabildiğini belirtiyor.

SambaNova'nın elde ettiği bu sıra dışı hız, Nvidia GPU'ları ile kendi geliştirdiği Reconfigurable Dataflow Units (RDU) teknolojisini birleştirerek heterojen bir çıkarım platformu yaratmasından kaynaklanıyor. Sistem, yapay zeka çıkarım sürecinin aşamalarını ayırarak (disaggregation) performansı büyük ölçüde optimize ediyor. İşlem yoğunluğunun yüksek olduğu ve istemlerin işlendiği 'prefill' aşaması, dört adet Nvidia H200 GPU tarafından yerine getiriliyor. Bellek bant genişliğine ihtiyaç duyulan ve çıktı tokenlarının üretildiği 'decode' aşaması ise 16 adet SN50 hızlandırıcı içeren tek bir SambaNova rafı tarafından yönetiliyor. Kod asistanları gibi uzun süreli yapay zeka ajanları için token maliyetlerini düşürmede etkili olan bu yöntem, sektörde giderek daha fazla benimsenen bir standart haline geliyor.

Yapay zeka donanım sektöründe çıkarım aşamalarını ayırma konsepti, ilk olarak Nvidia'nın NVL72 raf sistemleriyle popülerleşmiş durumda. Nvidia, bu ilkbaharda düzenlenen GTC etkinliğinde sunduğu Groq tabanlı LPX raflarıyla bu ayrıştırmayı bir adım daha ileri taşımıştı. Bu gelişmelerin ardından AMD'den AWS'e ve Cerebras'a kadar sektörün tüm büyük oyuncuları, bir veya daha fazla hızlandırıcı kullanan heterojen çıkarım platformları üzerinde çalışmaya başladı. Bu yoğun rekabet ortamında SambaNova, kendi sistemlerini birer 'decode' hızlandırıcı olarak kullanarak müşterilerin ellerindeki eskiyen GPU filolarına yeni bir hayat vermeyi hedefliyor. Şirket, mevcut donanımların verimliliğini artırarak hem maliyetleri düşürmeyi hem de performansı maksimuma çıkarmayı amaçladığını ifade ediyor.

SambaNova'nın sunduğu sistemin en büyük pratik avantajlarından biri, cihazların hava soğutmalı olması ve mevcut veri merkezlerine kolayca entegre edilebilmesidir. Bu özellik, şirketi sektörü derinden etkileyen bir altyapı sorununun çözümü haline getiriyor çünkü Nvidia'nın yeni nesil Rubin GPU'ları gibi son teknoloji ürünler mutlak suretle sıvı soğutmaya ihtiyaç duyuyor. Sıvı soğutma sistemleri ise mevcut çoğu veri merkezi için ekstra maliyetler ve ciddi altyapı değişiklikleri gerektirmektedir. SambaNova, hava soğutmalı sistemleri sayesinde müşterilerin devasa altyapı yatırımları yapmadan performans artışı yaşayabilmesine olanak tanıyor. Gelecekte 128 ve nihayetinde 256 hızlandırıcı içeren çok daha güçlü çıkarım yapılandırmalarını sergileyerek yüksek verimlilikteki token üretim kapasitesini kanıtlamayı planladıklarını da duyurdu.

Bu başarılı kıyaslama sonuçları, SambaNova ve Intel'in ortaklık konusundaki önemli bir dönüm noktasının hemen ardına geldi. Geçtiğimiz ay şirketler, TogetherAI'yı ilk büyük ölçekli müşterisi olarak kabul ederek GPU ve RDU kombinasyonunu kullanıma sunacak ilk firmalar arasında yer alan Vector Core Compute ile bir iş birliği yaptıklarını açıklamıştı. Beşinci nesil parçalarının üretimini hızlandırmak için ciddi bir sermayeye ihtiyaç duyulsa da, SambaNova bu konuda da hiçbir zorluk çekmiyor. Şirket, General Atlantic öncülüğünde 1 milyar dolarlık bir Series F fonlama turunun ilk aşamasını başarıyla tamamladı. Bu yeni yatırım turu, yapay zeka çip pazarının en güçlü oyuncularından biri haline gelen SambaNova'nın değerini 11 milyar dolara yükselterek sektördeki sağlam yerini bir kez daha teyit etmiş oldu.