NVIDIA Blackwell GPU'ları ile GPT-6 Astra Ultrafast Hız Kazandı

OpenAI, GPT-6 Astra Ultrafast'ı NVIDIA Blackwell GPU'ları ile güçlendirdi. Bu yeni model, OpenAI API'si üzerinden ve belirli ChatGPT Work ve Codex kullanıcıları için erişime açıldı.

Astra Ultrafast, OpenAI'nin modellerini kullanarak NVIDIA Blackwell mimarisinin yeteneklerinden yararlanarak, Astra Standard moduna göre token üretiminde 8 kata kadar hız artışı sağlıyor. Bu hız artışı, geliştiricilerin kodlama süreçlerini hızlandırarak düzenleme-test-hata ayıklama döngülerini kısaltıyor ve etkileşimli uygulamaların daha duyarlı hale gelmesini sağlıyor.

Yanıt sürelerindeki hız, bir iş akışında tekrarlandığında daha da önemli hale geliyor. Bir ajan kod yazarak, araç kullanarak ve sonuçları kontrol ederek sonraki adımını belirliyor. Ultrafast, Astra'nın yeteneklerini bu zaman hassasiyetine sahip döngülerde sunuyor. NVIDIA'nın AI altyapısı, OpenAI'nin geliştiricilere ihtiyaç duyduklarında daha faydalı model çıktıları sunmasına yardımcı oluyor.

OpenAI'de çıkarım lideri Philippe Tillet, "NVIDIA'nın araca ve belgelere yaptığı derin yatırım, modellerimizi Blackwell ve Rubin GPU'larıyla programlama konusunda son derece başarılı hale getirdi" dedi. Tillet, Astra'nın bu bilgiyi yüksek performanslı çekirdekler haline dönüştürdüğünü ve bu durumun NVIDIA donanımını gecikme, verim ve maliyet açısından daha cazip hale getirdiğini belirtti.

Performans artışları, bir model dağıtıldığında da durmuyor. OpenAI, NVIDIA GPU'ları üzerinde çalışan çıkarım yazılımını iyileştirmek için kendi modellerini kullanıyor. Bu devam eden çalışmalar, model yanıtlarını hızlandırarak dağıtılan altyapının zamanla daha verimli hale gelmesini sağlıyor. OpenAI'nin hesaplama alanındaki baş teknoloji sorumlusu Uday Ruddarraju, "NVIDIA ile yaptığımız iş, AI'yı daha hızlı ve daha faydalı hale getirmemize yardımcı oluyor" diye ekledi.

NVIDIA'nın programlanabilir platformu, geliştiricilerin ve araştırmacıların altyapıyı eğitim, çıkarım ve pekiştirmeli öğrenme süreçlerinde yeniden kullanmalarına olanak tanıyor. Bu esneklik, ekiplerin talep değiştikçe hesaplama kaynaklarını yeniden kullanmasını sağlıyor ve her iş yükü için aşırı tahsisatı önlüyor. Geliştiriciler, günümüzde GPT-6 Astra Ultrafast'ı API üzerinden kullanabiliyor. Erişim, fiyatlandırma ve uygulama detayları için Ultrafast kılavuzuna göz atabilirsiniz.