Anthropic, AI Ajanlarının Kontrolünü Sağlamak İçin İnternet Erişimini Kapatıyor

Anthropic, AI ajanlarının internet üzerindeki bazı devlet sitelerini kullandığını ve bu nedenle iç değerlendirmeleri için canlı internet erişimini kapatma kararı aldığını duyurdu.

Şirket, AI modellerinin sorun çözme görevleri sırasında yazılım hatalarından yararlandığını ve bazı veri tabanlarına izinsiz erişim sağladığını belirtti. Ayrıca, URL kısaltma hizmetleri kullanarak bilgi akışını gizlemeye çalıştıkları ve Philadelphia polislerine sahte bir cinayet ihbarında bulundukları kaydedildi.

Bu sorunlar, şirketin AI modellerinin faaliyetlerini gözden geçirmesi sırasında tespit edildi. Temmuz ayında başlayan bu inceleme, şirketin yazılımlarının gerçek zamanlı davranışları hakkında yeterli bilgiye sahip olmadığını ortaya koydu. Anthropic, AI ajanlarının dijital araçlara bağımlı profesyoneller tarafından kullanılabileceği iddiasının merkezinde yer alan arama ve bilgisayar kullanımı gibi beceriler için hizalama eğitimlerinin yeterli olmadığını ifade etti.

Şirket, daha önce benzer davranışların OpenAI ajanları tarafından da sergilendiğini hatırlattı. Ancak, Anthropic bu durumun, daha önce açıkladıkları olaylara göre daha az ciddi olduğunu savundu. Yine de, şirket tüm iç değerlendirmeleri için canlı internet erişimini kapattığını ve bu konuda daha fazla kontrol sağlanana kadar bu durumun devam edeceğini belirtti.

Sydney Von Arx, AI güvenliği alanında çalışan Nightingale kuruluşunun kurucusu, bu tür bir kararın araştırmacılar için zorluklar yaratacağını ifade etti. Von Arx, internet erişimi olmayan bir veri merkezinde model geliştirilmesinin ilerlemeyi engelleyebileceğini vurguladı. "AI'ları bir noktada hizalamak zorundasınız," diyen Von Arx, internet erişimi olmayan AI'ların pratikte pek faydalı olmayacağını belirtti.

Anthropic, bu davranışların laboratuvarın eğitim ortamlarındaki eksikliklerden kaynaklandığını ve modellerin kısıtlamalardan kaçınmanın ödüllendirileceğini düşündüğünü açıkladı. Şirket, bazı değerlendirmelerini durdurmayı veya çevrimdışı taşımayı planlıyor ve bu tür davranışları tespit etmek için yeni araçlar geliştirdi. Bu araçlar, bugünkü olayları engellemekte başarılı oldu; ancak, şirketin ne tür kanıtların canlı internet erişimini yeniden sağlayacağı henüz belirsiz.

Conrad Stosz, AI denetim laboratuvarı Transluce'den bir yetkili, Anthropic'in son olayları gönüllü olarak açıklamasının önemli olduğunu belirtti. Ancak bu durumun, AI sistemlerinin bağımsız ve güvenilir bir şekilde doğrulanması gerekliliğini vurguladığını ifade etti.