Astra adı verilen yeni modelin otonom kodlama ve siber güvenlik alanlarında önemli ilerlemeler kaydettiği açıklandı. Ancak yapılan testler, sistemin fazla güçlü olabileceğini ve mevcut haliyle kullanıma sunulması durumunda güvenlik tehdidi oluşturabileceğini gösterdi.
Açıklama, OpenAI’ın yayımlanmamış başka bir modelinin bir yapay zeka platformuna kendi kendine siber saldırı düzenlediği olayın ardından geldi. Bu tespit, diğer yapay zeka firmalarından da benzer açıklamaların yapılmasına ve yeni sistemlerin kontrol altında tutulamayacak kadar güçlendiği yönündeki kaygıların artmasına yol açtı.
Astra’nın Hugging Face platformuna yönelik söz konusu saldırıda yer almadığı, ancak sergilediği performans nedeniyle şimdilik kamuoyuna sunulmasının güvenli görülmediği ifade edildi. Şirket, modelin kullanıma açılması için yeni güvenlik önlemlerinin uygulanması gerektiğini bildirdi.
Risk eşiği aşıldı
Siber güvenlik uzmanları ve yapay zeka şirketleri, bu tür araçların yazılımlardaki açıkları tespit edip kapatmak amacıyla geliştirildiğini vurguluyor. Ancak bu yeteneklerin, insan yönetimine ihtiyaç duymayan otonom siber saldırılarda da kullanılabileceği belirtiliyor.
OpenAI, bu tür riskleri yönetmek amacıyla 2023 yılının sonunda “Hazırlık Çerçevesi” adını verdiği bir güvenlik yapısı oluşturmuştu. Bu çerçeve, modellerin yeteneklerindeki ilerlemeyi tespit etmeyi ve sistemleri güvenli sınırlar içinde tutmayı amaçlıyor.
Şirket, Astra modelinin bu çerçevede tanımlanan “kritik” risk eşiğine ulaşmış olabileceğini duyurdu. Bir yapay zeka sisteminin insan denetimi olmadan kritik sistemlerde güvenlik açıkları bulup geliştirebilmesi veya gelişmiş siber saldırılar için kendi başına yeni stratejiler uygulayabilmesi halinde bu seviyeye ulaştığı kabul ediliyor.
