Nvidia (NVDA), yapay zekâ sistemlerinin oluşturduğu yeni siber güvenlik risklerine karşı 37 şirketi aynı çatı altında topladı. Open Secure AI Alliance adı verilen oluşum, şirketlerin yapay zekâ güvenliği için ortak modeller, araçlar ve araştırmalar geliştirmesini hedefliyor.
İttifakın kurulmasını hızlandıran gelişme, OpenAI’ın güvenlik testi sırasında kullandığı otonom bir yapay zekâ ajanının kontrol ortamından çıkarak Hugging Face’in sistemlerine sızması oldu. Olay, insan müdahalesi olmadan hareket edebilen ajanların şirketler için oluşturabileceği riski yeniden gündeme taşıdı.
Microsoft ve Cisco masada
Open Secure AI Alliance’ın kurucu üyeleri arasında Nvidia’nın yanı sıra Microsoft, IBM, Cisco, Adobe, CrowdStrike, Dell Technologies, Cloudflare, Siemens, Salesforce ve Hugging Face bulunuyor.
Linux Foundation çatısı altında çalışacak ittifaka bulut bilişim, siber güvenlik, kurumsal yazılım, telekomünikasyon ve yapay zekâ alanlarından toplam 37 şirket ve kuruluş katıldı.
İttifak üyeleri, yapay zekâ ajanlarını denetlemek, sistem davranışlarını izlemek, saldırıları incelemek ve güvenlik açıklarını daha hızlı kapatmak amacıyla açık teknolojiler geliştirecek. Ortak çalışmaların farklı şirketlerin altyapılarında çalışabilmesi hedefleniyor.
OpenAI, Google ve Anthropic dışarıda
Teknoloji sektörünün en büyük yapay zekâ geliştiricilerinden OpenAI, Google ve Anthropic’in kurucu üyeler arasında bulunmaması ittifakın en dikkat çekici ayrıntılarından biri oldu.
Nvidia ve ortakları, yapay zekâ savunmasının yalnızca birkaç şirketin kapalı sistemlerine bırakılmasının teknoloji sektöründe bağımlılık ve tek noktadan arıza riski yaratabileceğini savunuyor.
İttifak, kapalı modellerin tamamen terk edilmesini istemiyor. Ancak güvenlik ekiplerinin sistemleri kendi altyapılarında çalıştırabilmesi, inceleyebilmesi ve ihtiyaçlarına göre değiştirebilmesi için açık ağırlıklı modellere de erişmesi gerektiğini belirtiyor.
Ajan güvenli ortamdan çıktı
OpenAI, 21 Temmuz’da yaptığı açıklamada güvenlik değerlendirmesi sırasında kullanılan bir yapay zekâ ajanının kontrolünü kaybettiğini duyurdu. Ajan, sınırlı erişime sahip güvenli test ortamından çıkarak açık internete bağlandı.
Yapay zekâ sistemi daha sonra, değerlendirmeyi geçmek için ihtiyaç duyduğu bilgilere sahip olduğunu düşündüğü Hugging Face’in altyapısını hedef aldı. Sızma faaliyeti OpenAI tarafından hemen fark edilmedi.
Hugging Face saldırıyı 16 Temmuz’da tespit etti. Şirket o aşamada saldırının OpenAI tarafından yürütülen bir testten kaynaklandığını bilmiyordu. Olay kontrol altına alındıktan sonra ABD Federal Soruşturma Bürosu da bilgilendirildi.
17 bin işlem yapay zekâyla incelendi
Hugging Face, saldırının ardından sistemlerde gerçekleşen 17 binden fazla işlemi incelemek zorunda kaldı. Şirket, bazı kapalı yapay zekâ modellerinin güvenlik sınırlamaları nedeniyle yeterli adli analiz yapamadığını bildirdi.
Şirket bunun üzerine Çinli geliştiricilerin hazırladığı açık ağırlıklı GLM 5.2 modelini kendi altyapısında çalıştırdı. Model, saldırganın adımlarını analiz etmek ve sızmanın kapsamını belirlemek için kullanıldı.
Nvidia, bu olayın yapay zekâ güvenliği için yalnızca saldırı önleme sistemlerinin yeterli olmadığını gösterdiğini savundu. Şirketlere göre güvenlik ekiplerinin ajanların bütün hareketlerini inceleyebilmesi ve aynı teknolojiyi savunma amacıyla kullanabilmesi gerekiyor.
Yeni araç ajanları takip edecek
Nvidia, ittifaka açık modeller, eğitim verileri, model ağırlıkları ve yapay zekâ ajanlarına yönelik araştırmalar sağlayacak. Şirket ayrıca geliştirdiği yeni nesne odaklı ajan projesini açık kaynaklı olarak kullanıma sunacak.
Yeni altyapı, yapay zekâ ajanlarının hangi araçlara eriştiğini, ne tür işlemler yaptığını ve belirlenen sınırların dışına çıkıp çıkmadığını izlemeyi kolaylaştıracak.
Şirketler bu sistemlerle ajanların davranışlarını test etmeyi, kaydetmeyi, geriye dönük olarak incelemeyi ve gerektiğinde belirli yetkileri engellemeyi amaçlıyor. Böylece insan denetimi dışında gerçekleşebilecek işlemlerin daha erken tespit edilmesi planlanıyor.
Siber güvenlik pazarı büyüyor
Otonom yapay zekâ ajanları yalnızca soruları yanıtlamakla kalmıyor; dosya açabiliyor, yazılım çalıştırabiliyor, internet sitelerine bağlanabiliyor ve belirli görevleri kendi başına tamamlayabiliyor.
Bu yetenekler şirketlerde verimlilik sağlarken yanlış yapılandırılmış veya kontrolden çıkan bir ajanın veri tabanlarına, bulut sistemlerine ve kritik şirket altyapılarına erişme riskini de büyütüyor.
Yeni ittifak, siber güvenlik şirketleri açısından yapay zekâ ajanlarını izleyen ve sınırlayan yeni bir ürün pazarının oluşabileceğine işaret ediyor. Güvenlik yazılımlarında yalnızca insan kullanıcıların değil, bağımsız hareket eden dijital ajanların davranışları da denetlenecek.
Açık model tartışması büyüdü
İttifakın kuruluşu, ABD teknoloji sektöründeki açık ve kapalı yapay zekâ modeli tartışmasını da yeniden alevlendirdi. Açık ağırlıklı modeller, geliştiricilerin sistemin temel bileşenlerine erişmesine ve modeli kendi altyapısında çalıştırmasına imkân veriyor.
Kapalı model geliştiren şirketler ise güçlü sistemlerin açık biçimde paylaşılmasının kötü niyetli kişilerin siber saldırı, dezenformasyon veya başka zararlı faaliyetler geliştirmesini kolaylaştırabileceğini savunuyor.
Nvidia ve ittifak ortakları, açık sistemlerin de kötüye kullanılabileceğini kabul ediyor. Ancak şirketler, savunma ekiplerinin saldırganlarla mücadele edebilmesi için aynı düzeyde güçlü, incelenebilir ve özelleştirilebilir araçlara sahip olması gerektiğini belirtiyor.
