Anthropic'in bağımsız değerlendiriciler hakkındaki açıklaması

Geçen ay, modellerimiz ve güvenlik uygulamalarımızın daha güçlü bağımsız, üçüncü taraf değerlendirmelerine karşı taahhüt verdik. Ayrıca Beyaz Saray Süper Zeka Anlaşmasını imzaladık; bu anlaşmada şirketler bağımsız harici denetçiler veya değerlendiricilerle ortaklık kurmayı taahhüt ettiler. Bugün, frontier AI modellerini değerlendiren bir kâr amacı gütmeyen kuruluş olan METR'den bir ekipe çalışan benzeri erişim vermeye başladığımızı duyuruyoruz.

METR, risk değerlendirmelerinin sonuçlarını yayınlayacaktır. Geçen yıl boyunca Risk Raporlarımızın birkaç incelemesinde METR ile çalıştık. Ayrıca SecureBio ve Accenture ile değerlendiriciler olarak çalışıyoruz ve Hugging Face dahil olmak üzere birkaç başka kuruluşla erken aşama müzakerelerin devam etmektedir.

Burada, değerlendiricilerle çalışmaya yönelik yaklaşımımızı açıklıyoruz.

Neden bağımsız değerlendiricilerle çalışıyoruz

Modeller daha güçlü hale geldikçe, daha güçlü koruma önlemleri ve daha zorlu risk değerlendirmeleri gerektirdiler. Aldığımız kararlar hakkında halka karşı sorumlu olmak istiyoruz. Ancak güvenlik çalışmamızla ilgili tüm bilgileri halka açık olarak paylaşamayız. Bazıları kötü niyetli aktörlere faydalı olabilir ya da hesaplama veya eğitim bilgileri gibi ticari açıdan hassastır. Bunun yerine, üçüncü taraf değerlendiricilere bilgimize derin erişim veriyoruz ve modellerimiz oluştururken ilgili riskler hakkında kanıt ve akılcı sonuçlar paylaşmalarını sağlıyoruz. Frontier AI şirketinin sistemleri hakkında değerlendiricilerin anladıkları ile şirketin kendisinin anladıkları arasındaki boşluğu kapatmayı amaçlıyoruz.

Frontier modellerini değerlendirmek için, değerlendiricilerin aşağıdakilere ihtiyacı vardır:

• Frontier modellerin yeteneklerini değerlendirmede uzmanlık, değerlendirmelerin alignment faking gibi hatalı gidebilmesi yollarını anlama dahil.
• Bağımsızlık: değerlendirdikleri şirkette hisse senedi sahibi olmayacakları, ya da finansal ya da operasyonel olarak şirkete bağımlı olmayacakları.
• Riskleri anlamlı şekilde değerlendirmek için yeterli erişim. En son modellere erişimin ötesinde, değerlendiricilerin bu modellerin nasıl eğitildiğini, koruma önlemlerimizin nasıl işlediğini ve daha fazlasını görebilmeleri gerekir.
• Bir model veya süreci gözlemlemek ve değerlendirmek özgürlüğü.

Analojiyi tam olarak tutmasa da, banka denetimi benzer mantıkla çalışır. Bankalar kendi risk durumları hakkında dışarıdakilerden daha fazla bilir, bu nedenle düzenleyiciler en büyük bankaların içinde çalışan muhasebeciler görevlendirir. Bir bankanın risk alma faaliyeti kamuyu tehdit edebilirse, üçüncü taraflar bunu önceden görmek için çalışır.

Yapay zeka sektörü için bu, güçlü güvenlik denetiminin bir adımıdır. Birden fazla değerlendiriciye hızlı hareket ediyoruz ve ne tür ortaklıkların işe yaradığı hakkında aktif olarak öğreniyoruz. Ilerledikçe güncelleme paylaşmaya kararlıyız.

"Çalışan benzeri erişim" ile ne demek istediğimiz

Altı METR çalışanını şirket donanımı, ofis alanı ve risk değerlendirme ekiplerimizin erişimine yaklaşık olarak eşdeğer olan dahili araç ve sistemlere erişimle kaydetmiş bulunuyoruz. Açık şekilde tanımlı az sayıda kategorinin dışında (örn., müşteri verileri, avukat-müşteri ayrıcalıklı bilgiler veya model mimarileri hakkındaki bilgiler), Anthropic çalışanlarının bu kişilerle alignment riski üzerinde çalışan başka bir çalışanla olduğu gibi bilgi paylaşmaları teşvik edilmektedir.

METR, risk seviyelerimiz, olaylar veya uygulamalar hakkındaki analizini yayınlayacaktır. Anthropic yayını veto edemez, ancak yukarıda belirtilen gibi dar, önceden tanımlanmış kategorilere düşerse bilgilerin redakte edilmesini isteyebiliriz. METR, redaksiyonlarımızı halka karşı karakterize etmekte ve redaksiyonların haklı olup olmadığını söyleme özgürlüğüne sahiptir; ancak bunu redakte edilen bilgiyi açığa çıkarmadan yapması gerekir.

METR ile uygulanabilir anlaşmalar altında faaliyet gösteren küçük bir ekipte iken sınırlıdır. Diğer METR çalışanları, bizimle diğer projelerde çalışan araştırmacılar dahil olmak üzere bu ekibin işinden izole edilmiştir. Gömülü değerlendirme, Anthropic'in güvenlik standartları altında çalışan nitelikli birkaç kişiye nasıl faaliyet gösterdiğimize yakından bakma imkanı verir. Diğer kuruluşların bizim bilgilerimizi veya müşterilerimiz ve ortaklarımızın bilgilerini elde etmesinin bir yolu değildir.

Diğer değerlendiriciler ortaklıklarımız

Birkaç başka ortaklık üzerinde çalışıyoruz. Bu diğer ortaklıklar henüz erken aşamada olduğu için, bu değerlendiricilere daha sınırlı bilgi sağlıyoruz ve daha sınırlı yayın haklarına sahiptirler. Bu erken katılımlarla amacımız, ortaklarımızın gizli bilgileri korumasını ve modellerimizi değerlendirmek için gerekli kaynak ve uzmanlığa sahip olmasını sağlamaktır. Ortaklıklar ilerledikçe ve güven oluşturdukça, daha fazla bağımsız değerlendiricinin tam olarak gömülü olmasını ümit ediyoruz.

Değerlendiriciler için üç erişim seviyesi geliştiriyoruz. Zamanla, her takımın risk durumumuz ve kilit kararlarımız hakkında kendi analizini yayınlayan üçüncü seviyede birkaç değerlendiriciye sahip olmayı umuyor.

İlk seviyede, değerlendiriciler dar kapsamlı risk araştırmaları yürütür. Birinci seviye değerlendiriciye sağlanacak erişimi karar veririz ve değerlendiriciler bulgularını onayımızla yayınlayabilir.

İkinci seviyede, değerlendiriciler onayımız olmadan yayın yapabilir ve daha fazla bilgiye erişebilir. Yine de belirli bilgi kategorilerinin kaldırılmasını isteyebiliriz, ancak değerlendiriciler redaksiyonlarımızın haklı olup olmadığı hakkında görüşleri yayınlayabilir.

Üçüncü seviye, METR ile tanımladığımız düzenleme ile çalışan benzeri erişim ve ikinci seviyeye benzer yayın hakları.

SecureBio şu anda ilk seviyededir. Önceki risk raporumuzun pilot incelemesini tamamladıktan ve yayınladıktan sonra, Ağustos Risk Raporumuzun kimyasal ve biyolojik silahlar bölümünü gözden geçirme sürecindedir. Bu inceleme tamamlandıktan sonra, artan erişim ve yayın haklarını içeren projelere geçmeyi düşüneceğiz.

Accenture ve Faculty ile, modelleri değerlendirme ve kırmızı takım oluşturma, alignment değerlendirmeleri yapma, model korumalarını test etme ve kuruluşlarımız arasında yetenekler oluşturmayı içeren iddialı bir ortaklık üzerinde çalışıyoruz.

Değerlendiricileri gönüllü olarak gömüyoruz ve her frontier AI şirketi de aynısını yapmalı diye inanıyoruz.