T
Tuğçe İçözü
Misafir
OpenAI yapay zeka modellerinin kendini daha iyi açıklayabilmesi için bir oyundan yararlanıyor. OpenAI yayınladığı “Prover-Verifier Games Improve Legibility of LLM Outputs” başlıklı makalede büyük dil modellerinin (LLM) kendilerini kullanıcılarına daha iyi açıklamayı öğrenebilecekleri yeni bir algoritma geliştirdiklerini ortaya koydu.
OpenAI araştırmacılarının yeni algoritması, Prover-Verifier Games kavramına dayanıyor. Bu kavram ilk olarak Toronto Üniversitesi ve Vector Yapay Zeka Enstitüsü'ndeki makine öğrenimi araştırmacıları tarafından 2021 yılında yayınlanan "Learning to Give Checkable Answers with Prover-Verifier Games" makalesinde kullanıldı.
Kavramı “Kanıtlayıcı-Doğrulayıcı Oyunu” olarak tercüme edebiliriz. Oyun,iki yapay zeka modelini bir araya getiriyor. Modellerden biri daha güçlü ve zeki bir “kanıtlayıcı” diğeri ise daha az güçlü bir “doğrulayıcı” olarak karşımıza çıkıyor. Her iki yapay zeka modelinden de birbirlerini yenmeleri isteniyor.
Kanıtlayıcının amacı, doğrulayıcının her zaman doğru olsun ya da olmasın belirli bir cevaba inanmasını sağlamak. Öte yandan doğrulayıcının amacı ise kanıtlayıcı ne söylerse söylesin her zaman doğru cevabı seçmek. Kantılayıcı kendisini konunun aksine ikna etmeye çalışsa bile.
Amaç, yapay zeka modellerinin insan kullanıcılara cevap verirken çalışmalarını daha fazla ortaya koymalarını sağlamak. Toronto Üniversitesi araştırmacıları ise ortaya çıkardıkları bu yapının, sinir ağlarını karar problemlerini doğrulanabilir bir şekilde çözmeye teşvik edeceğini düşünüyor.
OpenAI araştırmacısı ve makalenin ortak yazarı Yining Chen, Kanıtlayıcı-Doğrulayıcı Oyunu yönteminin, çıktıyı daha açık ve doğrulanabilir hale getirmenin bir yolu olduğunu belirtiyor. Yining Chen'e göre oyun, güvenilirliğin bir bileşeni olarak konumlanıyor.
OpenAI çalışmasında iki özel ince ayarlı GPT-4 ailesi modeli kullanıldı. Oyunda modellerden cevapları bilinen ilkokul matematik kelime problemlerini cevaplamaları istendi. Bir kaç tur oynanan bu oyunda, OpenAI farklı bir yaklaşım izledi. OpenAI araştırmacıları, yapay zekaların benimsediği rollerin tanımlarını turlar arasında değiştirdi.
Bu anlamda kanıtlayıcı model ya “yardımcı” ya da “sinsi” olacak şekilde ayarlandı. Kantılayıcı model, yardımcı olduğunda doğrulayıcıya doğru cevabı vermeye çalıştı. Sinsi olduğunda ise sonucun doğruluğuna bakılmaksızın doğrulayıcı modeli kendi görüşüne ikna edecek şekilde ayarlandı. Daha az zeki olan doğrulayıcı model, yardımsever ya da sinsi bir kanıtlayıcı ile etkileşime girip girmediğini bilmiyordu. Bu nedenle, doğrulayıcı model, kanıtlayıcının yanıtlarının doğru ya da yanlış olup olmadığı konusunda yalnızca kendi eğitimine güvenebildi. Yani kanıtlayıcının yanıtlarını kendi eğitimine dayanarak değerlendirmek zorunda kaldı.
Ayrıca, OpenAI araştırmacıları her iki modeli de oyunun her turu arasında, önceki turlarda nasıl performans gösterdiklerine dair verilerle yeniden eğitti. Bu eğitim sonunda modellerin, bir cevabın doğru olup olmadığını belirleme becerileri arttı.
Bu işlemi dörtten fazla tur boyunca gerçekleştiren araştırmacılar, doğrulayıcı modelin, sinsi kanıtlayıcı modelin ikna tekniklerine direnme konusunda daha iyi hale geldiğini gördü. Bu esnada kanıtlayıcı model de insan kullanıcılara kendini açıklama konusunda daha iyi hale geldi.
Makale boyut olarak daha küçük doğrulayıcılar ile insanları karşılaştırarak, küçük doğrulayıcılar için tespit edilmesi daha zor olan sinsi çözümlerin insanlar için de tespit edilmesinin zor olduğunu belirtiyor. Aynı şekilde daha küçük doğrulayıcılar için daha anlaşılır olan faydalı çözümlerin insanlar için de daha anlaşılır olduğunu ifade ediyor.
Bu turlar sonucunda araştırmacıların geliştirdiği algoritma, LLM'leri hem doğruluk hem de insan değerlendiriciler için okunabilirlik açısından optimize etti. Chen, gelecekte insanların kendilerinden daha akıllı modelleri düzenlemekte güçlük çekeceğine dikkat çekiyor. Chen'e göre; uygulanan bu yöntem, gelecekte insanların kendilerinden daha akıllı modelleri hizalamasına katkıda bulunabilir.
Kaynak : Webrazzi
OpenAI araştırmacılarının yeni algoritması, Prover-Verifier Games kavramına dayanıyor. Bu kavram ilk olarak Toronto Üniversitesi ve Vector Yapay Zeka Enstitüsü'ndeki makine öğrenimi araştırmacıları tarafından 2021 yılında yayınlanan "Learning to Give Checkable Answers with Prover-Verifier Games" makalesinde kullanıldı.
Kanıtlayıcı-Doğrulayıcı Oyunu nasıl çalışıyor?
Kavramı “Kanıtlayıcı-Doğrulayıcı Oyunu” olarak tercüme edebiliriz. Oyun,iki yapay zeka modelini bir araya getiriyor. Modellerden biri daha güçlü ve zeki bir “kanıtlayıcı” diğeri ise daha az güçlü bir “doğrulayıcı” olarak karşımıza çıkıyor. Her iki yapay zeka modelinden de birbirlerini yenmeleri isteniyor.
Kanıtlayıcının amacı, doğrulayıcının her zaman doğru olsun ya da olmasın belirli bir cevaba inanmasını sağlamak. Öte yandan doğrulayıcının amacı ise kanıtlayıcı ne söylerse söylesin her zaman doğru cevabı seçmek. Kantılayıcı kendisini konunun aksine ikna etmeye çalışsa bile.
Amaç, yapay zeka modellerinin insan kullanıcılara cevap verirken çalışmalarını daha fazla ortaya koymalarını sağlamak. Toronto Üniversitesi araştırmacıları ise ortaya çıkardıkları bu yapının, sinir ağlarını karar problemlerini doğrulanabilir bir şekilde çözmeye teşvik edeceğini düşünüyor.
OpenAI araştırmacısı ve makalenin ortak yazarı Yining Chen, Kanıtlayıcı-Doğrulayıcı Oyunu yönteminin, çıktıyı daha açık ve doğrulanabilir hale getirmenin bir yolu olduğunu belirtiyor. Yining Chen'e göre oyun, güvenilirliğin bir bileşeni olarak konumlanıyor.
OpenAI Kanıtlayıcı-Doğrulayıcı Oyunu'nu nasıl uyguladı?
OpenAI çalışmasında iki özel ince ayarlı GPT-4 ailesi modeli kullanıldı. Oyunda modellerden cevapları bilinen ilkokul matematik kelime problemlerini cevaplamaları istendi. Bir kaç tur oynanan bu oyunda, OpenAI farklı bir yaklaşım izledi. OpenAI araştırmacıları, yapay zekaların benimsediği rollerin tanımlarını turlar arasında değiştirdi.
Bu anlamda kanıtlayıcı model ya “yardımcı” ya da “sinsi” olacak şekilde ayarlandı. Kantılayıcı model, yardımcı olduğunda doğrulayıcıya doğru cevabı vermeye çalıştı. Sinsi olduğunda ise sonucun doğruluğuna bakılmaksızın doğrulayıcı modeli kendi görüşüne ikna edecek şekilde ayarlandı. Daha az zeki olan doğrulayıcı model, yardımsever ya da sinsi bir kanıtlayıcı ile etkileşime girip girmediğini bilmiyordu. Bu nedenle, doğrulayıcı model, kanıtlayıcının yanıtlarının doğru ya da yanlış olup olmadığı konusunda yalnızca kendi eğitimine güvenebildi. Yani kanıtlayıcının yanıtlarını kendi eğitimine dayanarak değerlendirmek zorunda kaldı.
Ayrıca, OpenAI araştırmacıları her iki modeli de oyunun her turu arasında, önceki turlarda nasıl performans gösterdiklerine dair verilerle yeniden eğitti. Bu eğitim sonunda modellerin, bir cevabın doğru olup olmadığını belirleme becerileri arttı.
Bu işlemi dörtten fazla tur boyunca gerçekleştiren araştırmacılar, doğrulayıcı modelin, sinsi kanıtlayıcı modelin ikna tekniklerine direnme konusunda daha iyi hale geldiğini gördü. Bu esnada kanıtlayıcı model de insan kullanıcılara kendini açıklama konusunda daha iyi hale geldi.
Makale boyut olarak daha küçük doğrulayıcılar ile insanları karşılaştırarak, küçük doğrulayıcılar için tespit edilmesi daha zor olan sinsi çözümlerin insanlar için de tespit edilmesinin zor olduğunu belirtiyor. Aynı şekilde daha küçük doğrulayıcılar için daha anlaşılır olan faydalı çözümlerin insanlar için de daha anlaşılır olduğunu ifade ediyor.
Bu turlar sonucunda araştırmacıların geliştirdiği algoritma, LLM'leri hem doğruluk hem de insan değerlendiriciler için okunabilirlik açısından optimize etti. Chen, gelecekte insanların kendilerinden daha akıllı modelleri düzenlemekte güçlük çekeceğine dikkat çekiyor. Chen'e göre; uygulanan bu yöntem, gelecekte insanların kendilerinden daha akıllı modelleri hizalamasına katkıda bulunabilir.
Kaynak : Webrazzi
