Page 18 - bilgem-teknoloji-dergisi-9

Yapay Zekâ

Yapay Zekâda ünümüz dünyasında artan Bağlamı değiştirip, hikâye tarzın-
Merve Zeybel- Araştırmacı, Havvanur Dervişoğlu - Araştırmacı, Emre Eğriboz- Araştırmacı,
Mahmut Lutfullah Özbilen- Araştırmacı, Dr.Yıldırım Bahadırlar - Başuzman Araştırmacı / BİLGEM BTE

Yeni Trendler Ganlamlı bilgiler elde etme ile eğitilmiş olan GPT-2 yapay da cümleye başlansa, sistem ta-
8 milyon internet sitesinden
veri kaynakları ile bu veriden
toplanan 40 GB metin verisi
rafından hikâye şeklinde cümleler
üretiliyor. Modelin ürettiği cümle-
yolunda ortaya birçok araştırma
ler dilbilgisi, anlatım şekli, yazım
konusu çıkmıştır. Çeviri sistem-
leri, duygu-durum analizi, cümle zekâ modeli, daha önce en güncel
ki, üretilen cümlelerin insan tara-
tamamlama gibi birçok uygulama başarıyı yakalayan modellerin kuralları açısından o kadar düzgün
makinelerin doğal dili algılaması fından mı, bilgisayar tarafından mı
ile mümkün hale gelmektedir. İşte 12 katı büyüklüğünde. oluşturulduğunu ayırt etmek çok
burada karşımıza çıkan dil gös- zor. İlk zamanlardaki korku da bu
terim modelleri, makinelerin do- sebepten kaynaklanıyor. Bu model
ğal dili anlayıp işleyebilmesini sağlar. Öte yandan verinin ile sahte haberler, propagandalar kolaylıkla üretilebilir ki
paylaşımının teknik veya gizlilik kaynaklı paylaşılamadığı bu da ülkelerde karışıklık oluşturabileceği için pek istenen
durumlarda da merkezi olmayan dağıtık mimarilerde maki- bir durum değil. Cümle tamamlama özelliği dışında GPT-
nelerin veriyi işleyebilmesi Federe Öğrenme yöntemleriyle 2 modeline, girdi olarak bir paragraf verildiğinde, paragraf
sağlanmaktadır. Üretken (generative) modellerin gelişme- ile ilgili soruları doğru bir şekilde cevaplayabiliyor. İnsanın
Makinelerin doğal dili anlaması için geliştirilen dil isim doğal
modellerinde karşımıza Susam Sokağından iki tanıdık
si ile de hikâye yazan, resim çizen yapay zekâ modelleri, üniversiteye hazırlık sınavı Türkçe sorularını kendisi ile kar-
insanlar tarafından yapılıp yapılmadığı anlaşılmayan eser- şılaştırmak için sisteme veresi gelmiyor değil, ama model
lerle şaşırtmaya devam etmektedir. Bu yazımızda son şu an sadece İngilizce için iyi çalışıyor. Türkçe için de çalış-
dil işleme alanı kırılma noktasını yaşamıştır.
çıkıyor, BERT ve ELMo. Bu iki dil modelinin geliştirilmesiyle
dönemlerde popüler olan GPT-2, BERT-ELMo, Federe Öğ- ması için model üzerine biraz çalışmamız gerekecek.
renme, GAN, Hiyerarşik Geçici Bellek yapay zekâ uygula-
malarını ele alacağız. Modelden kısaca bahsedersek, model temelinde Goog-
le tarafından dilleri anlamak için geliştirilen dönüştürücü
GPT-2 (transformer) yapay sinir ağı mimarisini kullanıyor. Dönüş-
Öyle bir yapay zekâ modeli düşünün ki, ilk çıktığında çok türücüler dikkat mekanizması tabanlı olup, girdi cümlesine
başarılı sonuçlar elde edilmiş ve kötü niyetle kullanılabilir bakarak, cümlenin hangi kısmının önemli olduğunu anla-
düşüncesiyle modelin sadece çok az bir kısmı yayınlan- maya çalışır. GPT-2 model mimarisi, bu dönüştürücü kat-
mış. Modelin ismi GPT-2 (Generative Pre-trained Transfor- man ile beraber ek katmanlara ve parametrelere de sahip.
mer 2). Bu modelden önce yayınlanan GPT modelinin varisi Dönüştürücüler ile beraber geniş bir bağlam ve sözlük bo-
olarak 2019 yılında, amacı insanlığa fayda sağlayabilecek yutu içeren bu modelin eğitimi için tabii ki çok fazla işlem-
yapay zekâ modelleri geliştirmek olan, Elon Musk tarafın- ci gücü gerekli. Gerçekleşen hızlı gelişmeler ile arkasında
dan da desteklenen OpenAI şirketi tarafından geliştirildi. 8 birçok soru işareti de bırakan yapay zekâ bakalım ileride
milyon internet sitesinden toplanan 40 GB metin verisi ile doğal dil işleme alanında ne gibi modellerle karşımıza çı-
eğitilmiş olan model, daha önce en güncel başarıyı yakala- kacak.
yan modellerin 12 katı büyüklüğünde. Modelin uygulaması
kendi internet sitelerinde mevcut. (https://talktotransfor- BERT ve ELMo
mer.com/) Sadece birkaç kelime girip, sistemden kelime- Makinelerin doğal dili anlaması için geliştirilen dil modelle-
leri devam ettirecek cümleleri talep ediyorsunuz. Sistem, rinde karşımıza Susam Sokağından iki tanıdık isim çıkıyor,
yazdığınız kelimelerden bağlamı anlayarak, o bağlamda BERT ve ELMo. Bu iki dil modelinin geliştirilmesiyle doğal
cümleler üretmeye başlıyor. Örneğin, bir haber sitesinden dil işleme alanı kırılma noktasını yaşamıştır. Peki, nedir bu
dil modellerini diğer dil modellerinden farklı yapan? Gelin
“Birkaç Avrupa ülkesi ilk koronavirüs vakalarını duyurdu” bu iki dil modelinin ayırıcı özelliklerini inceleyelim.
şeklinde bir cümle girdiğimde sistem;
ELMo AllenNLP tarafından 2018 yılında geliştirilmiş olup
Birkaç Avrupa ülkesi ilk koronavirüs vakalarını İtalya ve kelimeden vektöre giden yolda iki yönlü LSTM eğitimi ya-
Fransa’da açıkladı. Şimdiye kadar bildirilen 10 vakanın pan bir dil modelidir. Diğer dil modellerinden (fastText veya
ikisi, influenza A ve H1N1 virüslerini içeren olağandışı bir word2vec) farklı olarak kelimelerin vektör gösterimlerini
serolojik profile sahip gibi görünmektedir. Bunlar muhte-
melen virüsün yerel olarak edinilmiş suşlarını temsil eder elde etmek için kelime sözlüğünü kullanmak yerine keli-
ve doğasını doğrulamak için dikkat gerektirir. Salgın, sağlık menin kullanıldığı cümleye bakar. Yani ELMo sözlükte
profesyonellerinin vakaları hızlı bir şekilde hastalığı tespit kelimeyi arayıp ona göre vektör bulmak yerine derin öğ-
etmek ve hastaları erken teşhis etmek için gösterdiği en renme modelinden cümleyi geçirerek vektörü elde eder.
iyi çabalara rağmen, viral bulaşmanın zor ve öngörülemez Şimdi, ELMo ile Ernie arasında geçen kısa bir diyalog ile
olabileceğini göstermektedir.” şeklinde devam edebiliyor. ELMo’yu daha iyi anlayalım;

16 17