MS COCO 2014 Üzerinde Türkçe Görsel Altyazılama Kıyaslaması

Görsel altyazılama ve makine çevirisindeki ilerleme, büyük ve yüksek kaliteli etiketlenmiş veri kümelerine bağlıdır - Türkçe için bunlar neredeyse hiç yoktu. MS COCO gibi İngilizce kıyaslamalar yıllardır araştırmalara yön verirken, Türkçe görsel-dil çalışmalarının eğitim ve değerlendirme için kıyaslayabileceği benzer bir kaynağı bulunmuyordu.

Bu açığı kapatmak, salt makine çevirisinden fazlasını gerektiriyordu: ciddi araştırmaları destekleyecek büyüklükte, insan onaylı Türkçe altyazılardan oluşan bir kıyaslama kümesi gerekiyordu.

İstanbul Bilgi Üniversitesi'nde, MS COCO 2014 veri kümesini Türkçe görsel altyazılama ve makine çevirisi araştırmaları için bir kıyaslama kümesine dönüştürdüm. Veri kümesi, 123.287 görseli kapsayan 616.767 insan onaylı Türkçe altyazı ekliyor ve araştırma topluluğuna daha önce bu dilde bulunmayan, yeniden kullanılabilir ve kalite kontrollü bir kaynak sağlıyor.

Kıyaslama kümesini doğrulamak için, üzerinde ResNet omurgalı CNN+LSTM modellerinden Meshed-Memory Transformer'lara kadar uzanan bir dizi mimariyi kapsayan beş görsel altyazılama modeli eğittim. Bu modelleri yeni veri üzerinde karşılaştırmak, kıyaslama kümesinin hem klasik hem de son teknoloji yaklaşımlar genelinde anlamlı bir değerlendirmeyi desteklediğini gösterdi.