MS COCO 2014 Üzerinde Türkçe Görsel Altyazılama Kıyaslaması

Bir görseli anlayıp onu cümleyle anlatan modeller, üzerinde eğitilecek büyük ve temiz veriye muhtaçtır. İngilizce için MS COCO yıllardır bu görevi görüyor - alanın ortak ölçme çubuğu. Türkçe için karşılığı yoktu.
Bu eksikliğin sonucu şuydu: Türkçe görsel-dil çalışmaları birbiriyle karşılaştırılamıyordu. Herkes kendi küçük verisini kuruyor, sonuçlar ortak bir zeminde ölçülemiyordu.
Açığı makine çevirisiyle kapatmak da yetmez. Otomatik çeviri, görselle ilgisi kopmuş ya da Türkçesi bozuk altyazılar üretir; bunların üzerine kurulan bir kıyaslama kümesi hatalı bir ölçme çubuğu olur. Gereken şey, ölçek kadar doğrulanmış kaliteydi.

İstanbul Bilgi Üniversitesi'ndeki araştırma ekibinin bir parçası olarak, MS COCO 2014'ü Türkçe görsel altyazılama araştırmaları için eksiksiz bir kıyaslama kümesine dönüştüren çalışmayı yürüttük.

1. Ölçek ve insan doğrulaması bir arada. Veri kümesi 123.287 görseli kapsayan 616.767 Türkçe altyazı içeriyor ve altyazılar insan tarafından doğrulandı - yalnızca otomatik çeviri çıktısı değil. Ölçeği ciddi model eğitimine yetecek, kalitesi güvenilir bir ölçme çubuğu olacak düzeyde.
2. Veri setini modellerle sınadık. Bir kıyaslama kümesinin işe yaradığını iddia edebilmek için üzerinde model eğitmek gerekir. Klasik CNN+LSTM mimarilerinden (ResNet omurgalı) Meshed-Memory Transformer'a kadar beş farklı görsel altyazılama modeli bu veri üzerinde eğitildi ve karşılaştırıldı.
3. Sonuçlar alanın o günkü en iyisini geçti. Eğitilen modeller, Türkçe görsel altyazılamada o zamana kadarki en iyi sonuçların üzerine çıktı - hem veri setinin kalitesini hem de mimariler arası karşılaştırmanın anlamlılığını gösterdi.
4. Herkese açık bırakıldı. Veri seti araştırma topluluğuna açık olarak yayımlandı; sonraki çalışmalar aynı zemin üzerinde ölçülebiliyor.

Çalışma, ICECCME 2022'de yayımlandı. Ortak yazarlar: Sina Berk Golech, Saltuk Buğra Karacan, Elena Battini Sönmez ve Hakan Ayral.

Teknoloji: Python, PyTorch; CNN+LSTM (ResNet omurga), Meshed-Memory Transformer ve diğer görsel-dil mimarileri; standart altyazı değerlendirme metrikleri.