Hukuki Madde Sınıflandırması için LLM Prompt Optimizasyonu

Kullanım Koşulları belgeleri, birbirinden çok farklı hukuki ağırlığa sahip maddelerle doludur ve bunları doğru şekilde sınıflandırmak, insanların neyi kabul ettiğini anlamalarına yardımcı olacak her aracın temelini oluşturur. Hazır LLM prompt'ları bu görevi dengesiz bir şekilde yerine getiriyordu - bazı madde türlerinde güçlü, bazılarında zayıftı - bu da sonuçlara ne ölçüde güvenilebileceğini sınırlıyordu.

Araştırma sorusu pratikti: altta yatan modeli yeniden eğitmeden veya ince ayar yapmadan, yalnızca özenli prompt tasarımı sınıflandırma kalitesini ne kadar iyileştirebilir?

Technical University of Munich'te, Kullanım Koşulları belgelerindeki hukuki maddeleri sınıflandırmak için doğruluk, kesinlik (precision), duyarlılık (recall) ve F1 skorunu iyileştirecek LLM prompt'ları optimize ettim. Modeli değiştirmek yerine prompt-stratejisi optimizasyonuna ve yinelemeli geri bildirim döngülerine odaklandım.

Çalışmayı ölçülebilir, geri bildirime dayalı bir döngü olarak yürüttüm: bir prompt stratejisini metriklere karşı test et, nerede başarısız olduğunu analiz et, prompt'u iyileştir ve tekrarla. İyileştirmelerin görevin tek bir çerçevelemesine aşırı uyum sağlamak yerine genellenebilir olduğundan emin olmak için hem ikili hem de çok etiketli sınıflandırma kurulumlarında değerlendirme yaptım.

Bu yinelemeli yaklaşım, hem ikili hem de çok etiketli görevlerde temel metriklerde %20'ye varan bir iyileştirme sağladı; bu da herhangi bir model değişikliğine gerek kalmadan disiplinli prompt mühendisliğinin ne kadar alan açabileceğini gösterdi.