Hukuki Madde Sınıflandırması için LLM Prompt Optimizasyonu

Kimse Kullanım Koşulları'nı okumuyor - ama içlerinde gerçekten önemli maddeler var: tek taraflı değişiklik hakkı, tahkim zorunluluğu, sorumluluk sınırlaması, hesabınızın habersiz kapatılabilmesi. Bu maddeleri otomatik ayırt edebilen bir sistem, insanların neye "kabul ediyorum" dediğini görmesini sağlar.

Doğal çözüm bir dil modeline sormaktır, ama hazır prompt'larla sonuç dengesizdi: bazı madde türlerinde iyi, bazılarında zayıf. Modeli bu iş için yeniden eğitmek ise pahalı ve her kurumun yapabileceği bir şey değil.

Araştırma sorusu buradan çıktı: modele hiç dokunmadan, yalnızca prompt'u sistematik biçimde optimize ederek ne kadar yol alınabilir?

Münih Teknik Üniversitesi'ndeki uygulamalı araştırma dersi kapsamında, hukuki madde sınıflandırmasında otomatik prompt optimizasyon yöntemlerini karşılaştırmalı olarak değerlendirdim.

1. Gerçek bir hukuki veri seti. CLAUDETTE üzerinde çalıştım - Kullanım Koşulları maddelerinin adil/adil olmayan biçiminde etiketlendiği akademik bir veri seti. İki kurulum kurdum: ikili (adil / adil değil) ve dokuz sınıflı çok etiketli - tahkim, tek taraflı değişiklik, içerik kaldırma, yargı yetkisi, hukuk seçimi, sorumluluk sınırlaması, tek taraflı fesih, kullanımla sözleşme.
2. Önce dürüst referans noktaları kurdum. Prompt optimizasyonunun gerçekten bir şey kattığını iddia edebilmek için neyi geçmesi gerektiğini bilmek gerekiyordu: klasik TF-IDF + SVM, hukuk alanına özel eğitilmiş LegalBERT, ve sıfır/az örnekli düz prompt'lama.
3. Dört otomatik optimizasyon yöntemini karşılaştırdım. PromptAgent (prompt uzayında Monte Carlo ağaç araması), EvoPrompt (evrimsel arama), metinsel gradyan yaklaşımı (modelin kendi hata analizinden prompt'u iyileştirme) ve OPRO. Hepsi aynı veri, aynı bölünme ve aynı metriklerle değerlendirildi.
4. Çıktıyı ölçülebilir hale getirdim. Model, serbest metin yerine şemaya bağlı JSON döndürecek biçimde çalıştırıldı: sınıf etiketi ve gerekçe. Böylece sonuçlar elle yorumlanmadan doğruluk, kesinlik, duyarlılık ve F1 olarak otomatik puanlanabildi.

Sonuç: en iyi otomatik optimize edilmiş prompt, başlangıç prompt'una göre doğruluğu 0,650'den 0,755'e, F1'i 0,622'den 0,755'e taşıdı - F1'de yaklaşık %21 bağıl iyileşme. Modele tek bir eğitim adımı uygulanmadan.

Pratik çıkarım şu: bir dil modelinden aldığınız sonucun kalitesi büyük ölçüde nasıl sorduğunuza bağlı ve bu "nasıl", sezgiyle değil ölçümle bulunabilir. Aynı yaklaşım, modeli değiştirmeye bütçesi olmayan her sınıflandırma işine uygulanabilir.

Teknoloji: Python, Llama-3.3-70B ve 3.1-8B (API), PromptAgent, EvoPrompt, OPRO, LegalBERT, scikit-learn, şemalı JSON çıktı.