Retrieval-Augmented Generation (RAG) Dokümantasyon Asistanı

Bir şirketin bildiği şeylerin çoğu PDF'lerin içinde durur: kılavuzlar, sözleşmeler, şartnameler, raporlar. Orada olduğunu bilirsiniz ama bulamazsınız. Ctrl+F yalnızca yazdığınız kelimeyi bulur; aradığınız cevap başka kelimelerle yazılmışsa bulunamaz.

Aynı soruyu sıradan bir yapay zekâya sormak da çözmez. Model sizin belgenizi görmez; genel eğitim verisinden, kulağa doğru gelen bir cevap üretir. Sözleşme ya da kılavuz söz konusuysa bu, yanlış cevaptan daha kötüdür - çünkü emin görünür.

İhtiyaç açıktı: kendi belgelerinizi okuyan, cevabı onların içinden çıkaran ve hangi belgeden geldiğini gösteren bir araç.

Yüklediğiniz PDF'leri sorgulanabilir bir bilgi tabanına dönüştüren, uçtan uca bir RAG (getirim destekli üretim) sistemi geliştirdim.

1. Belgeleri anlamlı parçalara böler. PDF'ler okunur ve bağlamı koruyacak şekilde, üst üste binen parçalara ayrılır. Parça boyutu ve örtüşme miktarı arayüzden ayarlanabilir - uzun sözleşmelerle kısa kılavuzlar aynı ayarı istemez.
2. Her parçayı anlam vektörüne çevirir. Parçalar gömme (embedding) modelinden geçirilip ChromaDB'de saklanır. Böylece arama kelime eşleşmesiyle değil anlamla yapılır: "fesih" yazmasanız da fesih maddesini bulur.
3. Vektör veritabanı diskte kalıcıdır. Bir belge kümesi bir kez işlenir, sonraki oturumlarda yeniden gömme yapılmaz. Aynı anda birden fazla PDF yüklenip tek bir ortak bilgi tabanı olarak sorgulanabilir.
4. Cevap yalnızca getirilen metinden üretilir. Soru sorulduğunda sistem en alakalı pasajları çeker ve modeli sadece o pasajlarla cevap vermeye zorlar. Model kendi belleğinden konuşmaz.
5. Kullanılabilir bir arayüz. Streamlit ile sohbet arayüzü: PDF yükleme, sohbet geçmişi, ve parça boyutu, örtüşme, getirilecek pasaj sayısı, sıcaklık gibi parametrelerin canlı ayarı. Tamamı Docker ile paketlendi.

Nerelerde kullanılır: İç prosedür ve kalite el kitapları - yeni çalışanın "bu durumda ne yapılır?" sorusuna kaynağıyla cevap. Sözleşme arşivi - "bu tedarikçiyle cezai şart neydi?". Teknik şartnameler ve cihaz kılavuzları - saha ekibinin aradığı maddeyi saniyede bulması. Mevzuat ve yönetmelik setleri. Geçmiş teklif ve proje dokümanları - yeni teklif hazırlarken emsal arama.

Teknoloji: Python, LangChain, ChromaDB, PyPDFLoader, Streamlit, Docker; gömme ve üretim için bulut LLM API'leri.