Güvenlik Kritik Gereksinim Mühendisliğinde LLM'lerin Güvenilirliği

Güvenlik kritik sistemler, kendilerini oluşturan gereksinimlerle yaşar ya da ölür: sonraki tüm mühendislik çalışmalarının dayandığı hassas ve net şartnameler. Büyük Dil Modelleri mühendislik iş akışlarına girmeye başladıkça, Fraunhofer IKS'nin yüksek riskli bir soruya kanıta dayalı bir yanıta ihtiyacı vardı - LLM'ler mühendislere gerçekten daha iyi gereksinimler yazmakta yardımcı mı oluyor, yoksa aşırı güven, ince hatalar ve yersiz güven gibi yeni hata biçimleri mi doğuruyor?

Yayımlanmış LLM değerlendirmelerinin çoğu kıyaslama puanlarında duruyor. Bir model sürece dahil olduğunda insan mühendislerin gerçekte nasıl davrandığı ya da bu davranışın mühendisin kendi deneyimiyle nasıl değiştiği hakkında çok az şey söylüyorlar. Bunu yanıtlamak, bir sıralama tablosu değil, kontrollü bir insan çalışması gerektiriyordu.

Fraunhofer IKS'teki yüksek lisans tezim için, güvenlik kritik gereksinim mühendisliğinde LLM'lerin güvenilirliği üzerine uçtan uca bir çalışma tasarladım ve yürüttüm; çalışmayı tasarımdan ve etik onaydan nihai veri analizine kadar taşıdım.

Katılımcıları kontrollü koşullar altında gereksinim mühendisliği görevlerinden geçiren, LLM destekli iş akışlarını yalnızca insan gücüyle yürütülenlerle karşılaştıran özel bir deney platformunu Streamlit'te geliştirip devreye aldım. Platform her etkileşimi kaydetti; böylece LLM'nin doğruluk, verimlilik, kullanıcı güveni ve öğrenme üzerindeki etkisini, kişisel beyanlara dayanmadan ölçebildim.

Sonuçların analizi, LLM desteğiyle çalışan deneyimli mühendislerde yaklaşık %15'lik bir verimlilik artışı gösterdi - ancak aynı destek, kullanıcı uzmanlığı düştükçe büyüyen belirgin bir aşırı güven riski üretti; deneyimi daha az olan katılımcılar hatalı model çıktısını sorgulamadan kabul etmeye daha yatkındı. Sonuç: güvenlik kritik işlerde LLM faydası gerçek ama kullanıcı uzmanlığına bağlı.