Yerel çalışan klinik AI ajanlarında güvenilirlik için yeni eşik modeli

Nature Medicine'da yayımlanan bir çalışma, büyük dil modeli tabanlı klinik yapay zekâ ajanlarının hastane içinde yerel altyapıda çalıştırılması ve her sonucun güvenilirliğinin karar anında ölçülmesi için bir yaklaşım sundu. Sistem, iki MIMIC-IV tabanlı değerlendirmede yedi hastalıklı görevde yüzde 90,04; dört hastalıklı görevde yüzde 83,8 tanısal doğruluğa ulaştı.

Araştırmacılar modelin kendi olasılık puanı, kullandığı dil ve aynı vaka tekrarlandığında verdiği yanıtların davranışsal tutarlılığı dahil farklı güven göstergelerini karşılaştırdı. Tanıdaki davranışsal tutarlılık, doğru ve yanlış sonuçları ayırmada en güçlü gösterge oldu. Tutarlılık eşiği 0,90 olarak belirlendiğinde vakaların yüzde 49,4'ü sistem tarafından tutuldu ve bu alt kümede tanısal doğruluk yüzde 98,9'a yükseldi. Kanıtın kasıtlı olarak zayıflatıldığı stres testinde ise genel doğruluk yüzde 90,6'dan yüzde 70,2'ye düştü.

Sağlık profesyonelleri için neden önemli?

Çalışma, klinik AI kullanımında yalnızca ortalama doğruluk oranına bakmanın yeterli olmadığını gösteriyor. Daha güvenli model; yüksek tutarlılıklı vakaları otomatik akışa alırken belirsiz sonuçları hekime yönlendirebilir. Yerel kurulum hasta verisinin kurum içinde kalmasına katkı sağlasa da sonuçlar gerçek klinik uygulama yerine benchmark verilerine dayanıyor. Özellikle ileri yaş gruplarında doğruluğun daha düşük bulunması, uygulama öncesi prospektif klinik doğrulama ve alt grup performans takibinin zorunlu olduğunu düşündürüyor. Kurumların eşik değerlerini klinik risk düzeyine göre belirlemesi ve otomasyona bırakılan her karar için izlenebilir kayıt tutması da gerekecek.

Kaynak: Nature Medicine
Orijinal araştırmayı görüntüle