ChatGPT Health oblewa testy. Nie ufaj AI w kwestii zdrowia

W dobie powszechnego dostępu do sztucznej inteligencji coraz więcej osób traktuje czatboty jak wirtualnych lekarzy pierwszego kontaktu.

Choć algorytmy świetnie radzą sobie z tłumaczeniem zawiłych wyników badań czy opisywaniem mechanizmów chorób, najnowszy raport opublikowany na łamach prestiżowego czasopisma naukowego Nature Medicine brutalnie sprowadza entuzjastów technologii na ziemię. Wynika z niego, że powierzanie AI decyzji w sytuacjach prawdziwego kryzysu to wciąż igranie z ogniem.

Zespół badaczy postanowił wziąć pod lupę system ChatGPT Health, poddając go rygorystycznym, ustrukturyzowanym testom z zakresu wstępnej segregacji medycznej. Algorytm miał za zadanie przeanalizować opisy objawów i zadecydować, jak pilnej pomocy potrzebuje pacjent. Naukowcy skupili się przede wszystkim na dwóch najdelikatniejszych obszarach - nagłych, ostrych stanach medycznych zagrażających życiu (jak zawał serca) oraz głębokich kryzysach psychicznych, w tym na bezpośrednim ryzyku samobójstwa.

Wyniki eksperymentu okazały się wysoce niepokojące. Jak czytamy w raporcie, sztuczna inteligencja oblała krytyczne testy bezpieczeństwa w obu badanych kategoriach. Zamiast bezwzględnie i natychmiastowo kierować pacjentów wykazujących ostre objawy na pogotowie lub bezwarunkowo zalecać kontakt z numerem alarmowym i linią zaufania w przypadku myśli samobójczych, model nierzadko udzielał wymijających, nieodpowiednich lub zbyt ogólnych porad. W realnym świecie takie opóźnienie w skierowaniu chorego po fachową pomoc mogłoby mieć tragiczne w skutkach konsekwencje.

Publikacja ta to niezwykle ważny sygnał ostrzegawczy dla całej branży technologicznej i samych użytkowników. Pokazuje, że choć wielkie modele językowe dysponują gigantyczną bazą wiedzy, brakuje im niezawodnych, sztywnych protokołów bezpieczeństwa wymaganych w medycynie. Zanim cyfrowi asystenci na dobre zagoszczą w szpitalnych systemach oceny pacjentów, deweloperów czeka jeszcze ogrom pracy nad zabezpieczeniami (tzw. guardrails). Na ten moment, w razie nagłych duszności czy kryzysu psychicznego, tradycyjny telefon na pogotowie pozostaje jedynym mądrym wyborem.