Nowe badania pokazują, że ChatGPT, w tym dedykowane narzędzie „ChatGPT Health”, często pomija krytyczne sytuacje kryzysowe, co rodzi poważne wątpliwości co do jego wiarygodności jako doradcy medycznego. System sztucznej inteligencji ma trudności z dokładną oceną, kiedy konieczna jest natychmiastowa pomoc lekarska, czasami nie wydaje ostrzeżeń nawet w sytuacjach wysokiego ryzyka.
Rozwój sztucznej inteligencji w opiece zdrowotnej
ChatGPT i podobne modele dużych języków (LLM) stają się coraz bardziej popularne w przypadku zapytań związanych ze zdrowiem, a OpenAI raportuje, że dziesiątki milionów użytkowników już korzysta z funkcji „ChatGPT Health”. To szybkie przyjęcie następuje pomimo ograniczonych rygorystycznych testów bezpieczeństwa i skuteczności systemu w rzeczywistych sytuacjach awaryjnych.
Wyniki badania: niepokojący trend
Naukowcy z Icahn School of Medicine w Mount Sinai przeprowadzili przyspieszone badanie opublikowane w Nature Medicine, aby wypełnić tę krytyczną lukę w wiedzy. Stworzyli 60 scenariuszy medycznych obejmujących 21 specjalizacji, różniących się stopniem nasilenia i uwzględniającymi czynniki demograficzne, takie jak rasa i płeć. Wyniki były zniechęcające:
- Odwrócone ostrzeżenia: ostrzeżenia AI zostały „odwrócone”, co oznacza, że osoby o większym ryzyku samookaleczenia lub poważnych konsekwencji medycznych mniej rzadziej otrzymają zalecenie pomocy w nagłych przypadkach.
- Pominięte sytuacje awaryjne: W ponad połowie przypadków, w których lekarze zidentyfikowali nagły przypadek, ChatGPT nie oznaczył prawidłowo sytuacji.
- Samouczki a scenariusze ze świata rzeczywistego: System działał zadowalająco w wyraźnych sytuacjach awaryjnych, ale miał problemy w subtelnych sytuacjach, gdy niebezpieczeństwo nie było od razu oczywiste.
Dlaczego to jest ważne
Zawodność zaleceń medycznych opartych na sztucznej inteligencji ma poważne konsekwencje. Jak zauważa Isaac S. Kohan z Harvard Medical School: „Kiedy miliony ludzi korzystają z systemu sztucznej inteligencji, aby określić, czy potrzebują pomocy w nagłych przypadkach, stawka jest niezwykle wysoka”. Stawka jest szczególnie wysoka, ponieważ ludzie ufają sztucznej inteligencji, ale sztuczna inteligencja nie ponosi odpowiedzialności.
Badanie to podkreśla krytyczną lukę w obecnym stosowaniu narzędzi sztucznej inteligencji w opiece zdrowotnej. Brak niezależnej oceny przed powszechnym wdrożeniem grozi błędną diagnozą, opóźnieniami w leczeniu i potencjalnie zagrażającymi życiu konsekwencjami.
Wniosek
Niezdolność ChatGPT do niezawodnego wykrywania nagłych przypadków medycznych uwypukla pilną potrzebę rygorystycznych testów i nadzoru przed powierzeniem AI kluczowych decyzji zdrowotnych. Dopóki systemy te nie będą w stanie wykazać stałej dokładności w segregacji pacjentów, użytkownicy powinni zachować ostrożność i przedkładać zaufaną wiedzę medyczną nad automatyczne porady.
