Nový výzkum ukazuje, že ChatGPT, včetně jeho specializovaného nástroje „ChatGPT Health“, často postrádá kritické lékařské pohotovosti, což vyvolává vážné otázky ohledně jeho spolehlivosti jako lékařského poradce. Systém umělé inteligence má potíže s přesným vyhodnocením, kdy je potřeba okamžitá lékařská pomoc, a někdy nedokáže vydat varování ani ve vysoce rizikových situacích.
Vzestup umělé inteligence ve zdravotnictví
ChatGPT a podobné velké jazykové modely (LLM) jsou stále populárnější pro dotazy týkající se zdraví, přičemž OpenAI hlásí desítky milionů uživatelů, kteří již funkci „ChatGPT Health“ používají. K tomuto rychlému přijetí dochází navzdory omezenému přísnému testování bezpečnosti a účinnosti systému v reálných nouzových situacích.
Výsledky studie: znepokojivý trend
Vědci z Icahn School of Medicine na Mount Sinai provedli zrychlenou studii publikovanou v Nature Medicine, aby zaplnili tuto kritickou znalostní mezeru. Vytvořili 60 lékařských scénářů pokrývajících 21 specializací, které se liší v závažnosti a zahrnují demografické faktory, jako je rasa a pohlaví. Výsledky byly odrazující:
- Převrácená varování: Varování AI byla „převrácena“, což znamená, že u lidí s vyšším rizikem sebepoškozování nebo vážných zdravotních následků je méně menší pravděpodobnost, že dostanou doporučení pro pohotovostní péči.
- Zmeškané nouzové situace: Ve více než polovině případů, kdy lékaři identifikovali naléhavou situaci, ChatGPT nedokázal správně označit situaci.
- Výukové programy vs. scénáře ze skutečného světa: Systém fungoval uspokojivě v jasných nouzových situacích, ale bojoval v jemných situacích, kdy nebezpečí nebylo okamžitě zřejmé.
Proč je to důležité
Nespolehlivost lékařských doporučení založených na AI má vážné důsledky. Jak poznamenává Isaac S. Kohan z Harvard Medical School: „Když miliony lidí používají systém umělé inteligence k určení, zda potřebují pohotovostní péči, jde o extrémně vysoké sázky.“ Sázky jsou obzvláště vysoké, protože lidé AI důvěřují, ale umělá inteligence není zodpovědná.
Tato studie zdůrazňuje kritickou mezeru v současném přijímání nástrojů umělé inteligence ve zdravotnictví. Nedostatek nezávislého posouzení před rozsáhlou implementací riskuje nesprávnou diagnózu, zpoždění léčby a potenciálně život ohrožující následky.
Závěr
Neschopnost ChatGPT spolehlivě detekovat lékařské pohotovosti zdůrazňuje naléhavou potřebu přísného testování a dohledu před tím, než svěříte kritická zdravotní rozhodnutí AI. Dokud tyto systémy nedokážou prokázat konzistentní přesnost při třídění pacientů, měli by uživatelé zůstat opatrní a upřednostňovat důvěryhodné lékařské znalosti před automatizovanými radami.
