Pesquisadores da Icahn School of Medicine at Mount Sinai identificaram uma falha perigosa na forma como a inteligência artificial lida com decisões éticas na medicina, revelando limitações que podem ter sérias implicações para o cuidado dos pacientes.
O estudo, publicado em 22 de julho de 2025 na NPJ Digital Medicine, testou vários modelos de linguagem de grande porte (LLMs) disponíveis comercialmente, incluindo o ChatGPT, em versões modificadas de dilemas éticos clássicos. A equipe de pesquisa, liderada pelo Dr. Eyal Klang, chefe de IA Generativa do Mount Sinai, e pelo Dr. Girish Nadkarni, presidente do Departamento Windreich de IA e Saúde Humana, descobriu que os sistemas de IA frequentemente cometem erros básicos quando confrontados com cenários levemente alterados.
Em um exemplo revelador, os pesquisadores modificaram o clássico "Dilema do Cirurgião" deixando explícito que o pai do menino era o cirurgião. Apesar dessa informação clara, vários modelos de IA insistiram incorretamente que o cirurgião deveria ser a mãe do menino, demonstrando como a IA pode se apegar a padrões familiares mesmo quando contraditos por novas informações.
Outro teste envolveu um cenário sobre pais religiosos e uma transfusão de sangue. Quando os pesquisadores alteraram o cenário para afirmar que os pais já haviam consentido com o procedimento, muitos modelos de IA ainda recomendaram ignorar uma recusa que não existia mais.
"A IA pode ser muito poderosa e eficiente, mas nosso estudo mostrou que ela pode recorrer à resposta mais familiar ou intuitiva, mesmo quando essa resposta ignora detalhes críticos", explicou o Dr. Klang. "Na área da saúde, onde as decisões frequentemente têm sérias implicações éticas e clínicas, perder essas nuances pode ter consequências reais para os pacientes."
A pesquisa foi inspirada no livro "Rápido e Devagar: Duas Formas de Pensar", de Daniel Kahneman, que contrasta reações rápidas e intuitivas com raciocínio mais lento e analítico. Os resultados sugerem que modelos de IA, assim como os humanos, podem ter dificuldade para alternar entre esses dois modos de pensamento.
Embora os pesquisadores enfatizem que a IA ainda tem aplicações valiosas na medicina, eles ressaltam a necessidade de supervisão humana criteriosa, especialmente em situações que exigem sensibilidade ética ou julgamento apurado. "Essas ferramentas podem ser incrivelmente úteis, mas não são infalíveis", observou o Dr. Nadkarni. "A IA deve ser usada como um complemento para aprimorar a expertise clínica, não como substituta, especialmente ao lidar com decisões complexas ou de alto risco."