Uma falha crítica em sistemas de inteligência artificial utilizados para analisar imagens médicas pode colocar pacientes em risco, de acordo com uma nova investigação do MIT publicada esta semana.
O estudo, liderado pelo estudante de doutoramento Kumail Alhamoud e pela Professora Associada Marzyeh Ghassemi, revela que os modelos de visão e linguagem (VLMs) – sistemas de IA amplamente utilizados em ambientes de saúde – falham fundamentalmente na compreensão de palavras de negação como 'não' ao analisar imagens médicas.
"Essas palavras de negação podem ter um impacto muito significativo e, se utilizarmos estes modelos de forma cega, podemos enfrentar consequências catastróficas", alerta Alhamoud, autor principal do estudo.
Os investigadores demonstraram este problema através de um exemplo clínico: se um radiologista examina uma radiografia torácica que mostra inchaço dos tecidos mas sem aumento do coração, um sistema de IA pode, incorretamente, recuperar casos com ambas as condições, conduzindo potencialmente a um diagnóstico totalmente diferente. Quando testados formalmente, estes modelos de IA não apresentaram melhores resultados do que escolhas aleatórias em tarefas de negação.
Para colmatar esta limitação crítica, a equipa desenvolveu o NegBench, uma estrutura de avaliação abrangente que cobre 18 variações de tarefas e 79.000 exemplos em conjuntos de dados de imagem, vídeo e medicina. A solução proposta envolve o re-treino dos VLMs com conjuntos de dados especialmente criados, contendo milhões de legendas negadas, o que demonstrou resultados promissores – melhorando a recuperação em pesquisas negadas em 10% e aumentando a precisão em perguntas de escolha múltipla com legendas negadas em 28%.
"Se algo tão fundamental como a negação está comprometido, não deveríamos estar a utilizar grandes modelos de visão/linguagem da forma como o fazemos atualmente – sem uma avaliação intensiva", alerta Ghassemi, sublinhando a necessidade de uma avaliação cuidadosa antes da implementação destes sistemas em ambientes médicos de alto risco.
A investigação, que conta com colaboradores da OpenAI e da Universidade de Oxford, será apresentada na próxima Conferência sobre Visão Computacional e Reconhecimento de Padrões. A equipa disponibilizou publicamente o seu benchmark e código para ajudar a resolver esta questão crítica de segurança na IA.