La IA muestra sesgos raciales al evaluar los casos de salud mental

Los programas de inteligencia artificial pueden mostrar sesgos raciales al evaluar a pacientes con problemas de salud mental, según un estudio reciente.

Las recomendaciones psiquiátricas de cuatro modelos de lenguaje grandes (LLM, por sus siglas en inglés) variaron cuando el historial de un paciente indicaba que era afroamericano, reportaron los investigadores en la revista NPJ Digital Medicine.

“El mayor sesgo se observó en la mayoría de los LLM al tratar con pacientes afroamericanos, quienes a veces recibían recomendaciones muy diferentes para la misma enfermedad psiquiátrica y condiciones idénticas”, explicó el investigador principal, Elias Aboujaoude, director del Programa de Internet, Salud y Sociedad de Cedars-Sinai en Los Ángeles.

Este sesgo fue especialmente notable en casos de esquizofrenia y ansiedad, añadió Aboujaoude.

Los LLM se entrenan con grandes volúmenes de datos que les permiten entender y generar lenguaje humano, señalaron los autores.

Actualmente, estos programas de IA se están evaluando para su uso en la rápida valoración de pacientes y la sugerencia de diagnósticos y tratamientos.

En el estudio, se aplicaron 10 casos hipotéticos a cuatro LLM populares: ChatGPT-4o, Gemini 1.5 Pro de Google, Claude 3.5 Sonnet y NewMes-v15, una versión gratuita de un modelo de Meta.

Para cada caso, se entregaron tres versiones distintas del historial del paciente: una sin mención racial, otra indicando explícitamente que el paciente era afroamericano y una tercera que sugería la raza basándose en el nombre.

Los resultados mostraron que la IA frecuentemente proponía tratamientos distintos cuando los registros mencionaban o sugerían que el paciente era afroamericano.

Dos modelos dejaron de recomendar medicamentos para el TDAH al indicar la raza explícitamente.

Otro sistema sugirió la tutela para pacientes negros con depresión.

Un LLM puso más énfasis en reducir el consumo de alcohol al evaluar a afroamericanos con ansiedad.

Aboujaoude plantea que estos sesgos raciales provienen del contenido con el que se entrenaron los modelos, replicando así desigualdades existentes en la atención de salud mental.

David Underhill, presidente de ciencias biomédicas de Cedars-Sinai, comentó que estos hallazgos son una llamada a garantizar que las tecnologías basadas en LLM promuevan la equidad en salud en lugar de reproducir o aumentar las desigualdades.

Mientras no se alcance este objetivo, Underhill aconseja que estos sistemas se utilicen con precaución, teniendo en cuenta cómo incluso detalles sutiles relacionados con la raza podrían influir en sus decisiones.