Hacia la interpretabilidad de la detección anticipada de riesgos de depresión utilizando grandes modelos de lenguaje
Horacio Thompson, Maximiliano Sapino, Edgardo Ferretti, Marcelo Errecalde · 2025
Read Hacia la interpretabilidad de la detección anticipada de riesgos de depresión utilizando grandes modelos de lenguaje by Horacio Thompson, Maximiliano Sapino, Edgardo Ferretti, Marcelo Errecalde (2025) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2503-20939.txt.
Introduction
Horacio Thompson, Maximiliano Sapino, Edgardo Ferretti, and Marcelo Errecalde work toward interpretable depression risk detection in two thousand twenty-five. Early risk checks on the web aim to flag users in need fast. Large language models solve many language tasks well, but domain reasoning needs proof. Their texts here are in Spanish.
A specialist style reasoning rule guides how users are read. In-context learning applies that rule to the Gemini model. Scores are checked in both counts and quality terms. Apt calls came with clear reasons that humans can follow. The method opens a path for language models in early risk work.
Catalog record
| CREATOR | Horacio Thompson, Maximiliano Sapino, Edgardo Ferretti, Marcelo Errecalde |
|---|---|
| YEAR | 2025 |
| COLLECTION | PAPERS |
| FORMAT | TXT |
| FILE SIZE | 22 KB |
| VERSION | 1.0 |
| LICENSE | http://creativecommons.org/licenses/by/4.0/ |
| RIGHTS | CC BY |
| SOURCE | arXiv |
Source: https://arxiv.org/abs/2503-20939
Browse the full library · About the Tower of Babel
Full text
The opening of the work, from the library's hosted text:
Hacia la interpretabilidad de la detección anticipada de riesgos de depresión utilizando grandes modelos de lenguaje Thanks: Presentado en 30° Congreso Argentino de Ciencias de la Computación (CACIC 2024), La Plata, Argentina. Libro de Actas, pp. 72–81. Horacio Thompson, Maximiliano Sapino, Edgardo Ferretti, Marcelo Errecalde Abstract La Detección Anticipada de Riesgos (DAR) en la Web consiste en identificar usuarios en riesgo tan pronto como sea posible. Aunque los Grandes Modelos de Lenguaje (LLMs) han demostrado resolver eficientemente diversas tareas lingüísticas, es importante evaluar su capacidad de razonamiento en dominios específicos. En este trabajo, proponemos un método para resolver la DAR de depresión utilizando LLMs sobre textos en español, cuyas respuestas puedan ser interpretadas por humanos. Definimos un criterio de razonamiento para analizar usuarios a través de un especialista, aplicamos in-context learning al modelo Gemini , y evaluamos su desempeño de manera cuantitativa y cualitativa. Los resultados muestran que es posible obtener predicciones precisas sustentadas por razonamientos explicativos, permitiendo una comprensión más profunda de la solución. Nuestro enfoque ofrece nuevas perspectivas para abordar los problemas de DAR aprovechando el poder de los LLMs. 1 Introducción La Detección Anticipada de Riesgos (DAR) en la Web consiste en reconocer de forma correcta usuarios que están en riesgo tan pronto como sea posible. Para cada usuario de una red social, se dispone de una lista de publicaciones (posts) y el objetivo es emitir una alarma de riesgo utilizando el menor número posible de posts. Esto incorpora una complejidad adicional a los problemas de clasificación estándar, ya que no sólo es necesario garantizar la precisión, sino también asegurar la rapidez en la toma de decisiones. Si bien la precisión es esencial en la DAR, la importancia de la rapidez incrementa conforme pasa el tiempo y las decisiones se retrasan. Por lo cual, es fundamental equilibrar la corrección de la clasificación y la rapidez en la detección de usuarios en riesgo. En los últimos años, se han propuesto diversos desafíos como CLEF eRisk [ 16 ] y MentalRiskES [ 14 ] que abordan problemas de DAR en distintos dominios vinculados a la salud mental. En particular, MentalRiskES 2023 fue la primera edición de DAR centrada en el idioma español, en la cual una de las tareas consistió en la detección de signos de depresión. El objetivo fue que los participantes propusieran soluciones para la DAR analizando los usuarios post a post. Si un usuario es clasificado como positivo, se emite una alarma de riesgo y el análisis finaliza; en otro caso, si no se emiten alarmas durante todo el análisis, el usuario es clasificado como negativo. Las soluciones se evalúan utilizando métricas de clasificación estándar, como Accuracy, Precision, Recall y F1. Dado que el tiempo cumple un rol esencial en estos problemas, existen métricas específicas como early risk detection error (ERDE) [ 13 ] , que permite evaluar la precisión y la demora en las decisiones de los modelos. En particular, ERDE \theta se distingue por penalizar severamente los casos verdaderos positivos (TPs) que ocurren después de haber leído \theta posts. Sin embargo, la elección de este valor puede resultar en una métrica inadecuada, penalizando insuficientemente a los sistemas rápidos y de manera excesiva a los sistemas lentos [ 17 ] . De esta manera, surge la métrica F-latency [ 17 ] , que evalúa las soluciones utilizando la medida F1 y penaliza gradualmente las decisiones en función de la demora. Asimismo, el surgimiento de los Grandes Modelos de Lenguajes (LLMs) ha revolucionado el campo de la Inteligencia Artificial, demostrando una capacidad excepcional para resolver una amplia variedad de tareas en múltiples dominios. Su éxito se debe a la habilidad para aprender patrones complejos, entender expresiones en lenguaje natural y generar contenido de calidad y en múltiples formatos. El rendimiento general de los LLMs se evalúa usualmente mediante benchmarks estandarizados. En particular, el modelo Gemini [ 18 ] ha demostrado un desempeño superior a otros modelos, como GPT-3.5 y LLAMA-2, en diversas pruebas como MMLU, GSM8K y BIG-Bench-Hard. Estos resultados destacan la capacidad de Gemini para comprender y razonar en tareas lingüísticas complejas, convirtiéndolo en una herramienta valiosa para diversas aplicaciones. No obstante, para una comprensión más profunda de las ventajas y limitaciones de los LLMs, es importante evaluarlos en dominios específicos. A pesar de su excelente rendimiento, los LLMs se consideran cajas negras debido a la falta de transparencia en sus procesos internos, lo que dificulta su interpretación y explicabilidad [ 24 ] . Asimismo, enfrentan desafíos importantes como las alucinaciones [ 7 ] , los sesgos [ 5 ] y el alto costo computacional en entrenamiento e inferencia [ 22 ] , que a menudo requiere el uso de APIs. De esta forma, el área de la interpretabilidad busca validar y comprender las decisiones de los LLMs, especialmente aquellas difícilmente explicables para los humanos [ 8 ] . En esta área se realizan avances importantes para aumentar el grado de confianza de los LLMs, particularmente en aplicaciones críticas [ 4 ] , donde los modelos deberían ser capaces de realizar predicciones correctas, como así también aportar información novedosa y relevante a profesionales [ 1 ] . En [ 3 ] se presenta un estudio exhaustivo sobre los desafíos y oportunidades inherentes a la aplicación de los LLMs en el área de la psicología, enfocándose en aspectos como la precisión, eficacia y confiabilidad de los modelos. Aunque hay estudios que exploran el uso de los LLMs en diagnósticos médicos de pacientes [ 10 ] y en la generación de respuestas automáticas para asistentes virtuales [ 15 ] , no se ha explorado el uso de los LLMs para resolver la DAR mediante razonamientos que respalden las soluciones obtenidas. Por otra parte, los LLMs generativos son modelos auto-regresivos entrenados para predecir una pieza de texto a partir de una secuencia de texto previa. La capacidad de generar explicaciones es una habilidad emergente desarrollada durante el entrenamiento [ 20 ] , que puede ser aprovechada para realizar predicciones precisas basadas en pasos de razonamiento explícitos [ 12 ] . Técnicas como cadena de pensamiento ( chain-of-thought ) [ 21 ] y aprendizaje en contexto ( in-context learning ) [ 9 ] pueden mejorar significativamente el desempeño de los modelos, generando respuestas fundamentadas y coherentes. En particular, in-context learning es una técnica de pocos disparos ( few-shot ) que permite a los modelos aprender patrones a partir de un número limitado de ejemplos en el prompt de entrada. Aunque esta técnica puede mejorar la generación de razonamientos, requiere datos de entrenamiento bien fundamentados y no garantiza la precisión de los LLMs [ 23 ] . De esta forma, la evaluación de los LLMs en tareas de razonamiento se ha convertido en un área de gran interés para la comunidad científica [ 11 ] . En este trabajo, proponemos un método interpretable para la DAR de depresión utilizando LLMs sobre textos en español. Nuestras principales contribuciones son: 1) definir un criterio de razonamiento para evaluar usuarios a través de un especialista (psicólogo), 2) aplicar la técnica in-context learning al modelo Gemini para obtener predicciones fundamentadas, y 3) evaluar la solución obtenida de manera cuantitativa y cualitativa. Particularmente, comparamos los resultados obtenidos con métodos del estado del arte y evaluamos