Application of neural language models for research article classification into sustainable development goals
Loading...
Date
2022
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
La sustentabilidad ha ganado mucha atención recientemente, que se han empezado a evidenciar los efectos del cambio climático y daño al medio ambiente. Esto ha hecho necesario tomar acciones urgentes para poder continuar habitando en el planeta Tierra. Un primer paso en esta dirección es medir la contribución actual de las universidades a los objetivos de Desarrollo Sostenible (ODS). Así, en esta tesis se exploró el uso de modelos de lenguaje basados en Transformers para desarrollar un clasificador de para artículos académicos. Este modelo podría lograr que las instituciones académicas midan su contribución a la sustentabilidad y también promover la colaboración entre investigadores de diferentes áreas para resolver desafíos del mundo actual. Se propone un modelo RoBERTa al que se aplicó fine-tuning que alcanza un f1-score de 73%. Adicionalmente se estudió el uso de dos técnicas de Inteligencia Artificial Explicable (XAI): mecanismos de atención y gradientes integrados, para entender las predicciones generadas por el modelo. Finalmente, se condujo un estudio de usuario para descubrir cuál de los métodos de explicación descritos es mejor, a través del uso de técnicas de visualización de texto. Se concluye que los mecanismos de atención ayudan más que los gradientes integrados a entender las predicciones del modelo, incluso cuando dichas predicciones son erróneas.
Description
Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2022
Keywords
Aprendizaje profundo, Sustentabilidad, Inteligencia artificial explicable, Estudio de usuario