Análisis de la sintaxis aprendida por BETO, un modelo de lenguaje en español basado en transformers
Loading...
Date
2021
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Avances en la interpretabilidad y comprensión de modelos como BERT han sido de
utilidad para el desarrollo de mejores herramientas, más seguras y comprensibles. Sin
embargo, muchas explicaciones del funcionamiento del modelo son en base a capacidades
lingüísticas aprendidas, significando que los resultados son solo aplicables para los modelos
basados en el inglés.
En esta tesis se estudian las capacidades sintácticas de BETO, la versión de BERT
en español, desarrollando la comprensión del modelo. Se muestra que BETO posee capacidades
sintácticas, incluso mayores que las de BERT, presentes en distintas heads del
modelo. Además, se realizan estudios con respecto a las competencias, limitaciones y estructura
de este conocimiento. Se encuentra que las activaciones del modelo se producen
en patrones similares cuando se procesan relaciones parecidas. Se indica que la principal
causa para que el modelo falle en reconocer relaciones sintácticas es cuando éstas
se estructuran de manera poco común. Se muestra que el modelo posee parte del contexto
sintáctico que falla en reconocer, sugiriendo un desacuerdo en la formación del árbol
sintáctico con respecto a las anotaciones originales. También, la falta de conocimiento
sintáctico del modelo podría significar una reducción en su rendimiento al evaluarlo en responder
preguntas. Por último, se demuestra que heads con bajo conocimiento sintáctico
logran un alto reconocimiento de la sintaxis cuando trabajan en conjunto, indicando la
presencia de un conocimiento distribuido.
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2021