Browsing by Author "Quiñones, Alejandro"

Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    Análisis de la sintaxis aprendida por BETO, un modelo de lenguaje en español basado en transformers
    (2021) Quiñones, Alejandro; Soto Arriaza, Álvaro Marcelo; Pontificia Universidad Católica de Chile. Escuela de Ingeniería
    Avances en la interpretabilidad y comprensión de modelos como BERT han sido de utilidad para el desarrollo de mejores herramientas, más seguras y comprensibles. Sin embargo, muchas explicaciones del funcionamiento del modelo son en base a capacidades lingüísticas aprendidas, significando que los resultados son solo aplicables para los modelos basados en el inglés. En esta tesis se estudian las capacidades sintácticas de BETO, la versión de BERT en español, desarrollando la comprensión del modelo. Se muestra que BETO posee capacidades sintácticas, incluso mayores que las de BERT, presentes en distintas heads del modelo. Además, se realizan estudios con respecto a las competencias, limitaciones y estructura de este conocimiento. Se encuentra que las activaciones del modelo se producen en patrones similares cuando se procesan relaciones parecidas. Se indica que la principal causa para que el modelo falle en reconocer relaciones sintácticas es cuando éstas se estructuran de manera poco común. Se muestra que el modelo posee parte del contexto sintáctico que falla en reconocer, sugiriendo un desacuerdo en la formación del árbol sintáctico con respecto a las anotaciones originales. También, la falta de conocimiento sintáctico del modelo podría significar una reducción en su rendimiento al evaluarlo en responder preguntas. Por último, se demuestra que heads con bajo conocimiento sintáctico logran un alto reconocimiento de la sintaxis cuando trabajan en conjunto, indicando la presencia de un conocimiento distribuido.