Módulos de atención temporal para redes neuronales con memoria externa
| dc.contributor.advisor | Soto Arriaza, Álvaro Marcelo | |
| dc.contributor.author | Palma Otero, Rodolfo | |
| dc.contributor.other | Pontificia Universidad Católica de Chile. Escuela de Ingeniería | |
| dc.date.accessioned | 2020-06-26T13:36:09Z | |
| dc.date.available | 2020-06-26T13:36:09Z | |
| dc.date.issued | 2020 | |
| dc.description | Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2020 | |
| dc.description.abstract | En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada, permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos. Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26% al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso de de los módulos de atención temporal permite resolver tareas de razonamiento que el modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada, permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos. Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26% al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso de de los módulos de atención temporal permite resolver tareas de razonamiento que el modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada, permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos. Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26% al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso de de los módulos de atención temporal permite resolver tareas de razonamiento que el modelo original no es capaz de resolver. | |
| dc.format.extent | x, 45 páginas | |
| dc.identifier.doi | 10.7764/tesisUC/ING/29425 | |
| dc.identifier.uri | https://doi.org/10.7764/tesisUC/ING/29425 | |
| dc.identifier.uri | https://repositorio.uc.cl/handle/11534/29425 | |
| dc.language.iso | es | |
| dc.nota.acceso | Contenido completo | |
| dc.rights | acceso abierto | |
| dc.subject.ddc | 006.3 | |
| dc.subject.dewey | Ciencias de la computación | es_ES |
| dc.subject.other | Inteligencia artificial | es_ES |
| dc.subject.other | Aprendizaje de máquina | es_ES |
| dc.subject.other | Procesamiento del lenguaje natural (Ciencia de la computación) | es_ES |
| dc.title | Módulos de atención temporal para redes neuronales con memoria externa | es_ES |
| dc.type | tesis de maestría | |
| sipa.codpersvinculados | 73678 | |
| sipa.codpersvinculados | 222878 |