Módulos de atención temporal para redes neuronales con memoria externa
Loading...
Date
2020
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2020