Aprendiendo modelos sparse para algoritmos de deep reinforcement learning basados en policy gradient
Loading...
Date
2021
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Los modelos de redes neuronales han sido ampliamente utilizados durante la última
década, debido principalmente a su gran versatilidad y capacidad de obtener un alto rendimiento
al resolver diversos problemas. Una de las posibles causas de este fenómeno
parece ser la estructura jerárquica y la gran cantidad de parámetros que poseen, ya que
les otorga un gran poder expresivo. Sin embargo, esta gran complejidad puede ser perjudicial,
ya que puede generar: i) overfitting, ii) parámetros redundantes para la tarea que
se está resolviendo y iii) cómputo innecesario. Una forma de reducir la complejidad del
modelo es a través de regularización sparse, la cual consiste en una penalización dentro de
la función objetivo del problema de optimización que fuerza el uso de menos parámetros
o neuronas. Se han explorado formas de reducir la complejidad de los modelos de redes
neuronales a través de regularización en contextos de aprendizaje supervisado, sin embargo,
no se ha explorado el efecto que tiene en un contexto de aprendizaje reforzado
basado en policy gradient. El presente trabajo estudia la posibilidad de obtener modelos
menos complejos en aprendizaje reforzado utilizando algoritmos basados en policy gradient.
Esto se hace comparando distintos tipos de regularización sparse, enfocándose en la
obtención de modelos menos complejos en cuanto al uso de neuronas. Los resultados de
este estudio indican que sí es posible encontrar modelos que utilicen una baja cantidad de
neuronas a través de regularización sparse, siendo aquella aplicada sobre las activaciones
la que obtuvo mejores resultados en cuanto a rendimiento y nivel de sparsity. Además, se
muestra que modelos menos complejos poseen neuronas más especializadas que podrían
ayudar a interpretar modelos en cuanto al rol que cumplen grupos de neuronas dentro de
una política.
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2021