Supermasks and a good initialization are all you need
| dc.contributor.advisor | Soto Arriaza, Álvaro Marcelo | |
| dc.contributor.author | Rencoret Domínguez, Francisco | |
| dc.contributor.other | Pontificia Universidad Católica de Chile. Escuela de Ingeniería | |
| dc.date.accessioned | 2021-01-14T10:57:40Z | |
| dc.date.available | 2021-01-14T10:57:40Z | |
| dc.date.issued | 2020 | |
| dc.description | Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2020 | |
| dc.description.abstract | Los modelos de aprendizaje profundo han mostrado significativas mejoras en las tareas de visión por computador, aunque generalmente optimizando redes neuronales altamente parametrizadas. Para mejorar esto, la hipótesis de Lottery Ticket (Frankle & Carbin, 2019) establece que una red neuronal densa contiene una subred de modo que, cuando se entrena de forma aislada, puede igualar el rendimiento de la red completa original. El entrenamiento de Supermask (Zhou et al., 2019) es una forma eficiente de obtener un Lottery Ticket, pero desafortunadamente, aún enfrenta problemas de rendimiento. En el entrenamiento de Supermask, el valor de los pesos iniciales es clave ya que nunca se actualizan. Nuestra hipótesis es que, al agregar conocimiento previo de los datos a la inicialización de los pesos, el entrenamiento de Supermask encontraría una subred con mejor rendimiento en los datos de prueba que la inicialización aleatoria. En esta tesis, proponemos un método novedoso para inicializar los pesos de un modelo bajo el entrenamiento de Supermask. Nos referimos al método propuesto como PatchesInit. El método inicializa los pesos con patrones encontrados en los datos de entrenamiento, aproximándose así a lo que deberían aprender en un esquema de entrenamiento regular. Para evaluar PatchesInit, entrenamos varias ConvNets, con diferentes configuraciones de Supermask, sobre los conjuntos de datos CIFAR-10, CIFAR-100 y TinyImagenet- 200. Los resultados muestran que PatchesInit es una estrategia de inicialización eficaz, mejorando significativamente el rendimiento de la inicialización aleatoria. Para ConvNets de poca profundidad, el método propuesto supera a la inicialización aleatoria bajo diferentes niveles de weight pruning. Por otro lado, PatchesInit enfrenta problemas para inicializar los pesos de manera efectiva para redes más profundas, por lo que proponemos una variante que sí encuentra subredes con mejor rendimiento que la inicialización aleatoria. | |
| dc.format.extent | xii, 54 páginas | |
| dc.identifier.doi | 10.7764/tesisUC/ING/50198 | |
| dc.identifier.uri | https://doi.org/10.7764/tesisUC/ING/50198 | |
| dc.identifier.uri | https://repositorio.uc.cl/handle/11534/50198 | |
| dc.language.iso | en | |
| dc.nota.acceso | Contenido completo | |
| dc.rights | acceso abierto | |
| dc.subject.ddc | 006.31 | |
| dc.subject.dewey | Ciencias de la computación | es_ES |
| dc.subject.other | Aprendizaje de máquina | es_ES |
| dc.subject.other | Redes neurales (Ciencia de la computación) | es_ES |
| dc.title | Supermasks and a good initialization are all you need | es_ES |
| dc.type | tesis de maestría | |
| sipa.codpersvinculados | 73678 | |
| sipa.codpersvinculados | 232479 |