Reinforcement learning with neural network-based value function approximation to manage flexible electric loads and distributed energy resources
Loading...
Date
2021
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Ante los desafíos que conllevan tanto la implementación de generación de energía
mediante recursos renovables, como el inminente aumento de los autos eléctricos en los
hogares en el corto plazo, se propone un modelo de optimización mediante un esquema
de Aprendizaje Reforzado para la decisión de acciones que tomar sobre dos recursos energéticos distribuidos: un panel solar con batería y un auto eléctrico con capacidad de
entregar energía al hogar. Los estados del modelo son representados por la energía tanto
en la batería como en el auto, y otros factores exógenos como el consumo energético del
momento del hogar, temperatura y humedad. Al existir un espacio infinito de estados, se
realiza una discretización sobre los estados de batería de ambos artefactos. El modelo es
aproximado mediante Aproximación de Función de Valor, utilizando como aproximador
una Red Neuronal, que sirve como función de regresión. La red neuronal es entrenada con
vectores de estado-acción (X) y valores esperados del costo futuro de la acción tomada
(Y ). Se realizan dos experimentos para probar la efectividad del modelo: un ajuste de
los hiperparámetros de la red neuronal, en busca del modelo que mejor logre aproximar
los datos; y una simulación de decisiones en un hogar con datos reales otorgados por
Pecan Street. Se comparan los resultados obtenidos de tomar decisiones día a día con tres
políticas diseñadas a partir de la naturaleza de los datos. El modelo diseñado obtiene un
13% de ventaja por sobre la mejor política diseñada, en el promedio anual.
Description
Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2021