Tecnológico de Costa Rica
  • ¿Cómo publicar en el Repositorio TEC?
  • Políticas
  • Recursos Educativos
  • Contáctenos
    • español
    • English
  • español 
    • español
    • English
  • Login
Ver ítem 
  •   Página Principal
  • Trabajos de Graduación
  • Biblioteca José Figueres Ferrer
  • Escuela de Ingeniería en Computación
  • Maestría en Computación
  • Ver ítem
  •   Página Principal
  • Trabajos de Graduación
  • Biblioteca José Figueres Ferrer
  • Escuela de Ingeniería en Computación
  • Maestría en Computación
  • Ver ítem
JavaScript is disabled for your browser. Some features of this site may not work without it.

Listar

Todo el RepositorioComunidades & ColeccionesPor fecha de publicaciónAutoresTítulosPalabras clavesTipo de Recurso EducativoDestinatarioEsta colecciónPor fecha de publicaciónAutoresTítulosPalabras clavesTipo de Recurso EducativoDestinatario

Mi cuenta

AccederRegistro

Estadísticas

Ver Estadísticas de uso

A deep reinforcement learning approach to multistage stochastic network flows for distribution problems

Thumbnail
Ver/
TF9360_BIB307896_Javier_Porras_Valenzuela.pdf (1.313Mb)
Fecha
2022-05-27
Autor
Porras-Valenzuela, Javier Fabio
Metadatos
Mostrar el registro completo del ítem
Resumen
Distribution networks are a crucial part of supply chains that often entail highly complex optimization problems. An NP-hard example is minimizing the longterm transportation cost of multiple kinds of goods over a time horizon from suppliers to customers, considering order consolidation restrictions for shipments and demand uncertainty. This work presents a novel instance of such a distribution problem called the Shipping Point Assignment (SPA) problem, formulated as a multistage stochastic multicommodity network flows problem with additional nonlinear constraints, where the decision is to which warehouse to assign to the delivery of incoming orders to minimize inventory movements. Inspired by recent advances in combinatorial optimization using reinforcement learning and graph neural networks, we propose a deep Q learning agent with a GCN-based Value Function Approximator. We compare this agent with MLP-based, deterministic and greedy approaches over different simulations scenarios of the SPA problem. While the results do not suggest that the deep Q learning agent finds better policies than the reference agents, interesting avenues of future research were identified to enable reinforcement learning agents to learn from stochastic optimization problems with a graph structure.
 
Las redes de distribuci´on son una parte crucial de las cadenas de suministro que frecuentemente implican problemas de optimizaci´on altamente complejos. Un ejemplo NP-duro es minimizar el costo de transporte al largo plazo de multiples tipos de bienes en un horizonte de tiempo, de proveedores a clientes, considerando restricciones de consolidaci´on de embarques para las ´ordenes y la incertidumbre de la demanda. Este trabajo presenta una instancia novedosa de este problema de distribuci´on, llamado el problema Shipping Point Assignment (SPA), formulado como un problema de flujos de redes multimercanc´ıa estoc´astico multietapa con restricciones no lineales adicionales, donde la decisi ´on es a qu´e almac´en asignar la entrega de ´ordenes entrantes para minimizar movimientos de inventario. Inspirados por avances en optimizaci´on combinatoria con aprendizaje por refuerzo y redes neuronales de grafos, proponemos un agente de deep Q learning con una funci´on de aproximaci´on de valor basada en GCN. Comparamos este agente con alternativas basadas en MLP, deterministicas y greedy en diferences escenarios de simulaci´on del problema SPA. A pesar de que los resultados no sugieren que el agente de deep Q learning encontrara mejores pol´ıticas que los agentes de referencia, interesantes avenidas de investigaci ´on futuras fueron identificadas para abilitar que agentes de aprendizaje por refuerzo aprendan de problemas de optimizaci´on estoc´astica con estructura de grafo.
 
Descripción
Proyecto de Graduación (Maestría en Computación) Instituto Tecnológico de Costa Rica, Escuela de Ingeniería en Computación, 2022.
URI
https://hdl.handle.net/2238/13949
Compartir
       
Métricas
Colecciones
  • Maestría en Computación [108]

|Contáctenos

Repositorio Institucional del Tecnológico de Costa Rica

Sistema de Bibliotecas del TEC | SIBITEC

© DERECHOS RESERVADOS. Un sitio soportado por DSpace(v. 6.3)

RT-1

 

 


|Contáctenos

Repositorio Institucional del Tecnológico de Costa Rica

Sistema de Bibliotecas del TEC | SIBITEC

© DERECHOS RESERVADOS. Un sitio soportado por DSpace(v. 6.3)

RT-1