数字工程 | 德国莱普工业大学团队：基于深度强化学习的既有工厂规划模拟

Simulation-based brownfield factory planning using deep reinforcement learning

Matthias Klar ^a, Peter M. Simon ^a, Bahram Ravani ^b, Jan C. Aurich ^a

a Institute for Manufacturing Technology and Production Systems, RPTU, Kaiserslautern, Germany

b Department of Mechanical and Aerospace Engineering, UC, Davis, CA, United States

Abstract

Factory layout planning aims at generating optimized layout variants under consideration of varying planning objectives and boundary conditions. Automated planning approaches are commonly used in the early phase of layout planning since planning manually is time-consuming. Recent developments propose deep Reinforcement Learning (RL) based approaches that are capable of generating high-quality solutions by learning the metrics of the underlying problem. However, the existing deep RL-based approaches only consider greenfield planning and neglect the more common case of brownfield planning. This paper addresses this research gap with a novel planning approach that combines deep RL and material flow simulation to solve brownfield planning problems.

Keywords

factory layout planning, reinforcement learning, material flow simulation, brownfield planningoptimization

Figure 1. Overview of methodology and agent architecture

Figure 4. Visualization of three selected solutions

摘要

工厂布局规划旨在综合考虑不同的规划目标和边界条件，生成优化的布局方案。由于手动规划耗时较长，自动化规划方法通常在布局规划的初期阶段得到广泛应用。近期的研究提出了基于深度强化学习（RL）的方法，该方法能够通过学习潜在问题的度量标准来生成高质量的解决方案。然而，现有的基于深度强化学习方法仅考虑了绿地（新建工厂）规划，而忽略了更为常见的棕地（既有工厂）规划情况。本文针对这一研究空白，提出了一种新的规划方法，该方法结合了深度RL和物料流模拟，以解决棕地规划问题。

工厂布局规划，强化学习，物料流模拟，棕地规划，优化

研究背景：

1. 工厂布局规划： 工厂布局规划旨在生成考虑不同规划目标和边界条件的优化布局方案。由于手动规划耗时，自动化规划方法常用于布局规划的早期阶段。

2. 深度强化学习（RL）： 近期发展提出基于深度强化学习的方法，通过学习问题的度量来生成高质量的解决方案。

3. 研究缺口： 现有的基于深度RL的方法仅考虑绿地规划，忽略了更常见的棕地规划。

研究方法：

1. 方法论： 本工作基于之前的研究，将绿地规划扩展到棕地规划。首先定义棕地规划问题的所有特征，包括现有布局、所有功能单元及其能力、相应的流程链和物料流特性。

2. 应用场景和结果： 通过Rainbow DQN代理处理当前状态信息，使用图神经网络处理运输矩阵，使用卷积神经网络处理布局中的空闲和占用空间信息，最后应用多层感知器处理下一个功能单元的信息。代理根据其动作空间进行操作，所有功能单元按顺序放置。动作掩码方法用于防止无效动作，最后将有效动作传递给环境以放置功能单元。

实验设计：

1. 初始布局： 包含13个功能单元的初始布局，分析显示功能单元位于布局角落，导致长运输距离和长通过时间。

2. 实验设置：进行了七次实验，以不同的优先级α和β来研究RL方法在目标冲突设置中的能力。RL方法在Intel Xeon E 5-2670处理器上使用30GB RAM训练了3天。

结果分析：

1. 解决方案概述： 不同的优先级导致不同的解决方案，但并非所有解决方案都是最优的。规划者可以选择任何解决方案来详细分析生成的布局，但应主要关注生成的主导解决方案。

2. 选定的解决方案：通过实验，观察到不同优先级导致不同的奖励曲线形状，并影响标准差。通过逐步降低重构努力的优先级β，可以找到有价值的中间布局，这些布局可以指导规划者完成棕地规划过程。

总体结论：

1. 研究贡献：本文提出了一种用于棕地规划的基于模拟的RL工厂布局规划方法，扩展了现有的深度RL规划方法到棕地规划领域。

2. 未来工作： 未来的研究将关注如何管理棕地工厂规划中的动态需求，以增强方法的实际适用性。

关注公众号，后台回复“DE26”即可下载原文

于2024年获得莱普工业大学博士学位，自2023年10月起担任莱普工业大学制造技术和生产系统研究所（FBK）生产系统团队的首席研究员。他的研究重点是生产系统中的数字技术应用，迄今已发表高水平论文20余篇。

于2021年加入莱普工业大学制造技术和生产系统研究所（FBK）生产系统团队并攻读博士学位。他的研究重点是生产系统中的数字化技术应用，至今已发表多篇高水平论文。

美国加州大学戴维斯分校机械学院杰出首席教授（Distinguished Professor）。他的研究领域包括动力学和机器人，他是美国机械工程师学会（ASME）的会士，曾获ASME机器设计奖（Machine Design Award）、ASME致力服务奖（Dedicated Service Award）、ASME Gustus Larson纪念奖（Gustus Larson Memorial Award）、ASME设计自动化奖（Design Automation Award）、SME杰出青年制造工程师奖（Outstanding Young Manufacturing Engineer Award）和斯坦福大学荣誉教授。

德国工程院院士、CIRP院士及董事会委员、德国生产技术科学协会（WGP）会士及前主席，现任凯泽斯劳滕-兰道工业大学制造技术与生产系统首席教授。长期致力于数字化制造、先进制造和可持续生产的研究，主持数十项欧盟、德国教育部及德国科学基金会重点项目，荣获富布赖特高级访问学者和CIRP泰勒奖章等荣誉。现任凯泽斯劳滕工业大学校理事会成员、工业4.0应用中心Potsdam顾问委员及德国工程师协会VDI北巴登-普法尔茨分会董事，并担任德国研究基金会（DFG）、瑞士国家科学基金会（SNF）、美国国家科学基金会（NSF）评委，同时为《CIRP制造科学与技术》、《数字工程》等期刊编委会成员。