如何将LLM 集成到自动化生产系统

关键词：自动化系统、自主系统、LLM、数字孪生、微服务、多智能体系统 

       在技术不断发展的背景下，自动化和自主系统这两个术语经常交织在一起，但在影响上有明显的不同。两者都涉及到使用技术执行任务，最小化或不需要人工干预，但在决策制定的灵活性上有很大的不同：

• 自动化: 传统自动化系统遵循预先定义的规则和工作流程，缺乏灵活性和适应性，难以应对不可预见的变化。
• 自主系统: 自主系统具备更高的适应性和决策能力，能够根据系统目标和可用选项进行动态决策，例如智能机器人和人工智能。

在从自动化到自主的过渡中，关键的区别在于智能——做出明智、动态决策的能力。大语言模型（LLM）可以提供智能，填补传统自动化和工业系统中自主之间的差距。将LLM集成到工业自动化系统中，使我们能够利用它们在工业自动化中执行多样化任务的能力，进一步减少需要人类干预的任务中的智能需求。LLM在从大量数据集中提取重要信息、理解文本、进行推理、解决问题和支持决策过程方面特别有效。通过使这些模型能够基于实时数据执行智能信息处理，它们可以迅速适应变化，从而提高效率和生产力。

1 背景

1.1 自动化金字塔

自动化金字塔是一种组织工业自动化系统任务的框架，将任务分为五个层次：

• 现场层: 与物理技术过程直接交互，通过传感器和执行器实现。
• 控制层: PLC 等设备执行实时控制任务，例如控制调节和执行功能。
• 监控层: SCADA 和 HMI 系统允许操作员监控和调整过程。
• 生产计划层: 管理生产计划和调度，协调物流和生产过程。
• 企业层: 通过 ERP 系统整合各种业务功能，增强决策和资源管理。

1.2 数字孪生在自动化生产的作用

数字孪生是与物理系统同步的软件系统，能够实现数据驱动优化和远程交互。它充当 LLM 和自动化系统之间的桥梁，提供实时数据和控制接口。

1.3 LLM作为智能自主系统的使能者

将LLM集成到系统中，为数字孪生增加了用于高级数据分析和决策制定的智能。大模型利用大量文本执行推理，提供洞见，解决任务，并支持数据驱动的决策制定，为广泛的问题的解决提供了通用智能。这种智能可以被用来增强自动化系统内的适应性和灵活性，从而更快地响应变化和自动化问题解决。

2 方法论

2.1 LLM智能体和LLM多智能体系统的任务分解

核心上，一个生成性LLM是一个深度神经网络，用于处理和生成基于文本的信息.这种能力使它们能够作为智能体行动，装备了解释不同信息并生成作为任务响应的输出的能力。

如果一个任务对于单个LLM智能体来说太复杂而无法处理，那么就需要进行任务分解。这就是将LLM智能体设计为多智能体系统的一个组成部分的地方。每个LLM智能体都被赋予解决整个过程中的特定子任务，如上图所示。这些子任务可以从解释数据输入和生成动态过程计划到确定下一个可执行的微服务作为动作。智能体在一个框架内运作，其中复杂任务被分解成更易于管理的子任务，允许各个智能体更有效地执行它们。

2.2 结构化提示和智能体设计模板

为了为LLM开发一个有效的提示以执行特定任务，有必要解决几个关键方面以指导文本生成行为。根据在创建基于LLM的应用程序中的经验，本文概述了这些方面，形成了一个有效提示的模板。

这个模板包括以下关键元素：

• 角色、责任和目标：概述智能体的功能角色和它旨在实现的目标，确保与其责任和更广泛的系统目标一致。
• 上下文规范：提供与任务相关的详细背景信息，使智能体能够解释任务特定的上下文。
• 行为指导和约束：包含指导智能体响应的规范，确保它们遵守任务责任。
• 输入输出抽象模式：定义输入和输出的抽象格式，帮助标准化智能体的交互并生成可解析的输出。
• 输入输出交互字段：提供动态输入，并在输出部分仅保留提示词“Output:”，迫使LLM仅通过文本延续生成输出内容。

2.3 为自动化系统中不同层级的任务设计专用的LLM智能体

在之前介绍的基础上，可以设计一个多智能体系统来执行自动化金字塔不同层级的多样化任务。

在LLM多智能体系统中，每个LLM智能体被分配一个特定的角色。在计划层面，一个管理智能体负责整体生产操作的规划。在控制层面，操作员智能体负责控制任务，根据实时数据做出决策，作为微服务接口调用的可执行操作。

数字孪生系统是多智能体系统的基础，通过提供物理过程的实时信息和控制接口。现场层级的执行被管理为微服务，当需要时，可以通过运行时接口调用。这种集成使LLM智能体能够通过数字孪生软件接口立即访问数据和控制机制。

3 系统设计

3.1 概念设计

 LLM智能体通过解释数字孪生系统提供的生产特定信息、规划操作和做出决策，并根据用户命令或系统触发事件生成流程计划。

• LLM 多智能体系统: 由多个 LLM 智能体组成，每个智能体负责特定任务，例如计划、控制、决策等。
• 数字孪生系统: 与物理生产系统同步，提供实时数据和控制接口，充当 LLM 智能体和自动化系统之间的桥梁。
• 自动化系统: 包括 PLC、AGV、传感器、执行器等自动化设备，执行具体的操作任务。

3.2 系统组件

3.2.1 运行时环境

• OPC UA 服务器: 与 PLC 交互，读取和设置值，访问和修改 PLC 的操作参数和状态。
• ROS 服务器: 控制和协调 AGV 的物流功能。
• 服务注册: 记录所有可用的微服务，并提供查找和调用接口。
• 数据池: 聚合来自系统各个部分的实时数据，并供外部组件访问。

3.2.2 事件驱动信息建模

将硬件级数据转换为语义丰富的信息，并以事件日志的形式组织，供 LLM 智能体进行推理和决策。

• 数据观察者: 监控数据池中的数据变化，并应用规则将数据变化转换为有意义的事件。
• 事件日志内存: 以时间顺序组织事件，并为每个事件分配系统时间戳。

3.2.3 LLM 智能体决策和微服务执行

 LLM 智能体订阅特定事件，并根据事件信息进行决策，生成可执行的命令，并通过微服务运行时执行器执行。

• 管理员智能体: 负责生产操作的总体计划，并根据用户命令或系统触发事件生成流程计划。
• 操作员智能体: 负责控制任务，根据实时数据和 LLM 智能体生成的命令执行具体的操作。
• 微服务运行时执行器: 解析 LLM 智能体生成的命令，并调用相应的微服务执行操作。

3.3 案例设置

• 模块化生产系统: 在斯图加特大学工业自动化和软件工程研究所的实验室中，搭建了一个模块化生产系统，包括多个自动化模块，能够执行各种生产和物流任务。
• 数字孪生系统: 建立数字孪生系统，支持实时数据访问和控制接口。
• LLM 多智能体系统: 在计划和控制层设计 LLM 智能体，并根据自动化金字塔的层次结构进行组织。

3.4 系统交互

• 数据采集: 传感器采集物理生产系统的实时数据，并将其发送到数据池。
• 数据观察和事件生成: 数据观察者监控数据池中的数据变化，并应用规则将数据变化转换为有意义的事件，然后将事件记录到事件日志内存中。
• LLM 智能体决策: LLM 智能体订阅特定事件，并根据事件信息进行推理和决策，生成可执行的命令。
• 命令执行: 微服务运行时执行器解析 LLM 智能体生成的命令，并调用相应的微服务执行操作，例如控制 PLC 或 AGV。
• 反馈和调整: 系统收集操作结果数据，并将其反馈给 LLM 智能体，以便进行后续的决策和调整。

3.5 系统优势

• 动态决策和规划: LLM 智能体能够根据实时数据进行动态推理和决策，并生成灵活的流程计划。
• 创造性问题解决: LLM 智能体能够处理不可预见的问题，并提出创新的解决方案。
• 减少人工干预: 系统能够自动执行许多任务，从而减少人工干预，提高效率。
• 提高适应性: 系统能够快速适应生产环境的变化，例如设备故障或订单变化。

4 评估

4.1 评估目标

• 评估 LLM 智能体解释和执行基本任务的能力。
• 评估系统处理预定义和不可预见事件的能力。
• 评估不同 LLM 模型的性能差异。

4.2 评估方法

• 测试用例: 设计了 100 个测试点，包括 50% 的预定义常规任务和 50% 的不可预见事件。
• LLM 模型: 使用了多种 LLM 模型，包括 GPT-4o、GPT-3.5、LLM-3-8B、LLAMA-3-70B 和基于 LLM-3-7B 的微调模型。
• 评估指标:

可执行性: 生成的命令是否可以正确执行。

有效性: 生成的命令是否能够有效解决问题，由人工评估者进行判断。

4.3 评估结果

不同 LLM 模型的性能

• GPT-4o 和基于 LLAMA-3-70B 的微调模型在可执行性和有效性方面表现最佳，分别达到 88% 和 87%。
• LLM-3-8B 的性能明显下降，仅为 53%，表明小型模型可能无法有效地执行复杂的计划和控制系统任务。
• 系统处理不可预见事件的能力: 系统能够有效地处理不可预见的事件，并提出创新的解决方案，例如在输送机故障时自动通知人类监督员并建议重新启动输送机。

4.4 评估结论

• LLM 智能体能够有效地解释和执行基本任务，并处理不可预见的事件。
• 不同的 LLM 模型在性能上存在差异，选择合适的模型对于系统性能至关重要。
• 基于开源模型进行微调可以获得与私有模型相当的性能，从而降低成本。

4.5 未来研究方向

• 实时性能优化: 探索降低 LLM 推理延迟的方法，以满足实时控制系统的需求。
• 更全面的测试: 在真实生产环境中进行更全面的测试，验证系统的鲁棒性和可靠性。
• 成本效益分析: 评估 LLM 集成方案的经济可行性，并与其他解决方案进行比较。
• 扩展应用领域: 将 LLM 集成到其他工业自动化场景中，例如预测性维护、质量检测等。