信息与控制

作者：史洪岩, 付国城, 潘多涛

关键词：双连续搅拌反应釜, 深度强化学习, 非线性系统, 近端策略优化算法, 广义状态相关探索

连续搅拌反应釜(continuous stirring tank reactor，CSTR)是经典的化工设备，被广泛应用于化工过程。由于其具有较强的非线性和时滞性，传统的控制方法无法满足其跟踪控制的精度要求。针对连续搅拌反应釜提出一种基于广义状态相关探索(generalized state-dependent exploration，gSDE)的近端策略优化(proximal policy optimization，PPO)算法的跟踪控制方法。首先使用机理模型模拟真实环境与PPO智能体进行交互；其次利用gSDE使每个回合的探索更稳定且方差更小，同时保证了探索的效果；最后通过增加反馈奖励的方式，解决环境稀疏奖励的问题，使得智能体学会如何对CSTR进行跟踪控制。将该算法应用于双CSTR系统进行测试。仿真结果表明，该算法对复杂非线性系统的跟踪控制具有训练过程平稳、控制误差小、对干扰的反应迅速等优势。

来源：2023年第3期

《信息与控制》期刊编辑部

查看信息与控制杂志2023年第3期