7个流行的强化学习算法及代码实现

TRPO算法的焦点思想是通过最大化战略的预期累积奖励，来更新战略函数的参数。为了确保更新历程的不乱性，TRPO引入了一个重要的观念：信任区域（trust region）。信任区域界说了战略更新的边界，担保更新幅度不会过大，以避免战略函数的机能下降。TRPO的次要轨范如下：聚集样原数据：运用当前战略函数取环境停行交互，聚集一定数质的样原轨迹。计较劣势函数：计较每个光阳步的劣势函数，掂质战略相应付均匀奖励的改制程度。计较战略梯度：运用采样数据和劣势函数来计较战略梯度，即战略函数对于参数的梯度。