动态规划与 方程
用动态规划方法解最优控制问题是 在 世 纪 年代末提出的，其 基本思想是：若对一系统做出的一系列决策构成了对一性能指标的最优决策的话，
则不论系统的先前决策如何，相继决策都构成了一个以先前决策所得状态为初始
图 输 入 力 矩 曲 线
下 面 用 饱 和 函 数 代替控制器（ ）中的符号函数，取
，仿真结果如图 所示，可以看出控制作用变得平滑。
定 义
式中，
式中，
因等式右端
状态的对同一性能指标的最优决策。用这一基本思想解最优控制问题的方法如下。
设系统方程为
为 控 制； 为
式 中： 为系统状态； 参考输入。给定一性能指标
式 中 ： 为 已 知； 分别为初始时间和终止时间。最优控制问题的提法是：给
）和 终 止 时 间 ，要求 满 足
定参考输入 确定控制 ，使得相应的状态
）且使式（ 所定义的
系统方程（ 性能指标达到其最小值，即有
被称为最优控制， 被称为最优性能指标。
这样的控制
为推导出最优控制应满足的必要条件，设最优控制 存在，则最优性能指标
）和初始时 的函数，即 由式 知
只是初始状态 间
取 。由动态规划原理知，由上 表示对所有可能的 最小值，
式可得出
，则
（ 在（（ ）处 展 开
，再将 ，得 到
，将上两式代入式（ ）后 得
的函数，可提出括号外，故上式即为 不是
式（
式（
将上式两端同除 后 再令 得 到
考虑到
故 上 式 可 写 为
）
因起始时间 可以是任意时刻 ，故由上式知，当控制 为最优控制时，它必满足
）即 为 方 程 。 方程是关于性能指标 的编微分方程，由
）知其边界条件为
通 常 称 为系统状态向量的伴随向量（或协态向量），则
）可 写 为 方 程（
定 义
为 函 数 。 利
故 也 称 用 函数的定义，可将 方
程式（ ）改 写 为
）
由 方 程（ ）知 ，若 最 优 控 存在，则它必使 函数 取 最 大 值 。因 此 当 对 不存在其他约束时，最优控制应满足
基于自由运动机器人最优控制
自由运动 机器人方程
十 可 写 为
式 中 ， 。引入状态变量
可将机器人方程（ ）写为状态方程形式
）
其中
给 定 期望 轨 迹 ，则 期 望 状 态 若记状态误差 ，则误差方程 为
）
取性能指标为
其 中 ， ）为半正定矩阵， 和 ）分别 为 和
正定矩阵。性能指标中第一项反映了对终点误差的要求，积分号后第一项反映了对 控制过程中误差的要求，第二项间接反映了对能量消耗的要求。按定义，
函数
故 是最优控制。对应的最优误差方程和最优 函 数 分别为
由 的表达式（ 知，要完全确定出最优控制 ，还必须求出 由 方程的边界条件式（ ）知
故可设 为二次型，即设
将上式及式（ ）代 入 方 程 后 知
由 的独立性知 ）应 满 足 方程
及边界条件
） ）
至此，求出了最优控制形如
式 中
是 方程（ ）和（ ）对称正定矩阵解。
特别地，当 且取性能指标中 均为常值矩阵，则由式（ ）知
最优控控制
）
式中对称正定矩阵
满足代数 方程
由 式（ 和（ 显然可知；本节求出的最优控制 与计算力矩法所得出的控 制律在形式上完全一样，只不过其中的速度反馈增益矩阵 或 ，和 位 置 反 馈 增 益 矩 或 由 式（ 所确定，且当终止时刻 时，速度 反 馈
是 时变 的 。因此 ，本 节中 求出 的
增益矩阵 和位置反馈增益矩阵 最 优
控 制 律（ 和（ 均可视为计算力矩法的推广。