维普资讯 http://www.cqvip.com
４３卷第１抽（总第１０６期 中 国 造 船 Ｖｏｌ ４３ Ｎｏ １（ｓｅ¨且Ｉ Ｎｏ．１５６） ２００２年３月 ＳＨＩＰＢＵＩＬＤＩＮＧ ＯＦ ＣＨＩＮＡ Ｍａｒ．，２００２ 文章编号：ｉ０００ ４８８２（２００２）０１—００７０ ０５ 一种新型的船舶横摇运动实时预报方法 徐培，金鸿章， 王科俊， 阎立涛 （哈串滨工程大学自 化学皖， 黑龙江哈尔滨 １５０００１） 摘 要 本文在阐述强化学习的基本厚理、方法的基础上 提出了一种基于强化学习的ＴＤ算法与ＢＰ算法相结 音的ＢＰＴＤ方法，并将其用于对角回归神经羽络的在线训练。最后以在船艏横摇运封窭时预捏技术上的应 用为倒，说明这种算击有锟强的实时多步预报能力。 关键 词：强化学习；神经网络；预掘 中田分类号：Ｕ６６５．２６１ 文献标识码：Ａ （一） 引 言 传统的时问序列分析与预报理论以线性自回归（ＡＲ）模型和线性自回归滑动平均（ＡＲＭＡ）模型为 基础，对线性系统有较好的效果，但不适于非线性系统的时间序列建模与预报。神经网络能够逼近任 意非线性函数，具有分布式处理、容错能力强等诸多优点，已在时差预报中得到应用。目前预报中使 用最多的是静态多层前向神经网络，对于静态系统的建模预报，这种方法能取得良好的效果。但实际 系统多为动力学系统，如果利用静态多层前向网络构成回归网络就必须预先给出模型的阶数，即事先 确定系统的模型类，这一点极难做到。由于动态网络能够通过训练掌握系统的动力学特征，近年来， 具有内部反馈的动态网络在系统建模与预报中的应用已引起人们的重视 ］，代表了神经网络建模、辩 识、预报、控制的发展方向。动态网络的优点是不需预先确定系统的模型和阶数。本文采用一种属于 动态网络的对角回归神经网络，利用基于强化学习原理的ＴＤ与ＢＰ相结合的ＢＰＴＤ算法对船舶横摇 运动进行实时多步预报，实验证明这种算法具有较好的预报效果。 （二）强化学习的基本原理与算法 强化学习是模拟人和其它生物学习过程的一种机器学习方法，它模拟生物通过“行动一评价一改进 的方式来适应环境的能力，属于在线监督学习过程。典型的强化学习算法有：简单的随机梯度方法， 评价预测法，Ｑ学习以及瞬时差分（ＴＤ）法。其中ＴＤ算法是一种能够对积累量进行预测、代表强化学 习算法研究方向的方法。 ＴＤ算法的思想是 ：考虑多步预测的问题，设有观测结果序列 ， ，……Ｘ ｚ；其中 为 时 刻的观测向量０＝１，２，…， ），。为最后结果。从上述观测序列可掏成对 的一系列估计 ， 。．…． 户 。当用神经网络作预测器时，每一预测 是 及∞的函数，Ｐ ＝Ｐ （ ， ），学习归结为修改 以达 到正确预测。如用监督学习，每一步都要以。为标准修改 ．即： 收稿日期 ２０００—１１—１ ７｝ 修改稿收稿日期；０００１ ０４ ０３ 维普资讯 http://www.cqvip.com
４３眷第１期（总第１５６期） 棘培等：一种新型的船舶横摇运动实时预报方法 ∞一 ＿＿∑ （１） Ｊ一】 由梯度法 ＝口（２一只）可 问题在于２只有到最后才知道．所以必须把所有的 存下来。直到最后才能算出各 来。而 ＴＤ算法给出了一种计算她的增量法，可避免上述问题。它是把时间相继的评价信号的估计值作为 学习的参考信号，将。一尸 写为各瞬时预测值之差的和： 一尸 一∑（ ＋ 一Ｐ ）， 并定义尸¨ 。。’ 于是有 一∑４ ｆ一１ ｍ 一∑ａ（ｚ一尸 ）口 ＝∑ ∑（ ＋ 一 ）口 一∑ ∑（ 一 一只） Ｐ ｆ一１ ｒ一】 — ＾ ＝１ ｗ 一∑ａ（Ｐ 一尸 ）∑ 尸 （２） ＝１ ＾一】 因此 ＝ａ（Ｐ『＋］一Ｐ ）∑ Ｐ （３） ＝１ 上式（称为ＴＤ（１））不需知道。就能计算 ，节省了计算量和存储量，有时为了更重视近期的 ，可在它前面加一指数衰减因子＾： ＝日（ＰＨ 一Ｐ ）∑ 可 Ｐ 此式称为ＴＤ（＾）。 （三）基于ＴＤ与ＢＰ相结合的ＢＰＴＤ算法 运用ＴＤ法进行成功预报的关键是求出梯度 Ｒ，如果采用多层前向神经网络实现上述算法，可 以从输出层到输＾层反向计算可 ］。 设有一个 层的前向网络， ；表示第”层的第Ｊ个节点， ；和 分别表示该节点的输入和输出， ｆ表示节点的作用函数，即 ＝，（ ） ，（∑ ＋ ，其中 ｊ 表示从 一 到 ；的连接权， 是节点 的阈值。对一个给定的输＾模式，第ｋ个预测输出是尸 ，即尸Ｉ—ＥＰ 尸一…］，那么 ＝ ＝警茄＝ ㈨ 其中， 一等，当ｎ— 时，即对于输出节点 ＝厂（ｘＤ，当”≠ 时，即对于隐层节点， 一 厂（ ：） ｒ ，ｎ：Ｍ一１，Ｍ一２，…，２。 总之，尽管ＴＤ法中没有给出如何计算可 Ｒ，但当用多层前向网络，对角回归等实现ＴＤ法时， 可以由ＢＰ方法完成 ，的计算。 （四） ＢＰＴＤ算法在船舶横摇运动实时预报技术上的应用 船舶横向运动建模是一个复杂的问题。几十年来，尽管在船舶纵摇、垂荡运动理论建模和预报上 已取得了极大成功，但船舶的横向运动（横摇、横荡和艏摇）建模却不能令人满意。而在船舶运动中， 维普资讯 http://www.cqvip.com
中 国 造 船 学术论文 横摇对船舶运行的影响最大，所以准确地对船舶横摇运动进行实时预报具有重要意义。由于动态网络 具有不需事先确定系统模型类的优点，所以我们选用了一种属于动态网络的对角回归神经网络；而ＢＰ 算法是一种有教师学习方法，不能进行实时预报，所以我们采用了再励学习中的ＴＤ算法与之相结合 的做法进行在线实时多步预报 １．神经网络结构 经选择采用结构相对简单，训练时间短的三层对角回归神经网络，结构如图１。 其数学模型为： ＯＡｔ）＝∑Ａ Ｈ （ｆ） Ｈ （￡）＝ｇ（Ｖ （｝）） ｙ （ ）一Ａ Ｈ，０～１）＋∑Ｌ４ （￡）（ ≤户） ， … 各变量说明如下 ＜一 ｎ ＜一 图１ 三层对角回归神经网络结构图 （１）声，ｇ，ｒ分别表示输人层、隐层、输出层的神经元个数，这里根据要求和实验确定声一２，ｇ一 ５ ５０，ｒ＝８；（２）Ｉ，Ｈ，０分别表示输入层、隐层、输出层各神经元的输出：Ｉ （￡）为前一时刻对当前横摇 角的预测值，即Ｉ （｝）＝０ （￡一１）；Ｉ （ｆ）为当前船舶实际横摇角Ｏ（ｔ）｝０ （￡）表示第 步预测输出；（３） ．（￡）表示第 个回归神经元的输入和；（４） 表示由输入神经元ｉ到隐层神经元 的连接权；Ａｆ表示 第Ｊ个隐层神经元的回归权；Ａ 表示由隐层神经元Ｊ到输出神经元 的连接权；（５）ｇ（ ）为Ｓｉｇｍｏｉｄ 函数．取ｇ（ ）：ｌ／（１一 一）；其导函数为ｇ（ ）＝一１／（２＋ ＋ 一）。 ２．船舶横摇运动实时预报实验 实验实现前述对角回归神经网络（输入层神经元个数为２，隐层神经元个数为５ｏ，输出层神经元个 数为８）的多步预测。为了达到较好的效果，采用适于动态调整的以误差梯度信号为依据的变学习率方 案： ‘ 一印 “一¨ 【 （￡）＝ｒｔ（ｔ—１） △ （￡） （６） 其中０ ｅ＜ｌ为常数， ｆ ８Ｅ（￡）８Ｅ（￡一１）１ 一 ｇ“ ’— 一Ｊ 且为避免学习过程中学习率过太．以致系统不稳定，学习率的最大值 即 （ ） … 实验中所用数据为采集的某船实际横摇角，以此数据对神经网络进行在线预测。１、２、３、５和８ 步（以ｓ为单位）预报的结果如图２～６所示（图中实线为实验的横摇角，虚线为预报的横摇角）： ‘０ 卜ｓｔｅｐ ２Ｏ 一 ｉ， ＩＪ Ｉ Ｏ ＿ｌ 赢 Ｉ ‘ 一２Ｏ 从“氘 胁 肿 ‰ 黼 一 翠 ｗ ｒｒ ２横摇角一岳煎报 『ｌ一 一４Ｏ 这些曲线表明：１、２、３步预报能取得较高的预报精度，但５步预报效果已开始下降，８步预报效 维普资讯 http://www.cqvip.com
４３卷第１期ｔ总第１５６期） 豫培等：一种新型的船舶横摇运动宴时预报方法 ＾，。 一＿】 帅 。 肋 ¨ ¨ 拍 。 ∞ ３横幅角 步颅摧 ｔ横插角 班州撒 ５一 ｅ口 。 Ｊ ｌ ｊｌＭ ｌ ｈ ：．ｎ Ｉ ｍ 一４ｆ ４ 讥 批 ＾１ ’ｆ １ １ ’ １’ ’ ５横摇角 班坝摧 ８一ｎｅＰ Ｊ ｎ ．１ＩＭ ．４ ＾／１ Ｉ ６ 稀 ．止，ｌ Ｍ １ ８ｙ 一 Ｖ Ｖ 一州 Ｉ ’ Ｖ Ｕ Ｔ 图６横摇角八步预报 果较差。这说明应用基于强化学习原理的ＢＰＴＤ算法对船舶横摇运动的短期（１～５ｓ）预报是行之有效 的。 （五）结 论 理论分析表明：ＴＤ与ＢＰ算法相结合的ＢＰＴＤ算法能够进行实时预报．实验也证明这是一种较 ｌｌＩｌｌＩｌ维普资讯 http://www.cqvip.com
ｌｌｆｌＩＩｌＩＩｊｌ｛｝ 中 国 造 船 学术论文 好的实时多步预报方法。其实，只需改变控制对象．就能够将此控制方案推广到其它预报系统，如天 气预报、股市预测等，这样就可以更大的发挥其潜能。 参考文献 ［１］王科俊．神经网络建模、预报与控制［Ｍ］．哈尔滨：哈尔滨工程大学出版社，１９９６ ［２］同平凡．再励学习——原理、算法及其在智能控翩中的应用＿ｊ］．信息与控制．１９９６，２５（ｉ）；２８～３４ Ｉｓ］阃立旃．用神经网络对船舶横摇运动时间序列进行实时在线预铡［Ｒ］．暗尔滨工程大学毕业设计，１９９８ Ｎｅｗ Ｍｅｔｈｏｄ ｏｆ Ｓｈｉｐ Ｒｏｌｌｉｎｇ Ｒｅａｌ Ｔｉｍｅ Ｆｏｒｅｃａｓｔ ＸＵ Ｐｅｉ，ＪＩＮ Ｈｏｎｇ—ｚｈａｎｇ，ＷＡＮＧ Ｋｅ—ｊｕｎ，ＹＡＮ Ｌｉ—ｔａｏ （Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｔｈｅ ｓｈｉｐ ｒｏｌｌｉｎｇ ｒｅａｌ—ｔｉｍｅ ｆｏｒｅｃａｓｔ ｉｓ ｃａｒｒｉｅｄ ｏｕｔ ｕｓｉｎｇ ｔｈｅ ｄｉａｇｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ｔｈｅ ｔｒａｉｎｇ ｔｒａｉｎｉｎｇ ｏｆ ｗｈｉｃｈ ｕｓｅｓ ｔｈｅ ＢＰＴＤ ａｌｇｏｒｉｔｈｍ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｔｈｅ ｔｉｍｅ ｄｅｌａｙ（ＴＤ）ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｂａｓｉｃ ｐｒｉｎｃｉｐｌｅ ｏｆ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ（ＢＬ）ｉｓ ｐｒｅｓｅｎｔｅｄ Ｔｈｅｎ，ａｎ ａｌｇｏｒｉｔｈｍ ｎａｍｅｄ ＢＰＴＤ ｂａｓｅｄ ｏｎ ｔｈｅ ｔｉｍｅ ｄｅｌａｙ ａｌｇｏｒｉｔｈｍ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｎｄ ｔｈｅ ｅｒｒｏｒ ｂａｃｋ—ｐｒｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｔｒａｉｎ ｏｆ ｍｕｌｔｉ—－ｌａｙｅｒ ｆｅｅｄ—－ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔ— ｗｏｒｋｓ ａｒｅ ｐｒｏｐｏｓｅｄ ｔｏ ｔｒａｉｎ ｔｈｅ ｄｉａｇｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．Ｔｈｅ ｄｉａｇｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｕｓｉｎｇ ｔｈｅ ＢＰＴＤ ａｌｇｏｒｉｔｈｍ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｒｅａｌ—ｔｉｍｅ ｆｏｒｅｃａｓｔ ｏｆ ｓｈｉｐ ｒｏｉｌｉｎｇ．Ｅｘｐｅｒｉｍｅｎｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｍｅａｓｕｒｅｄ ｄａｔａ ｏｆ ｆａｌｌ—ｓｃａｌｅ ｓｈｉｐ ｒｏｌｌ ｍｏｔｉｏｎ ｉｎｄｉｃａｔｅｄ ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ １ ｓｔｅｐ，２ ｓｔｅｐｓ，３ ｓｔｅｐｓ ａｎｄ ４ ｓｔｅｐｓ ｆｏｒｅｃａｓｔ ｈａｖｅ ｔｈｅ ｖｅｒｙ ｇｏｏｄ ｐｒｅｃｉｓｉｏｎ，ｂｕｔ ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｒｅａｌ—ｔｉｍｅ ｆｏｒｅｃａｓｔ ａｆｔｅｒ ５ ｓｔｅｐｓ ｂｅｇｉｎ ｔｏ ｄｅｔｅｒｉｏｒａｔｅ．Ｔｈｅｓｅ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ａｎｄ，ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｔｈｅ ｍｅｔｈｏｄｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｋｅｙ ｗｏｒｄｓ：Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ；Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｆｏｒｅｃａｓｔ；Ｒｏｌｌ ｍｏｔｉｏｎ 作徐培者简介 女，哈尔滨工程大学自动化学琬研究生。研究领域为智能控制理论及应用，船舶控制和控制系统 通信地址 黑龙江省暗尔滨市晗尔滨工程大学四系９８研，１５０００１。 盘鸿章男．１９４６年生．教授，博士生导师
