Если функция /о не зависит явно от времени, то dSjet и, как следует из приведенных выше соотношений,

Интегрируя в промежутке от t до Т, придем к равенству

из которого получим уравнение оптимальной траектории

dfoldxo

Из сравнения двух полученных результатов следует, что в случае неявной зависимости функции fo от г функция S{x(t), t) должна определяться первоначально заданным выражением и, кроме того.

t =т

2.4. СВЯЗЬ МЕТОДА ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ С МЕТОДОМ ФУНКЦИЙ ЛЯПУНОВА

Связь метода функций Ляпунова с оптимальным управлением подробно изучена в работах Красовского [22-24]. Из более поздних работ отметим статью Калмаиа и Бертрана [25]. В этом разделе, следуя содержанию работы Летова [26], ограничимся рассмотрением функций Ляпунова только в связи с методом динамического программирования.

Рассмотрим автономное линейное дифференциальное уравнение относительно переменных состояния

x = Ax-fbtt. (2.4-1)

Искомая переменная управления и минимизирует функционал стоимости

I(u)=Jwdt=Jw(X(t), и(t))dt (2.4-2)

для заданного вектора начальных условий х(0). W - положительно определенная квадратичная форма

W = W{x, и) = xTQx + qou\ (2.4-3)

Допустим для простоты, что Q - положительно определенная диагональная матрица Q = diag [i, J, где q, i, ...

.... 9л > О- Введем функциональное уравнение Беллмана:

S(x(t), 0 = min f W(x, u)dx. (2.4-4)

Предположим, что на переменную и не наложено никаких ограничений. Пусть f yt; тогда

S{x{t), t) = min ( J W{x, u)dt+ [ W{x, u)di\. (2.4-5)

uqUU f J

Согласно принципу оптимальности, второй интеграл должен быть минимален. Отсюда вытекает, что

S(x{t), t) = min ( J W{x, u)dt -b 5(x(0, Л- (2.4-6)

Если приращение At=t - t достаточно мало, то, применяя разложение в ряд Тэйлора, получим

5 (X (П П = 5 (X (t), t) + -Щ- [Ах (/) + Ьи (01 + о (U)

(2.4-7)

и

S{xit), ) = minf\F(x(/), u{t))M + S (xit), t)+

+ -[Ax (t) + bu {t)\ Ы^о (ДО }. (2.4-8)

Сокращая на 5 и разделив на Д^, перейдем к пределу при Ы^0{o(t)/i!t-0). В результате, опуская в записи независимую переменную получим, что

min (\F (X, м) -Ь I Ах -Ь Ьи]] = 0. (2.4-9)

Необходимое условие минимума выражения в скобках по пере.менной управления u = u{t) состоит в том, что

+-Ь-2,4-Ь=0 (2.4-10)

Так как достаточное условие минимума

= 9о>0 (2.4-11)

также выполняется, то из выражения (2.4-9) получим равенство

\F(x, и) -Ь [Ах -Ь Ы] = О, (2.4-12)

или с учетом выражения (2.4-3)

xTQx + qau + [Ах + Ьи\ = 0. (2.4-13)

В заключение, используя необходимое условие (2.4-10), придем к уравнению

xTQx

Решение этого нелинейного дифференциального уравнения в частных производных легко найти в виде

5 = xTMx-fMo, (2.4-15)

где Жо-произвольная постоянная, которая может равняться нулю, а элементы матрицы М определяются из равенства (2.4-14) при подстановке в него выражения (2.4-15). При подстановке выражения (2.4-15) в равенство (2.-4-10) с учетом формулы (1.5-9), ч. V найдем, что оптимальное управление имеет вид

= - хт [Мт -f М] Ь. (2.4-16)

Заметим, что в этом случае и-мерные векторы р и iji, отвечающие соотношению (2.2-7), удовлетворяют выражению

х'г [Ш^ -f М] = рт = - iJjT.

Запишем уравнение (2.4-12) в следующем виде:

+ =+В^= + -== - (2.4-17)

Из этого выражения получим, что

= -W, . (2.4-18)

т. е. для рассматриваемой задачи функция S является функцией Ляпунова. Функция -W, как следует из начального допущения, является отрицательно определенной. Если, кроме того, функция S будет положительно определенной, то оптимальная система асимптотически устойчива.

Допустим, что функционал S найден методом динамического программирования. Условия положительной определенности S обеспечивают также асимптотическую устойчивость оптимальной системы. Таким образом, метод динамического программирования позволяет оптимизировать систему в смысле некоторого

функционала стоимости (2.4-2) и вместе с тем гарантирует также ее устойчивость. Это особенно важно для нелинейных систем управления

x = f(x, и). (2.4-19)

Функциональное уравнение Беллмана в этом случае приводит вместо соотношения (2.4-12) к соотношению

О =- 1Г -Ь - f, (2.4-20)

хотя уравнение (2.4-18) по-прежнему выполняется.

Пример. Рассмотрим нелинейную систему [26], задаваемую уравнениями

x=Ax-fb , (2.4-21)

ugie), \g{e)\<G (2.4-22)

и

*U>>0- (2-4-23)

Кроме того,

egi (е) > О, ефО, где g-, (е) = g{e)- ke. (2.4-24)

Требуется выбрать g{e) таким образом, чтобы минимизировать функционал стоимости

/(ri) = J (1Г -Ь т2г^2) dt (2.4-25)

при начальных условиях х(0), и{0).

Используя описанную выше процедуру и условие (2.4-12), получим следующее уравнение Беллмана:

. ow + Y{e) + g{e)+ j[Ax + bu]. (2.4-26) Дифференцирование по е приводит к равенству

2xg{e)+- . (2.4-27)

de

При условии, что dg/de = 0, получим первую часть решения поставленной задачи. Это условие означает, что

g{e)=±0, \е\>Е, (2.4-28)

где --положительная величина, подлежащая определению.

Вторая часть решения находится при условии, что dg/deO. В этом случае уравнение (2.4-27) приводит к соотношению

= (2-4-29)

С учетом этого равенства приведем уравнение Беллмана к следующему дифференциальному уравнению в частных производных:

R + [AX + bu)== {у. (2.4-30)

Этому уравнению удовлетворяет функция

5 = х^ Мх -f гип^х -f moU\ (2.4-31)

Компоненты матрицы М и вектора т, а также величина то находятся вторичной подстановкой выражения (2.4-31) в дифференциальное уравнение в частных производных. Равенства (2.4-29) и (2.4-31) приводят к линейной функции g(e). Если

g{e)ke, то е = - [щТх + 2тф]. (2.4-32)

Численное значение Е находится из условия kE = G. Из приводимого ниже замечания следует, что полученное решение совпадает с решением, найденным Летовым [26].

Замечание. При рассмотрении связи метода функций Ляпунова с методом динамического программирования предполагалось, что область управления U заполняет все фазовое пространство. Летов показал [115*], что это ограничение не является существенным. Пусть множество U такое, что

\u\<Um, (2.4-33)

где Um - заданная положительная величина.

Летов [26] предлагает, используя монотонную непрерывную и дифференцируемую функцию

Ф==Ф(т), (2.4-34)

ввести однозначное нелинейное преобразование

- +Um, т>+ М, и = ср(те)== Ф{т), \т\< + М, (2.4-35)

- Um, т<~М.

Величина М зависит от вида функции Ф(т). Теперь вместо переменной управления и используется независимая величина т; за счет этого удается значительно упростить задачу преобраза-

вания функциональных уравнений. (Следует иметь в виду, что в точке и=Им дифференцирование по и невозможно.)

В этом случае функциональное уравнение задается в виде

[Ах + Ь<р (т)] = О, (2.4:36)

а производная левой части удовлетворяет равенству

дт ~

(2.4-37)

ЛИТЕРАТУРА

1. Bellman R. On an Application of a Banach-Stelnhaus Theorem to the Study of the Boundedness of Solutions of Nonlinear Differential and Difference Equations, Ann. of Math. 1948. 49, № 3. pp. 515-522.

2. Bellman R. Dynamic Programming and Stochastic Control Processes. Infor-

mation and Control, 1958. № 3.

3. Bellman R. On the Application of the Theory of Dynamic Programming to the Study of Control Processes, Proc. Symp. Nonlinear Circuit Analysis,

April 1956, pp. 199-213.

4. Bellman R. Some New Techniques in the Dynamic Programming Solution of Variational Problems, Quart. Appl. Math.. 1958, 15, pp. 295-305.

5. Bellman R., Olicksberg I., Gross O. On the Bang-Bang Control Problem, Quart. Appl. Math., 1956, 14, № 11.

6. Bellman R., Kalaba R. On Adaptive Control Process, IRE Trans. Autom. Control. 1959, AC-4, № 11. pp. 1-9.

7. Bellman R., Kalaba R. On Adaptive Control Processes. IRE Natl. Conv. Record, Part 4. 1959.

8. Bellman R., Kalaba R. Dynamic Programming and Adaptive Process Mathematical Foundation, IRE Trans. Autom. Control, 960, AC-5, № 1. pp. 5-10.

9. Aoki M. Dynamic Programming Approach to a Final-Value Control System with a Random Variable Having an Unknown Distribution Function, IRE Trans. Autom. Control. 1960, AC-5, № 4, pp. 270-283.

10. Chaudhuri A. K. Dynamic Programming, Maximum Principle and Minimum Time Control, Int. J. Control. 1965. 1, № 1, pp. 13-19.

11. Denham W. F. Steepest-Ascent Solution of Optimal Programming Problems, Harvard Summer Program, 1963. Optimization of Dynamic Systems, Raytheon Co. Space and Inform, Systems Div., Rept. Bdford, Mass. 1963.

12. Dreyfus S. E. Dynamic Programming and the Calculus of Variations, J. Math. Anal. Appl., 1960. 1, № 2, pp. 228-239.

13. Freimer M. A Dynamic Programming Approach to Adaptive Control Processes, IRE Trans. Autom. Control, 1959. AC-4, № 2, pp. 10-15.

14. Kurzweil F. Dynamic Synthesis of Higher-Order Optimum Saturating Systems, /. Basic Eng., 1961. Ser. D.. 83, № 3, pp. 45-52.

15. Larson R. E. Dynamic Programming with Reduced Computational Requirements, IEEE Trans. Autom. Control. 1965, AC-10, № 2. pp. 135-143

16. Larson R. E. A Survey of Dvnamic Programming Computational Procedures. IEEE Int. Conv. Record. 1967.

17. Tshamran A. On Bellmans Functional Equation and a Class of Time-Optimal Control Systems, /. Franklin Inst., 1965, 280, pp. 493 -505.

18. Bellman R., Dreyfus S. Functional Approximations and Dynamic Programming, Math. Tables and Other Aides to Comput., 1959, 13, № 68.

19 Фельдбаум А. А. Теория дуального управления, 1, П, 111, IV, Автоматика и телемеханика. 1960, 21, № 9; 1961. 22, № 1, 2.

20. Розоноэр Л. И. Принцип максимума Понтрягина в теории оптимальных систем, 1, II, П1, Автоматика и телемеханика, 1959, 20, № 10-12.

21. Лернер А. Я- О предельном быстродействии систем автоматического управления. Автоматика и телем^еханика, 1954, 15, № 6, стр. 461-470.

22 Красовский Н. И. К теории оптимального регулирования. Автоматика и телемеханика. 1958, 18, стр. 1005-1016.

23 Красовский И. Н. К теории оптимального управления. Мат. и мех., 1959, 23, стр. 899-919.

24. Красовский Н. Н., Летов А. м. Теория аналитического конструирования регуляторов, Автомптика и телсм£ханика. 1962, 23, стр. 649-656.

25 Kalman R. Е., Bertram J. Е. Control Systems Analysis and Design via the Second Method of Lyapunov, /. Basic Eng., 1960, 82, pp. 371-393.

26. Летов A. M. Аналитическое конструирование регуляторов. Автоматика и телемеханика, 1, II, III, 1960, 21, № 4-6, стр. 433-435, 561-568, 661-665.

27. Kulikowski R. Optimizing Processes and Synthesis of Optimizing Automatic Control Systems with Nonlinear Variable Elements, Proc. First IFAC Congr., 1960, pp. 473-477.

28. Крейн M. Проблема Л? в абстрактных нормированных пространствах, часть 4 книги Некоторые вопросы теории моментов , 1938.

29. Кгапс О. М., Sarachik Р. Е. An Application of Functional Analysis to the Optimum Control Problem, J. Basic Eng.. 1963, 85, № 6, pp. 143-150.

30. Lastman G. J.. Tapley B. D. Optimization of Nonlinear Systems with Inequality Constraints Explicitly Containing the Control, Int. J. Control, 1970. 12, pp. 497-510.

31. Jacobson D. H. Differential Dynamic Programming Methods for Solving Bang-Bang Control Problems, IEEE Trans. Autom. Control, 1968, AC-13, pp. 661-675.

32. Neely P. L., Robeorts A. P. An Improved Analogue Technique for Solving Trajectory Optimization Problems. Int. J. Control, 1971, 13, pp. 33-52.

33. Davison E. J., Monro D. M. A Computational Technique for Finding Bang-Bang Controls of Nonlinear Time-Varying Systems, Automatica, 1971, 7, pp. 255-260.

34. Notley M. G. A Heuristic approach to Optimal Control, Int. J. Control 1971. 13, pp. 429-447.

3. ПРИМЕНЕНИЕ ФУНКЦИОНАЛЬНОГО АНАЛИЗА

К РЕШЕНИЮ ЗАДАЧ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

В последние годы особое внимание специалистов привлекли к себе задачи построения управлений, оптимальных по быстродействию. Начиная с момента опубликования в 1953 г. фундаментальной работы Фельдбаума [I], к решению этой проблемы применялись различные подходы вариационного исчисления, принципа максимума [3-6] и динамического программирования.

Впервые методы функционального анализа к решению задачи об оптимальном быстродействии были применены Красовский [7]. Опираясь на результаты, полученные Крейном в работе [8], он использовал для построения оптимального управления некоторые свойства функционалов в нормированных про-

странствах и вывел правило ограниченности переменных управления [7, 18]. Куликовский [9-12] показал, что результаты Крейна применимы при гораздо более общих предположениях относительно переменных управления, и распространил некоторые результаты функционального анализа на случай нелинейных объектов и адаптивных систем [20].

3.1. ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ ОДНОМЕРНЫМИ ОБЪЕКТАМИ

Рассмотрим одномерный автономный линейный объект управления & весовой функцией g(t). Поставим задачу определения оптимального управления u(t), для которого выходная реакция x(t) достигает желаемого значения i за минимальное время Р. Будем считать, что управление u(t) принадлежит банахову пространству функций [120*, 123*, 129*, 131*, 150*] с

1 °11 =

г

(3.1-1)

и удовлетворяет ограничению

\\иЦр<М. (3.1-2)

(Это предположение носит несколько более общий характер, чем ограниченность управления в смысле нормы гильбертова пространства, см. разд. 1.3 ч. V.) При р=1 норма выражения (3.1-1) совпадает с интегралом от модуля функции uP(t) (определяет площадь поверхности, ограниченную графиком функции); при р=2 норма прямо пропорциональна квадратному корню энергии управления u°(t); если р = оо, то норма равна максимальному смещению uP(t). Отметим, что при р=со норма совпадает с существенной точной верхней гранью функции u(t) на [О, Т]. Для кусочно-непрерывных переменных эта величина равна максимальному смещению. В физических системах входные возмущения, как правило, кусочно-непрерывны; исключение составляют конечные импульсы, которые задаются в виде дельта-функции. В этом случае ограничение (3.1-2) применимо толь ко при значении р=1. Если исключить возмущение типа б-функ-ции, то для всех остальных случаев величина р влияет на характер ограничения: значения р=1, 2, схэ в условии (3.1-2) представляют соответственно ограничения по расходу топлива, энергии и амплитуде.

Переменная состояния (выход) управляемого объекта

x{f) = x (0) + J ( - ) (г) dx, (3.1-3)

следовательно, для данного момента времени t = Т я начального условия л;(0) = 0 выражение

т

х{Т)= \ g{T-x)u{z)d-z (3.1-4)

задает некоторый линейный функционал. Сначала изучим, каким образом величина х(Т) может принимать значение i в заданный момент времени Т, если минимальна. Ясно, что

\i\=\x{T)\<Ug{T-x)ti{x)\dx и по неравенству Гёльдера (разд. 1.3, ч. V)

I г г -11/9Г г -1

Jlg-(r-T) (0fift< Jg(r-t)KrfT J (x)p о Lo J Lo

(3.1-5)

где

r 11/9 Г T

= llg-IUI llp, (3.1-6)

(3.1-7)

(3.1-8)

Из соотношений (3.1-5) и (3.1-6) получим, что

11717

и, следовательно, минимум ЦмЦ^ равен

\x{T)\i\\g]\,=\i\l\\g%.

Это, однако, может выполняться только при наличии знака равенства в выражениях (3.1-5) и (3.1-6). Для этого в первом случае необходимо и достаточно, чтобы

g-(r-T) (T)>0 (или <0), Уте [О, Г], (3.1-9)

во втором случае знак равенства имеет место тогда и только тогда, когда

\iib)\ = \Ku\\g{T~z) Г\ Vt е [О, Т\, (3.1-10)

где /Си-произвольная постоянная величина, а 9-1 = 1/(/;-1). Итак, для обоих рассмотренных случаев необходимое и достаточное условие равенства состоит в том, что

iii)-Ku\g(T-z)\9-s\gng{T-x), Vxs[0, Г]. (3.1-11)

Управление может быть вырожденным только при условии, что g{T - т) -или (т) обращается в нуль на конечном интервале.

Даже в том случае, когда q=\ и, следовательно, р=оо, управление ы(т) может быть отлично от нуля. Случай вырожденного управления здесь не рассматривается. Из выражений (3.1-4) и (3.1-11) найдем

(3.1-12)

Следовательно, управление

(0- l7l[y signg{T-t), Ve[0, Л (3.1-13)

имеет минимальную норму и переводит систему в конечное состояние x(T) = i.

Какова роль ограничения (3.1-2)? Из сравнения неравенств (3.1-2) и (3.1-8) получим, что управление вида (3.1-13) существует тогда и только тогда, когда

Ш,>-- (3-1-15)

Если g- является непрерывной функцией времени Т, то для заданной величины i и ограничения М при условии, что

\\И% = Ц!-. (3-1-16)

существует минимальное время Т=Т°.

Следует отметить, что если q-oo, то llglU =maxg(} , и, следовательно, \\g\\oo в общем случае уже не является непрерывной функцией Т. При этом минимальное значение Т, для которого выполняется неравенство (3.1-15), определяет величину Р. (В этом случае можно выбрать ограничение М'<.М.)

Если задача оптимального управления имеет решение, то для определения минимального времени Г=Г° можно использовать условие (3.1-16). Из соотношений (3.1-13) и (3.1-16) найдем оптимальное управление

о(,) sign ИПрА., (3.1-17)

для которого время перехода минимально. Величина оптимального управления зависит от параметра д. Если, например, смещение ri°() ограничено: u{t)\<Un, т. е. тах| u°{t)\ = UM, то в равенстве (3.1-7) требуется положить р = со и д = I. В этом случае M = Um и, как следует из выражения (3.1-17),