ЧИСЕЛЬНЕ РОЗВ’ЯЗАННЯ ЗАДАЧ оптимального керування

1 Дискретизація задачі із закріпленим лівим і вільним правим кінцем. Необхідні умови оптимальності

Розглянемо неперервну задачу оптимального керування
,(1)

,(2)

, , . (3)
Виконаємо дискретну апроксимацію даної задачі. Для цього розіб’ємо відрізок  точками ,  і будемо обчислювати значення цільового функціонала і закону руху тільки в точках розбиття: , , . Закон руху в цьому випадку можна записати у вигляді:
.
Тепер дискретна задача оптимального керування, що апроксимує неперервну задачу (1) – (3), матиме вигляд:
, ,       (4)

 , (5)

 (6)

, . (7)
Для пошуку оптимального розв’язку отриманої дискретної задачі може бути застосований метод множників Лагранжа. Функція Лагранжа має вигляд:
,

,(8)
де .
Обмеження на керування введемо далі, під час реалізації чисельного методу. Відзначимо, що перед першим доданком стоїть знак «–», оскільки  і якщо не додавати «–», то характер екстремуму початкової функції зміниться.

Якщо  – локально-оптимальний процес для задачі (4) – (7), то існують такі нерівні одночасно нулю множники Лагранжа , , , , що матимуть місце наступні умови:
1.  або

,

,

.        (10)

2.  або

,

. (11)
Із (9) одержимо ітераційні співвідношення для спряжених змінних , а з (10) – співвідношення для :


, (12)

 .                                         (13)
Перепишемо співвідношення (12) у вигляді:
.
Очевидно, що останнє співвідношення є аналогом спряженої системи для неперервних задач керування. Дійсно,
.
Якщо , то з останнього співвідношення одержимо


.
Зі співвідношення (13) випливає, що .

Сформулюємо критерій оптимальності для задачі (4) – (7). Вважатимемо, що функції ,  неперервно-диференційовані за змінними  і опуклі за . Тоді для локально-оптимального процесу  існують такі множники Лагранжа , , , , не всі рівні нулю одночасно, що матимуть місце необхідні умови екстремуму:

1) умови стаціонарності в точці :
;

2) . (14)
Розпишемо (14), використовуючи вираз для функції Лагранжа:

Перетворимо вираз під знаком мінімуму, переходячи до довільного :



Або

Якщо , то з останнього співвідношення одержимо

3. Оптимальне стохастичне керування: формулювання із зовнішнім інтегралом

Розглянемо відображення , що задане формулою
,                       (17)
за таких припущень:

 параметр  приймає значення з вимірного простору . Для будь-якої фіксованої пари  задана ймовірнісна міра  на просторі , а символ  у формулі (12) означає зовнішній інтеграл відносно цієї міри. Отже,
;
 функції  і  відображують множину  відповідно в множини  і , тобто , ;

 скаляр  додатний.

Формули (1), (6) є окремими випадками відображення  з (12). Очевидно, що відображення (1) для детермінованої задачі випливає з (12), якщо множина  складається з єдиного елемента, а відображення (6) (для стохастичної задачі зі зліченним простором збурень) відповідає випадку, коли множина  зліченна, а  є -алгеброю, складеною із всіх підмножин .

Очевидно, що відображення  з (12) задовольняє припущенню монотонності. Якщо на множини ,  і функції ,  і  накласти вимоги вимірності, то витрати за  кроків  можна визначити в термінах звичайного інтегрування для будь-якої стратегії , для якої функції ,  вимірні.

Для початкового стану  і стратегії  ймовірнісні міри
, ...,
у сукупності із системою рівнянь
,                            (18)
визначають єдину міру  на -кратному прямому добутку  копій простору . У випадку, якщо , , і виконується одна з умов
 або

,
то функція витрат за  кроків, що відповідає вимірній стратегії , приводиться до звичайного вигляду
,
де стани ,  виражено як функції змінних , ...,  за допомогою рівнянь (13) та початкового стану .

Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:
, ,


де  – щільність розподілу величини .

4 Оптимальне стохастичне керування: мультиплікативний функціонал витрат

Розглянемо відображення , що задане формулою
,                                     (19)
за припущення, що параметр  приймає значення зі зліченної множини  відповідно до заданого розподілу ймовірностей, що залежать від стану  і керування . Вважатимемо також, що , , , . Тоді відображення  з формули (14) задовольняє припущенню монотонності.

Якщо , , то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом  матиме такий вигляд:
,      (20)

.   (21)
а відповідна задача з нескінченним горизонтом:
,        (22)

.                (23)
Границя в (23) існує, якщо :  або .

Самостійний інтерес становить задача з експоненціальною функцією витрат
,

,
де .

Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:
, ,



де  – щільність розподілу величини .

5. Мінімаксне керування

Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи) , , що обираються залежно від поточного стану  і керування . Вважатимемо, що припустимі стратегії супротивника приймають значення із множини , . Будемо обчислювати стратегію керування , орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення , задане формулою
,
за таких припущень:

 параметр  приймає значення з деякої множини , а  – непуста підмножина  при будь-яких , ;

 функції  і  відображують множину  в множини  та  відповідно, тобто , ;

 скаляр  додатний.

За таких умов припущення про монотонність для відображення  має місце. Якщо при цьому ,  і  для всіх , , , то відповідну -крокову задачу мінімаксного керування можна сформулювати так:
, (17)

. (18)
Задача з нескінченним горизонтом формулюється аналогічно:
, (24)

.          (25)
Границя у співвідношенні (25) існує при виконанні будь-якої з умов:
·  , , , ;

·  , , , ;

·  , , , ,  і деякого .

Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:
, ,

,

.