Итеративное обучающее управление

Итерационная схема ИОУ обычно выглядит следующим образом (существует множество вариантов) при итерации ИОУ :

где  — оператор сдвига по времени,  — передаточная функция от эталонных данных к выходным данным , т. е. обычно замкнутая передаточная функция,  — ошибка управления,  — корректирующий сигнал ИОУ, аддитивная поправка к эталону, которая учится на протяжении всех итераций ИОУ с целью минимизации ошибки управления. и являются устойчивыми фильтрами, управляющими динамикой обучения. Интересно, что эти фильтры не обязательно должны быть каузальными, поскольку они работают с сигналами и между итерациями ИОУ, когда для акаузальной фильтрации доступны сразу все сигналы.

При моделировании (моделируется развертывание ) эта схема представляет собой не что иное, как стратегию оптимального управления с разомкнутым контуром, а если равносильно проведению реального эксперимента над процессом, ИОУ становится обучением с подкреплением на основе эпизодов или адаптивным управлением.

В данном примере управляемая система представляет собой систему двойной массы с пружиной и демпфером между ними. Эта система представляет собой обычную модель сервосистемы, в которой одна масса представляет собой двигатель, а другая — нагрузку. Пружина и демпфер представляют гибкую передачу между ними. Мы создадим два экземпляра модели системы. представляет собой номинальную модель, а  — реальную (неизвестную) динамику. Так имитируется модельный подход, когда в модели имеется небольшая погрешность. Погрешность будет заключаться в массе груза, имитируя, например, тот факт, что с помощью двигателя нужно приводить в движение более тяжелый груз, чем указано.

Мы разработаем ПИД-регулятор с фильтром для системы. Регулятор плохо настроен и не очень хорошо отслеживает быстрые эталонные ступенчатые сигналы. На практике, вероятно, можно было бы разработать и регулятор с прямой связью, чтобы улучшить этот момент, но пока мы остановимся на простом регуляторе с обратной связью.

Далее мы проектируем заданную траекторию и моделируем реальную динамику замкнутого контура.

Производительность низкая…​ Используйте ИОУ!

Для корректной работы ИОУ определим две вспомогательные функции. Одну, которая применяет нуль-фазовый фильтр для фильтрации как вперед, так и назад (filtfilt). Это возможно, поскольку ИОУ работает с сигналами в автономном режиме между итерациями в схеме ИОУ. Мы также определим специальную функцию lsim, которая работает с некаузальными системами, позволяя «заглядывать» в будущее. Это, как правило, значительно повышает производительность ИОУ, что опять же возможно, поскольку ИОУ работает с заранее записанными сигналами.

Следующим шагом является определение фильтров ИОУ и .

Фильтр выступает в роли частотно-зависимого шага. Для того чтобы процедура выполнялась с меньшим шагом, достаточно масштабировать по константе < 1. При уменьшении масштаба процесс обучения замедляется, но становится более устойчивым. Эвристическим выбором является некоторая форма масштабированного упреждения, например , где  — число выборок упреждения. В подходе на основе модели может использоваться некоторая форма инверсии модели системы, которую мы и будем использовать в данном случае. [^нелинейные]

Фильтр позволяет сделать процедуру устойчивой к шумам и погрешностям моделирования. окончательно решает, какие частоты появятся в , поэтому рекомендуется выбрать с низкочастотными свойствами. Здесь будет применяться в нуль-фазовом режиме, поэтому эффективная передаточная функция будет иметь вид .

Теорема Норрлофа гласит, что для сходимости итераций ИОУ необходимо, чтобы выполнялось условие , в чем мы можем убедиться, посмотрев на кривые Боде двух сторон неравенства

Выше мы построили эту кривую и для реальной динамики. Конечно, это невозможно в реальном сценарии, где эта величина неизвестна, но можно построить график для нескольких правдоподобных моделей и убедиться, что все они находятся ниже границы. Руководство по этому вопросу см. на странице Моделирование неопределенности с помощью RobustAndOptimalControl.jl. Если посмотреть на условие устойчивости, то становится очевидным, как малая величина в условиях неопределенности модели благоприятно сказывается на надежности схемы ИОУ.

Следующим шагом является реализация схемы ИОУ и ее выполнение:

При выполнении в модели результат выглядит очень хорошо. Видно, что погрешность отслеживания на последнем графике быстро уменьшается и становится значительно меньше уже через пару итераций. Отметим также, что скорректированный эталон фактически немного сдвинут по фазе, чтобы компенсировать запаздывание в динамике системы. Это эффект акаузальной фильтрации, обусловленной .

Как это работает в «реальной» динамике?

Результат несколько хуже, но с учетом достаточно большой погрешности модели итог все равно неплохой.

Мы узнали, как ИОУ можно использовать для повышения эффективности отслеживания в сценарии, когда повторяющаяся задача должна быть выполнена несколько раз. При моделировании, как в данном случае, ИОУ можно рассматривать как стратегию оптимального управления, направленную на поиск оптимальной эталонной траектории для минимизации ошибки управления, а при реализации в физическом процессе эта схема является простым, но эффективным подходом к обучению с подкреплением или адаптивному управлению. ИОУ часто очень хорошо работает на практике и применяется, в частности, в робототехнике и механообработке.

Эффективность ИОУ снижается, если стохастические возмущения определяют особенности управления или задача должна быть выполнена небольшое количество раз. Например, при механической обработке каждая итерация ИОУ может привести к разрушительной обработке дорогостоящего материала с неоптимальным результатом до сходимости. Экономическая эффективность достигается только в том случае, если после первоначальной настройки с помощью ИОУ задача будет выполняться многократно.