Кандаминимум 010109 - ответы доп.специальности (Дедус)

Берётся в основном из книжки Дедуса Дедус - Классические ортогональные базисы в задачах аналитического описания и обработки информационных сигналов.pdf (application/pdf, 1,9 МБ).

Метод наименьших квадратов

• Также см. mlwiki:Метод наименьших квадратов.
• Задача — построение регрессий / аналитических описаний каких-то измерений. МНК — минимизация квадрата отклонения значений, вычисленных аналитически, от экспериментальных значений.
• Приходит к решению , то есть .
• Есть проблемы в случае плохой обусловленности матрицы, нужно юзать mlwiki:Сингулярное разложение.
• И, что важно (!) Если просто , то при увеличении точности нужно пересчитывать все коэффициенты.

Спектральная реализация метода наименьших квадратов

• Чебышев решил использовать при разложении системы ортогональных функций — тогда коэффициенты пересчитывать не нужно, это будут просто коэф. ряда Фурье (скалярные произведения на функции базиса).
• Опр. L₂, скалярное произведение, ортогональные функции, полная система, замкнутая система, ряд Фурье.
• Т. (Фурье) конечный отрезок ряда Фурье осуществляет наилучшее приближение.

Равенство Ляпунова-Стеклова. Равенство Парсеваля. Свойство жёсткости разложения

• Неравенство Бесселя:
  .
  В пределе при для полных систем переходит в
  равенство Парсеваля: , где c_n — коэффициенты ряда Фурье функции f.
• Равенство Ляпунова-Стеклова = равенство Парсеваля в пространстве функций.
• Свойство жёсткости разложения — как раз то, что пересчитывать коэффициенты при увеличении точности не нужно.