Де застосовується метод найменших квадратів

Метод найменших квадратів (МНК) дозволяє оцінювати різні величини, використовуючи результати безлічі вимірів, що містять випадкові помилки.

Характеристика МНК

Основна ідея даного методу полягає в тому, що в якості критерію точності рішення задачі розглядається сума квадратів помилок, яку прагнуть звести до мінімуму. При використанні цього методу можна застосовувати як чисельний, так і аналітичний підхід.

Зокрема, в якості чисельної реалізації метод найменших квадратів увазі проведення якомога більшої кількості вимірювань невідомої випадкової величини. Причому, чим більше обчислень, тим точніше буде рішення. На цій множині обчислень (вихідних даних) отримують інше безліч передбачуваних рішень, з якого потім вибирається найкращий. Якщо безліч рішень параметризованих, то метод найменших квадратів зведеться до пошуку оптимального значення параметрів.

В якості аналітичного підходу до реалізації МНК на безлічі вихідних даних (вимірювань) і передбачуваному безлічі рішень визначається деяка функціональна залежність (функціонал), яку можна виразити формулою, одержуваної в якості деякої гіпотези, що вимагає підтвердження. У цьому випадку метод найменших квадратів зводиться до знаходження мінімуму цього функціоналу на множині квадратів помилок вихідних даних.

Зауважте, що ні самі помилки, а саме квадрати помилок. Чому? Справа в тому, що найчастіше відхилення вимірювань від точного значення бувають як позитивними, так і негативними. При визначенні середньої похибки вимірювань просте підсумовування може призвести до невірного висновку про якість оцінки, оскільки взаємне знищення позитивних і негативних значень знизить потужність вибірки безлічі вимірів. А, отже, і точність оцінки.

Для того щоб цього не сталося, і підсумовують квадрати відхилень. Навіть більше того, щоб вирівняти розмірність вимірюваної величини та підсумкової оцінки, із суми квадратів похибок витягують квадратний корінь.

Деякі програми МНК

МНК широко використовується в різних областях. Наприклад, в теорії ймовірностей і математичній статистиці метод використовується для визначення такої характеристики випадкової величини, як середнє квадратичне відхилення, визначальною ширину діапазону значень випадкової величини.

В математичному аналізі і різних галузях фізики, що використовують для виведення або підтвердження гіпотез даний апарат, МНК застосовують, зокрема, для оцінки наближеного представлення функцій, визначених на числових множинах, простішими функціями, що допускають аналітичні перетворення.

Ще одне застосування цього методу - відділення корисного сигналу від накладеного на нього шуму в задачах фільтрації.

Ще одна область застосування МНК - економетрика. Тут даний метод настільки широко використовується, що для нього були визначені деякі спеціальні модифікації.

Більшість завдань економетрики, так чи інакше, зводиться до вирішення систем лінійних економетричних рівнянь, що описують поведінку деяких систем - структурних моделей. Основний елемент кожної такої моделі - часовий ряд, що представляє собою набір деяких характеристик, значення яких залежать як від часу, так і від ряду інших факторів. При цьому може спостерігатися відповідність між внутрішніми (ендогенними) характеристиками моделі і зовнішніми (екзогенними) характеристиками. Це відповідність виражається зазвичай у вигляді систем лінійних економічних рівнянь.

Характерною особливістю таких систем є наявність взаємозв`язків між окремими змінними, які з одного боку, ускладнюють її, з іншого - перевизначають. Що є причиною появи невизначеності при виборі рішення таких систем. Додатковим фактором, що ускладнює вирішення таких завдань, є залежність параметрів моделей від часу.

Основна мета завдань економетрики - ідентифікація моделей, тобто визначення структурних взаємозв`язків у обраної моделі, а також оцінювання ряду її параметрів.

Відновлення залежностей у тимчасових рядах, складових моделі, може бути виконано, зокрема, за допомогою як прямого МНК, так і деяких його модифікацій, а також ряду інших методів. Спеціальні модифікації МНК при вирішенні таких завдань спеціально розвинені для вирішення тих чи інших проблем, що виникають в процесі чисельного рішення систем рівнянь.

Зокрема, одна з таких проблем пов`язана з наявністю вихідних обмежень на параметри, які потрібно оцінювати. Наприклад, дохід приватного підприємства може бути витрачений на споживання або на його розвиток. Отже, сума частин даних двох видів витрат свідомо дорівнює 1. У систему економетричних рівнянь ці частини можуть входити незалежно один від одного. Отже, можна оцінити різні види витрат за допомогою МНК, без урахування вихідного обмеження, а потім підкоригувати отриманий результат. Такий спосіб вирішення названий непрямим методом найменших квадратів.

Непрямий метод найменших квадратів (КМНК) використовується для точно визначається структурної моделі. Алгоритм КМНК передбачає виконання таких дій:

1) перетворення структурної моделі в більш просту, наведену форму шляхом введення додаткової завісімості-

2) оцінка за допомогою звичайного МНК наведених коефіцієнтів для кожного рівняння спрощеної моделі-

3) отримані коефіцієнти простої форми моделі перетворюються в параметри вихідної структурної моделі.

Варто відзначити, що для сверхідентіфіціруемих систем КМНК не використовують, так як в цьому випадку неможливо завдання однозначних оцінок параметрів структурної моделі. Для таких моделей може бути використана ще одна модифікація МНК - двухшаговий метод найменших квадратів (ДМНК).

Алгоритм ДМНК наступний:

1) на основі спрощеної моделі розрахувати для сверхідентіфіціруемого рівняння значення внутрішніх змінних, які містяться в правій частині уравненія-

2) підставити отримані значення змінних на місце відповідних фактичних змінних в вихідної моделі і ще раз застосувати звичайний МНК.

Детальний опис непрямого і двокрокового методів найменших квадратів приведено в багатьох підручниках з економетрики. Особливість цих методів, так само як і звичайного МНК, в їх універсальності, що дозволяє використовувати їх для оцінки коефіцієнтів будь структурної моделі в який завгодно предметної області.