Mnk автоматично дава. Къде се прилага методът на най-малките квадрати?

100 rбонус за първа поръчка

Изберете вида работа Дипломна работа Курсова работаРеферат Магистърска теза Доклад от практика Статия Доклад Рецензия ТестМонография Решаване на проблеми Бизнес план Отговори на въпроси творческа работаЕсе Рисуване Съчинения Превод Презентации Набиране Друго Повишаване уникалността на текста Кандидатска теза Лабораторна работаПомощ онлайн

Попитайте за цена

Метод най-малки квадрати- математическа (математико-статистическа) техника, която служи за изравняване на времеви редове, идентифициране на формата на корелация между случайни променливи и т.н. Състои се в това, че функцията, описваща това явление, се апроксимира с по-проста функция. Освен това последният е избран по такъв начин, че стандартното отклонение (виж Дисперсия) на действителните нива на функцията в наблюдаваните точки от нивелираните е най-малко.

Например според наличните данни ( xi,yi) (аз = 1, 2, ..., н) се построява такава крива г = а + bx, на който е достигнат минимумът на сумата на квадратите на отклоненията

т.е. минимизира се функция, която зависи от два параметъра: а- сегмент на оста y и b- наклонът на правата линия.

Уравнения, даващи необходими условия за минимизиране на функция С(а,b), са наречени нормални уравнения.Като апроксимиращи функции се използват не само линейни (подравняване по права линия), но и квадратни, параболични, експоненциални и др. M.2, където сумата от квадратите на разстоянията ( г 1 – ȳ 1)2 + (г 2 – ȳ 2)2 .... е най-малкият и получената права линия най-добре отразява тенденцията на динамичната поредица от наблюдения за някакъв индикатор във времето.

За безпристрастните оценки на най-малките квадрати е необходимо и достатъчно, че съществено условиерегресионен анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие по-специално е изпълнено, ако: 1. математическото очакване на случайните грешки е равно на нула и 2. факторите и случайните грешки са независими случайни променливи. Първото условие може да се счита за винаги изпълнено за модели с константа, тъй като константата приема ненулево математическо очакване на грешки. Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай).

Най-разпространеният в практиката на статистическата оценка на параметрите на регресионните уравнения е методът на най-малките квадрати. Този метод се основава на редица предположения за естеството на данните и резултатите от изграждането на модела. Основните са ясното разделяне на изходните променливи на зависими и независими, некорелацията на факторите, включени в уравненията, линейността на връзката, липсата на автокорелация на остатъците, равенството на техните математически очаквания на нула и постоянна дисперсия.

Една от основните хипотези на LSM е предположението, че дисперсиите на отклоненията ei са равни, т.е. тяхното разпространение около средната (нулева) стойност на серията трябва да бъде стабилна стойност. Това свойство се нарича хомоскедастичност. На практика дисперсиите на отклоненията доста често не са еднакви, т.е. наблюдава се хетероскедастичност. Това може да е следствие различни причини. Например, може да има грешки в оригиналните данни. Случайни неточности в изходната информация, като грешки в реда на числата, могат да окажат значително влияние върху резултатите. Често по-голямо разпространение на отклонения еi се наблюдава при големи стойности на зависимата променлива (променливи). Ако данните съдържат значителна грешка, тогава, естествено, отклонението на стойността на модела, изчислена от грешните данни, също ще бъде голямо. За да се отървем от тази грешка, трябва да намалим приноса на тези данни към резултатите от изчислението, да зададем по-ниско тегло за тях, отколкото за всички останали. Тази идея се прилага чрез претеглени най-малки квадрати.

След подравняване получаваме функция от следния вид: g (x) = x + 1 3 + 1 .

Можем да апроксимираме тези данни с линейна зависимост y = a x + b чрез изчисляване на подходящите параметри. За да направим това, ще трябва да приложим така наречения метод на най-малките квадрати. Ще трябва също да направите чертеж, за да проверите коя линия ще подравни най-добре експерименталните данни.

Yandex.RTB R-A-339285-1

Какво точно е OLS (метод на най-малките квадрати)

Основното, което трябва да направим, е да намерим такива коефициенти на линейна зависимост, при които стойността на функцията на две променливи F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ще бъде най-малката . С други думи, за определени стойности на a и b, сумата от квадратните отклонения на представените данни от получената права линия ще има минимална стойност. Това е смисълът на метода на най-малките квадрати. Всичко, което трябва да направим, за да решим примера, е да намерим екстремума на функцията на две променливи.

Как да изведем формули за изчисляване на коефициентите

За да се изведат формули за изчисляване на коефициентите, е необходимо да се състави и реши система от уравнения с две променливи. За да направим това, ние изчисляваме частните производни на израза F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 по отношение на a и b и ги приравняваме на 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

За да решите система от уравнения, можете да използвате всякакви методи, като например заместване или метод на Крамер. В резултат на това трябва да получим формули, които изчисляват коефициентите по метода на най-малките квадрати.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Изчислихме стойностите на променливите, за които функцията
F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ще приеме минималната стойност. В трети параграф ще докажем защо е така.

Това е приложението на метода на най-малките квадрати на практика. Неговата формула, която се използва за намиране на параметъра a, включва ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 и параметъра
n - това означава количеството експериментални данни. Съветваме ви да изчислявате всяка сума поотделно. Стойността на коефициента b се изчислява непосредствено след a .

Да се ​​върнем към оригиналния пример.

Пример 1

Тук имаме n равно на пет. За да направим по-удобно изчисляването на необходимите суми, включени във формулите на коефициента, попълваме таблицата.

	i = 1	i = 2	i = 3	i = 4	i = 5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Решение

Четвъртият ред съдържа данните, получени чрез умножаване на стойностите от втория ред по стойностите на третия за всеки отделен i. Петият ред съдържа данните от втория на квадрат. Последната колона показва сумите от стойностите на отделните редове.

Нека използваме метода на най-малките квадрати, за да изчислим коефициентите a и b, от които се нуждаем. За да направите това, заменете желаните стойности от последната колона и изчислете сумите:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Получихме, че желаната апроксимираща права линия ще изглежда като y = 0, 165 x + 2, 184. Сега трябва да определим кой ред ще приближи най-добре данните - g (x) = x + 1 3 + 1 или 0 , 165 x + 2 , 184 . Нека направим оценка, използвайки метода на най-малките квадрати.

За да изчислим грешката, трябва да намерим сумите на квадратните отклонения на данните от линиите σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 и σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , минималната стойност ще съответства на по-подходящ ред.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Отговор:тъй като σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Методът на най-малките квадрати е ясно показан на графичната илюстрация. Червената линия маркира правата линия g (x) = x + 1 3 + 1, синята линия маркира y = 0, 165 x + 2, 184. Суровите данни са маркирани с розови точки.

Нека обясним защо са необходими точно приближения от този тип.

Те могат да се използват при проблеми, които изискват изглаждане на данни, както и при такива, при които данните трябва да бъдат интерполирани или екстраполирани. Например, в проблема, обсъден по-горе, може да се намери стойността на наблюдаваното количество y при x = 3 или при x = 6. На такива примери сме посветили отделна статия.

Доказателство за метода LSM

За да може функцията да приеме минималната стойност за изчислените a и b, е необходимо в дадена точка матрицата на квадратичната форма на диференциала на функцията на формата F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 е положително определено. Нека ви покажем как трябва да изглежда.

Пример 2

Имаме диференциал от втори ред от следната форма:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2б

Решение

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

С други думи, може да се запише по следния начин: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Получихме матрица с квадратична форма M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

В този случай стойностите на отделните елементи няма да се променят в зависимост от a и b. Тази матрица положително определена ли е? За да отговорим на този въпрос, нека проверим дали неговите ъглови минори са положителни.

Изчислете ъглов минор от първи ред: 2 ∑ i = 1 n (x i) 2 > 0 . Тъй като точките x i не съвпадат, неравенството е строго. Ще имаме това предвид при по-нататъшни изчисления.

Изчисляваме ъглов минор от втори ред:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

След това пристъпваме към доказателството на неравенството n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 с помощта на математическа индукция.

1. Нека проверим дали това неравенство е валидно за произволно n. Нека вземем 2 и изчислим:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Получихме правилното равенство (ако стойностите x 1 и x 2 не съвпадат).

1. Нека направим предположението, че това неравенство ще бъде вярно за n , т.е. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – вярно.
2. Сега нека докажем валидността за n + 1 , т.е. че (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, ако n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Изчисляваме:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Изразът, ограден във фигурни скоби, ще бъде по-голям от 0 (въз основа на това, което предположихме в стъпка 2), а останалите членове ще бъдат по-големи от 0, защото всички те са квадрати от числа. Доказахме неравенството.

Отговор:намерените a и b ще съответстват на най-малката стойност на функцията F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, което означава, че те са желаните параметри на метода на най-малките квадрати (LSM).

Ако забележите грешка в текста, моля, маркирайте я и натиснете Ctrl+Enter

Ние апроксимираме функцията с полином от 2-ра степен. За да направим това, изчисляваме коефициентите на нормалната система от уравнения:

, ,

Нека съставим нормална система от най-малки квадрати, която има формата:

Решението на системата е лесно за намиране:, , .

Така се намира полиномът от 2-ра степен: .

Теоретична подготовка

Назад към страницата<Введение в вычислительную математику. Примеры>

Пример 2. Намиране на оптималната степен на полином.

Назад към страницата<Введение в вычислительную математику. Примеры>

Пример 3. Извеждане на нормална система от уравнения за намиране на параметрите на емпирична зависимост.

Нека изведем система от уравнения за определяне на коефициентите и функциите , който изпълнява средноквадратичното приближение на дадената функция по отношение на точки. Съставете функция и пиши за нея необходимо условиеекстремум:

Тогава нормалната система ще приеме формата:

Има линейна системауравнения за неизвестни параметри и който се решава лесно.

Теоретична подготовка

Назад към страницата<Введение в вычислительную математику. Примеры>

Пример.

Експериментални данни за стойностите на променливите хи приса дадени в таблицата.

В резултат на тяхното подреждане функцията

Използвайки метод на най-малките квадрати, апроксимирайте тези данни с линейна зависимост y=ax+b(намерете опции аи b). Разберете коя от двете линии по-добре (в смисъл на метода на най-малките квадрати) подравнява експерименталните данни. Направете рисунка.

Същността на метода на най-малките квадрати (МНК).

Проблемът е да се намерят коефициентите на линейна зависимост, за които функцията на две променливи аи bприема най-малката стойност. Това е предвид данните аи bсумата от квадратите на отклоненията на експерименталните данни от намерената права линия ще бъде най-малка. Това е целият смисъл на метода на най-малките квадрати.

Така решението на примера се свежда до намиране на екстремума на функция на две променливи.

Извеждане на формули за намиране на коефициенти.

Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функции по променливи аи b, ние приравняваме тези производни на нула.

Решаваме получената система от уравнения по произволен метод (напр метод на заместванеили метод на Крамър) и да получите формули за намиране на коефициенти с помощта на метода на най-малките квадрати (LSM).

С данни аи bфункция приема най-малката стойност. Доказателството за този факт е дадено по-долу в текста в края на страницата.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , , и параметъра не количеството експериментални данни. Стойностите на тези суми се препоръчват да се изчисляват отделно.

Коефициент bнамерени след изчисление а.

Време е да си припомним оригиналния пример.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число аз.

Стойностите в петия ред на таблицата се получават чрез повдигане на квадрат на стойностите на 2-ри ред за всяко число аз.

Стойностите на последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите аи b. Заменяме в тях съответните стойности от последната колона на таблицата:

Следователно, y=0,165x+2,184е желаната апроксимираща права линия.

Остава да разберем коя от линиите y=0,165x+2,184или по-добре приближава оригиналните данни, т.е. да направи оценка с помощта на метода на най-малките квадрати.

Оценка на грешката на метода на най-малките квадрати.

За да направите това, трябва да изчислите сумите на квадратите на отклоненията на оригиналните данни от тези редове и , по-малката стойност съответства на линията, която най-добре приближава оригиналните данни по отношение на метода на най-малките квадрати.

Тъй като , тогава линията y=0,165x+2,184приближава по-добре оригиналните данни.

Графична илюстрация на метода на най-малките квадрати (LSM).

Всичко изглежда страхотно в класациите. Червената линия е намерената линия y=0,165x+2,184, синята линия е , розовите точки са оригиналните данни.

За какво е, за какво са всички тези приближения?

Аз лично използвам за решаване на проблеми с изглаждане на данни, проблеми с интерполация и екстраполация (в оригиналния пример може да бъдете помолени да намерите стойността на наблюдаваната стойност гпри х=3или кога х=6по метода MNC). Но ще говорим повече за това по-късно в друг раздел на сайта.

Най-горе на страницата

Доказателство.

Така че, когато се намери аи bфункция приема най-малката стойност, необходимо е в тази точка матрицата на квадратната форма на диференциала от втори ред за функцията беше положително категоричен. Нека го покажем.

Диференциалът от втори ред има формата:

Това е

Следователно матрицата на квадратната форма има формата

и стойностите на елементите не зависят от аи b.

Нека покажем, че матрицата е положително определена. Това изисква минорните ъгли да са положителни.

Ъглов минор от първи ред . Неравенството е строго, тъй като точките не съвпадат. Това ще се подразбира в това, което следва.

Ъглов минор от втори ред

Нека докажем това метод на математическата индукция.

Заключение: намерени стойности аи bотговарят на най-малката стойност на функцията следователно са желаните параметри за метода на най-малките квадрати.

Някога разбираш ли?
Поръчайте решение

Най-горе на страницата

Разработване на прогноза по метода на най-малките квадрати. Пример за решение на проблем

Екстраполация е метод научно изследване, който се основава на разпределението на минали и настоящи тенденции, модели, връзки към бъдещото развитие на обекта на прогнозиране. Екстраполационните методи включват метод на пълзяща средна, метод експоненциално изглаждане, метод на най-малките квадрати.

Същност метод на най-малките квадрати се състои в минимизиране на сумата от квадратните отклонения между наблюдаваните и изчислените стойности. Изчислените стойности се намират според избраното уравнение - регресионното уравнение. Колкото по-малко е разстоянието между действителните стойности и изчислените, толкова по-точна е прогнозата въз основа на регресионното уравнение.

Теоретичният анализ на същността на изследваното явление, чиято промяна се показва чрез времеви редове, служи като основа за избор на крива. Понякога се вземат предвид съображения за естеството на растежа на нивата на серията. Така, ако се очаква ръст на производството в аритметична прогресия, след което изглаждането се извършва в права линия. Ако се окаже, че растежът е експоненциален, тогава изглаждането трябва да се направи по експоненциалната функция.

Работната формула на метода на най-малките квадрати : Y t+1 = a*X + b, където t + 1 е прогнозният период; Уt+1 – прогнозен показател; a и b са коефициенти; Х - символвреме.

Коефициентите a и b се изчисляват по следните формули:

където Uf - действителните стойности на серията от динамика; n е броят на нивата в динамичния ред;

Изглаждането на динамичните редове по метода на най-малките квадрати служи за отразяване на моделите на развитие на изследваното явление. При аналитичното изразяване на тенденция, времето се разглежда като независима променлива, а нивата на серията действат като функция на тази независима променлива.

Развитието на едно явление не зависи от това колко години са изминали от началната точка, а от това какви фактори са повлияли на неговото развитие, в каква посока и с каква интензивност. От това става ясно, че развитието на едно явление във времето се появява в резултат на действието на тези фактори.

Правилното задаване на вида на кривата, вида на аналитичната зависимост от времето е една от най-трудните задачи на предсказуемия анализ. .

Изборът на типа функция, която описва тенденцията, чиито параметри се определят по метода на най-малките квадрати, в повечето случаи е емпиричен, чрез конструиране на редица функции и тяхното сравняване помежду си според стойността на корена средноквадратична грешка, изчислена по формулата:

където Uf - действителните стойности на серията от динамика; Ur – изчислени (изгладени) стойности на динамичния ред; n е броят на нивата в динамичния ред; p е броят на параметрите, дефинирани във формулите, описващи тенденцията (тенденцията на развитие).

Недостатъци на метода на най-малките квадрати :

• когато се опитвате да опишете изследваното икономическо явление с помощта на математическо уравнение, прогнозата ще бъде точна за кратък период от време и регресионното уравнение трябва да бъде преизчислено, когато стане налична нова информация;
• сложността на избора на регресионно уравнение, което е разрешимо с помощта на стандартни компютърни програми.

Пример за използване на метода на най-малките квадрати за разработване на прогноза

Задача . Има данни, характеризиращи нивото на безработицата в региона, %

• Изградете прогноза за нивото на безработица в региона за месеците ноември, декември, януари, като използвате методите: пълзяща средна, експоненциално изглаждане, най-малки квадрати.
• Изчислете грешките в получените прогнози, като използвате всеки метод.
• Сравнете получените резултати, направете изводи.

Решение на най-малките квадрати

За решението ще направим таблица, в която ще произвеждаме необходими изчисления:

ε = 28,63/10 = 2,86% точност на прогнозатаВисоко.

Заключение : Сравняване на резултатите, получени при изчисленията метод на пълзяща средна , експоненциално изглаждане и метода на най-малките квадрати, можем да кажем, че средната относителна грешка при изчисленията по метода на експоненциалното изглаждане е в рамките на 20-50%. Това означава, че точността на прогнозата в този случай е само задоволителна.

В първия и третия случай точността на прогнозата е висока, тъй като средната относителна грешка е по-малка от 10%. Но методът на подвижната средна даде възможност да се получат по-надеждни резултати (прогноза за ноември - 1,52%, прогноза за декември - 1,53%, прогноза за януари - 1,49%), тъй като средната относителна грешка при използване на този метод е най-малката - 1 ,13%.

Метод на най-малките квадрати

Други свързани статии:

Списък на използваните източници

1. Научни и методически препоръки по проблемите на диагностиката на социалните рискове и прогнозирането на предизвикателства, заплахи и социални последици. Руски държавен социален университет. Москва. 2010 г.;
2. Владимирова Л.П. Прогнозиране и планиране в пазарни условия: учеб. надбавка. М .: Издателство "Дашков и Ко", 2001 г.;
3. Новикова Н.В., Поздеева О.Г. Прогнозиране на националната икономика: Учебно помагало. Екатеринбург: Издателство Урал. състояние икономика университет, 2007;
4. Слуцкин Л.Н. MBA курс по бизнес прогнозиране. Москва: Alpina Business Books, 2006.

Програма MNE

Въвеждане на данни

Данни и приближение y = a + b x

аз- номер на опитната точка;
x i- стойността на фиксирания параметър в точката аз;
y i- стойността на измерения параметър в точката аз;
ω i- тегло на измерване в точка аз;
y i, калк.- разликата между измерената стойност и стойността, изчислена от регресията гв точката аз;
S x i (x i)- оценка на грешката x iпри измерване гв точката аз.

Данни и приближение y = kx

аз	x i	y i	ω i	y i, калк.	Δy i	S x i (x i)

Кликнете върху графиката

Ръководство за потребителя на онлайн програмата MNC.

В полето за данни въведете на всеки отделен ред стойностите на `x` и `y` в една експериментална точка. Стойностите трябва да бъдат разделени с интервал (интервал или раздел).

Третата стойност може да бъде точковото тегло на „w“. Ако теглото на точката не е посочено, тогава то е равно на единица. В преобладаващата част от случаите теглата на експерименталните точки са неизвестни или не са изчислени; всички експериментални данни се считат за еквивалентни. Понякога теглата в изследвания диапазон от стойности определено не са еквивалентни и дори могат да бъдат изчислени теоретично. Например в спектрофотометрията теглата могат да се изчислят от прости формули, въпреки че основно всички пренебрегват това, за да намалят разходите за труд.

Данните могат да бъдат поставени през клипборда от електронна таблица на офис пакет, като Excel от Microsoft Office или Calc от Open Office. За да направите това, в електронната таблица изберете диапазона от данни за копиране, копирайте в клипборда и поставете данните в полето за данни на тази страница.

За изчисляване по метода на най-малките квадрати са необходими най-малко две точки за определяне на два коефициента `b` - тангенса на ъгъла на наклона на правата линия и `a` - стойността, отсечена от правата линия върху `y ` ос.

За да се оцени грешката на изчислените коефициенти на регресия, е необходимо да се зададе броят на експерименталните точки на повече от две.

Метод на най-малките квадрати (LSM).

Колкото по-голям е броят на експерименталните точки, толкова по-точна е статистическата оценка на коефициентите (поради намаляването на коефициента на Стюдънт) и толкова по-близо е оценката до оценката на общата извадка.

Получаването на стойности във всяка експериментална точка често е свързано със значителни разходи за труд, поради което често се извършва компромисен брой експерименти, което дава усвоима оценка и не води до прекомерни разходи за труд. По правило броят на експерименталните точки за линейна зависимост на най-малките квадрати с два коефициента се избира в рамките на 5-7 точки.

Кратка теория на най-малките квадрати за линейна зависимост

Да предположим, че имаме набор от експериментални данни под формата на двойки стойности [`y_i`, `x_i`], където `i` е номерът на едно експериментално измерване от 1 до `n`; `y_i` - стойността на измерената стойност в точка `i`; `x_i` - стойността на параметъра, който задаваме в точката `i`.

Пример е действието на закона на Ом. Чрез промяна на напрежението (потенциалната разлика) между секциите на електрическата верига измерваме количеството ток, преминаващ през тази секция. Физиката ни дава експериментално установената зависимост:

„I=U/R“,
където `I` - сила на тока; `R` - съпротивление; `U` - напрежение.

В този случай `y_i` е измерената стойност на тока, а `x_i` е стойността на напрежението.

Като друг пример, помислете за абсорбцията на светлина от разтвор на вещество в разтвор. Химията ни дава формулата:

`A = εl C`,
където "А" е оптичната плътност на разтвора; `ε` - пропускливост на разтворено вещество; `l` - дължина на пътя при преминаване на светлината през кювета с разтвор; `C` е концентрацията на разтвореното вещество.

В този случай `y_i` е измерената оптична плътност `A`, а `x_i` е концентрацията на веществото, която задаваме.

Ще разгледаме случая, когато относителната грешка при задаване на `x_i` е много по-малка от относителната грешка при измерване на `y_i`. Ще приемем също, че всички измерени стойности на `y_i` са произволни и нормално разпределени, т.е. се подчиняват на нормалния закон за разпределение.

В случай на линейна зависимост на `y` от `x`, можем да запишем теоретичната зависимост:
`y = a + bx`.

От геометрична гледна точка коефициентът `b` означава тангенса на ъгъла на наклона на правата спрямо оста `x`, а коефициентът `a` - стойността на `y` в точката на пресичане на линия с оста „y“ (за „x = 0“).

Намиране на параметрите на регресионната права.

В експеримента измерените стойности на `y_i` не могат да лежат точно на теоретичната линия поради грешки в измерването, които винаги са присъщи на истинския живот. Следователно линейното уравнение трябва да бъде представено чрез система от уравнения:
`y_i = a + b x_i + ε_i` (1),
където `ε_i` е неизвестната грешка на измерване на `y` в `i`-ия експеримент.

Зависимостта (1) се нарича още регресия, т.е. зависимостта на двете величини една от друга със статистическа значимост.

Задачата за възстановяване на зависимостта е да се намерят коефициентите `a` и `b` от експерименталните точки [`y_i`, `x_i`].

За намиране на коефициентите `a` и `b` обикновено се използват метод на най-малките квадрати(MNK). Това е специален случай на принципа на максималната вероятност.

Нека пренапишем (1) като `ε_i = y_i - a - b x_i`.

Тогава сумата от квадратите на грешките ще бъде
`Φ = сума_(i=1)^(n) ε_i^2 = сума_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Принципът на метода на най-малките квадрати е да се минимизира сумата (2) по отношение на параметрите `a` и `b`.

Минимумът се достига, когато частните производни на сумата (2) по отношение на коефициентите `a` и `b` са равни на нула:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

Разширявайки производните, получаваме система от две уравнения с две неизвестни:
`сума_(i=1)^(n) (2a + 2bx_i - 2y_i) = сума_(i=1)^(n) (a + bx_i - y_i) = 0`
`сума_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = сума_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Отваряме скобите и прехвърляме сумите, независими от желаните коефициенти, към другата половина, получаваме система от линейни уравнения:
`сума_(i=1)^(n) y_i = a n + b сума_(i=1)^(n) bx_i`
`сума_(i=1)^(n) x_iy_i = сума_(i=1)^(n) x_i + b сума_(i=1)^(n) x_i^2`

Решавайки получената система, намираме формули за коефициентите `a` и `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n сума_(i=1)^(n) x_i^2 — (сума_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n сума_(i=1)^(n) x_iy_i - сума_(i=1)^(n) x_i сума_(i=1)^(n) y_i) (n сума_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Тези формули имат решения, когато `n > 1` (линията може да бъде начертана с помощта на поне 2 точки) и когато детерминантата `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, т.е. когато точките `x_i` в експеримента са различни (т.е. когато линията не е вертикална).

Оценка на грешките в коефициентите на регресионната линия

За по-точна оценка на грешката при изчисляване на коефициентите `a` и `b` е желателно голям брой експериментални точки. Когато `n = 2`, е невъзможно да се оцени грешката на коефициентите, т.к апроксимиращата права еднозначно ще минава през две точки.

Определя се грешката на случайната величина `V` закон за натрупване на грешки
`S_V^2 = сума_(i=1)^p (frac(частично f)(частично z_i))^2 S_(z_i)^2`,
където `p` е броят параметри `z_i` с грешка `S_(z_i)`, които засягат грешката `S_V`;
„f“ е функция на зависимост на „V“ от „z_i“.

Да напишем закона за натрупване на грешки за грешката на коефициентите `a` и `b`
`S_a^2 = сума_(i=1)^(n)(frac(частично a)(частично y_i))^2 S_(y_i)^2 + сума_(i=1)^(n)(frac(частично a )(частично x_i))^2 S_(x_i)^2 = S_y^2 сума_(i=1)^(n)(frac(частично a)(частично y_i))^2 `,
`S_b^2 = сума_(i=1)^(n)(frac(частично b)(частично y_i))^2 S_(y_i)^2 + сума_(i=1)^(n)(frac(частично b )(частично x_i))^2 S_(x_i)^2 = S_y^2 сума_(i=1)^(n)(frac(частично b)(частично y_i))^2 `,
защото `S_(x_i)^2 = 0` (преди това направихме уговорка, че грешката на `x` е незначителна).

`S_y^2 = S_(y_i)^2` - грешката (дисперсия, квадратно стандартно отклонение) в измерението `y`, като се приема, че грешката е еднаква за всички `y` стойности.

Замествайки формулите за изчисляване на `a` и `b` в получените изрази, получаваме

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n сума_(i=1)^(n) x_i^2 - (сума_(i=1)^(n) x_i)^2) сума_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n сума_(i=1)^(n) x_i^2 - (сума_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

В повечето реални експерименти стойността на „Sy“ не се измерва. За да направите това, е необходимо да се извършат няколко паралелни измервания (експерименти) в една или няколко точки от плана, което увеличава времето (и евентуално цената) на експеримента. Следователно обикновено се приема, че отклонението на `y` от регресионната линия може да се счита за случайно. Оценката на дисперсията `y` в този случай се изчислява по формулата.

`S_y^2 = S_(y, почивка)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Делителят `n-2` се появява, защото сме намалили броя на степените на свобода поради изчисляването на два коефициента за една и съща извадка от експериментални данни.

Тази оценка се нарича още остатъчна дисперсия спрямо линията на регресия „S_(y, почивка)^2“.

Оценката на значимостта на коефициентите се извършва по критерия на Стюдънт

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ако изчислените критерии `t_a`, `t_b` са по-малки от критериите на таблицата `t(P, n-2)`, тогава се счита, че съответният коефициент не се различава значително от нула с дадена вероятност `P`.

За да оцените качеството на описанието на линейна връзка, можете да сравните „S_(y, rest)^2“ и „S_(bar y)“ спрямо средната стойност, като използвате критерия на Фишер.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - примерна оценка на дисперсията на `y` спрямо средната стойност.

За да се оцени ефективността на регресионното уравнение за описание на зависимостта, се изчислява коефициентът на Фишер
`F = S_(лента y) / S_(y, почивка)^2`,
който се сравнява с табличния коефициент на Фишер `F(p, n-1, n-2)`.

Ако `F > F(P, n-1, n-2)`, разликата между описанието на зависимостта `y = f(x)` с помощта на регресионното уравнение и описанието с помощта на средната стойност се счита за статистически значима с вероятност „П“. Тези. регресията описва зависимостта по-добре от разпространението на `y` около средната стойност.

Кликнете върху графиката
за добавяне на стойности към таблицата

Метод на най-малките квадрати. Методът на най-малките квадрати означава определяне на неизвестни параметри a, b, c, приетата функционална зависимост

Методът на най-малките квадрати означава определяне на неизвестни параметри а, б, в,…приета функционална зависимост

y = f(x,a,b,c,…),

което би осигурило минимум от средния квадрат (дисперсия) на грешката

, (24)

където x i , y i - набор от двойки числа, получени от експеримента.

Тъй като условието за екстремума на функция на няколко променливи е условието нейните частни производни да са равни на нула, тогава параметрите а, б, в,…се определят от системата от уравнения:

; ; ; … (25)

Трябва да се помни, че методът на най-малките квадрати се използва за избор на параметри след формата на функцията y = f(x)дефинирани.

Ако от теоретични съображения е невъзможно да се направят каквито и да било заключения за това каква трябва да бъде емпиричната формула, тогава трябва да се ръководите от визуални представяния, предимно графично представяне на наблюдаваните данни.

На практика най-често се ограничава до следните видове функции:

1) линеен ;

2) квадратно a .

Методът на най-малките квадрати (OLS, англ. Обикновени най-малки квадрати, OLS) -- математически метод, използван за решаване на различни проблеми, базиран на минимизиране на сумата от квадратните отклонения на някои функции от желаните променливи. Може да се използва за "решаване" на свръхопределени системи от уравнения (когато броят на уравненията надвишава броя на неизвестните), за намиране на решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения, за приближаване на точкови стойности чрез някаква функция. OLS е един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни.

Същността на метода на най-малките квадрати

Нека е набор от неизвестни променливи (параметри), е набор от функции от този набор от променливи. Задачата е да изберете такива стойности на x, така че стойностите на тези функции да са възможно най-близо до някои стойности. По същество става дума за "решение" на свръхопределена система от уравнения в посочения смисъл на максимална близост на лявата и дясната част на системата. Същността на LSM е да се избере като "мярка за близост" сумата от квадратите на отклоненията на лявата и дясната част - . По този начин същността на LSM може да се изрази по следния начин:

Ако системата от уравнения има решение, тогава минимумът на сумата от квадрати ще бъде равен на нула и точните решения на системата от уравнения могат да бъдат намерени аналитично или, например, чрез различни числени методи за оптимизация. Ако системата е свръхопределена, т.е. свободно казано, броят на независимите уравнения е по-голям от броя на неизвестните променливи, тогава системата няма точно решение и методът на най-малките квадрати позволява намирането на някакъв „оптимален“ вектор в смисъл на максималната близост на векторите и/или максималната близост на вектора на отклонение до нула (близост, разбирана в смисъла на евклидово разстояние).

Пример - система от линейни уравнения

По-специално, методът на най-малките квадрати може да се използва за "решаване" на системата от линейни уравнения

където матрицата не е квадратна, а правоъгълна по размер (по-точно, рангът на матрицата A е по-голям от броя на необходимите променливи).

Такава система от уравнения в общия случай няма решение. Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор, за да се минимизира "разстоянието" между векторите и. За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения

Използвайки оператора за псевдоинверсия, решението може да бъде пренаписано по следния начин:

където е псевдообратната матрица за.

Този проблем може също да бъде „решен“ с помощта на така наречения претеглен LSM (виж по-долу), когато различни уравнения на системата получават различни тегла от теоретични съображения.

Строго обосновка и определяне на границите на смислената приложимост на метода са дадени от А. А. Марков и А. Н. Колмогоров.

OLS в регресионния анализ (апроксимация на данни)[редактиране | редактиране на wiki текст] Нека има стойности на някаква променлива (може да са резултати от наблюдения, експерименти и т.н.) и съответните променливи. Задачата е да се апроксимира връзката между и чрез някаква функция, известна до някои неизвестни параметри, т.е. действително да се намери най-добри стойностипараметри, максимално близки до реалните стойности. Всъщност това се свежда до случая на "решаване" на свръхопределена система от уравнения по отношение на:

В регресионния анализ и по-специално в иконометрията се използват вероятностни модели на връзката между променливите.

къде са така наречените случайни грешки на модела.

Съответно, отклоненията на наблюдаваните стойности от стойностите на модела вече са приети в самия модел. Същността на LSM (обикновена, класическа) е да се намерят такива параметри, при които сумата от квадратните отклонения (грешки, за регресионните модели те често се наричат ​​регресионни остатъци) ще бъде минимална:

къде е английският. Остатъчната сума на квадратите се определя като:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати (NLS или NLLS - Non-Linear Least Squares). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията, като се диференцират по отношение на неизвестни параметри, приравняват производните на нула и решават получената система от уравнения:

OLS в случай на линейна регресия[редактиране | редактиране на wiki текст]

Нека регресионната зависимост е линейна:

Нека y е вектор на колона от наблюдения на променливата, която се обяснява, и е матрица от наблюдения на фактори (редовете на матрицата са вектори на стойностите на факторите в дадено наблюдение, колоните са вектор от стойности на дадена фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметъра и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

В дешифрираната матрична форма тази система от уравнения изглежда така:

където всички суми се вземат върху всички допустими стойности.

Ако в модела е включена константа (както обикновено), тогава за всички, следователно, в горния ляв ъгъл на матрицата на системата от уравнения е броят на наблюденията, а в останалите елементи на първия ред и първата колона - само сумата от стойностите на променливите: и първият елемент от дясната страна на системата -- .

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

За аналитични цели последното представяне на тази формула се оказва полезно (в системата от уравнения, когато се дели на n, вместо суми се появяват средни аритметични). Ако данните са центрирани в регресионния модел, тогава в това представяне първата матрица има значението на примерната ковариационна матрица на факторите, а втората е ковариационният вектор на фактора със зависимата променлива. Ако в допълнение данните също са нормализирани към стандартното отклонение (т.е. в крайна сметка стандартизирани), тогава първата матрица има значението на примерна корелационна матрица на фактори, вторият вектор - вектор на примерни корелации на фактори с a зависима променлива.

Важно свойство на LLS оценките за модели с константа е, че линията на конструираната регресия минава през центъра на тежестта на извадковите данни, тоест равенството е изпълнено:

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на обясняваната променлива. Тоест средноаритметичното, известно със своите добри свойстваот закони големи числа, също е оценка на най-малките квадрати -- тя удовлетворява критерия за минимална сума от квадратни отклонения от него.

Най-простите специални случаи[редактиране | редактиране на wiki текст]

В случай на сдвоена линейна регресия, когато се оценява линейната зависимост на една променлива от друга, формулите за изчисление са опростени (можете да направите без матрична алгебра). Системата от уравнения има формата:

От тук е лесно да намерите оценки за коефициентите:

Въпреки че константните модели обикновено са за предпочитане, в някои случаи е известно от теоретични съображения, че константата трябва да бъде нула. Например във физиката връзката между напрежение и ток има формата; измерване на напрежение и ток, е необходимо да се оцени съпротивлението. В случая говорим за модела. В този случай, вместо система от уравнения, имаме едно уравнение

Следователно формулата за оценка на единичен коефициент има формата

Статистически свойства на оценките на OLS[редактиране | редактиране на wiki текст]

На първо място отбелязваме, че за линейни модели OLS оценителите са линейни оценители, както следва от формулата по-горе. За непредубедени оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие, по-специално, е изпълнено, ако математическото очакване на случайните грешки е равно на нула, а факторите и случайните грешки са независими случайни променливи.

Първото условие може да се счита за винаги изпълнено за модели с константа, тъй като константата приема ненулево математическо очакване на грешки (следователно моделите с константа обикновено са за предпочитане). ковариация на регресия на най-малък квадрат

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за съгласуваност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица с увеличаване на размера на извадката до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати да бъдат също ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайна грешка:

Постоянна (една и съща) дисперсия на случайни грешки във всички наблюдения (без хетероскедастичност):

Липса на корелация (автокорелация) на случайни грешки в различни наблюдения помежду си

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни безпристрастни оценки домашна литературачесто се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Ефективността означава, че тази ковариационна матрица е „минимална“ (всяка линейна комбинация от коефициенти, и по-специално самите коефициенти, имат минимална дисперсия), тоест в класа на линейни безпристрастни оценки оценките на OLS са най-добрите. Диагонални елементи на тази матрица -- вариации на оценките на коефициента -- важни параметрикачество на получените оценки. Не е възможно обаче да се изчисли ковариационната матрица, тъй като дисперсията на случайната грешка е неизвестна. Може да се докаже, че безпристрастната и последователна (за класическия линеен модел) оценка на дисперсията на случайните грешки е стойността:

Замествайки тази стойност във формулата за ковариационната матрица, получаваме оценка на ковариационната матрица. Получените оценки също са безпристрастни и последователни. Важно е също така, че оценката на дисперсията на грешката (и следователно дисперсиите на коефициентите) и оценките на параметрите на модела са независими случайни променливи, което прави възможно получаването на тестова статистика за тестване на хипотези за коефициентите на модела.

Трябва да се отбележи, че ако класическите допускания не са изпълнени, оценките на параметрите на най-малките квадрати не са най-ефективните оценки (остават безпристрастни и последователни). Оценката на ковариационната матрица обаче се влошава още повече – тя става пристрастна и непоследователна. Това означава, че статистическите заключения за качеството на конструирания модел в този случай могат да бъдат изключително ненадеждни. Един от начините за решаване на последния проблем е да се използват специални оценки на ковариационната матрица, които са последователни при нарушения на класическите допускания (стандартни грешки във формата на Уайт и стандартни грешки във формата на Нюи-Уест). Друг подход е използването на така наречените обобщени най-малки квадрати.

Обобщени най-малки квадрати[редактиране | редактиране на wiki текст]

Основна статия: Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително-определена квадратична форма на вектора на остатъците, където е някаква симетрична положително-определена матрица на теглото. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно този функционал може да бъде представен по следния начин

това означава, че този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказано е (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени най-малки квадрати (GLS, GLS - Generalized Least Squares) - LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

Ковариационната матрица на тези оценки съответно ще бъде равна на

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглен OLS[редактиране | редактиране на wiki текст]

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение:

Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

Има много приложения, тъй като позволява приблизително представяне на дадена функция от други по-прости. LSM може да бъде изключително полезен при обработката на наблюдения и се използва активно за оценка на някои количества от резултатите от измервания на други, съдържащи случайни грешки. В тази статия ще научите как да прилагате изчисления на най-малките квадрати в Excel.

Постановка на проблема на конкретен пример

Да предположим, че има два индикатора X и Y. Освен това Y зависи от X. Тъй като OLS представлява интерес за нас от гледна точка на регресионния анализ (в Excel неговите методи се изпълняват с помощта на вградени функции), трябва незабавно да продължим за разглеждане на конкретен проблем.

И така, нека X е търговската площ на магазин за хранителни стоки, измерена в квадратни метра, а Y е годишният оборот, определен в милиони рубли.

Изисква се да се направи прогноза какъв оборот (Y) ще има магазинът, ако има една или друга търговска площ. Очевидно функцията Y = f (X) нараства, тъй като хипермаркетът продава повече стоки от щанда.

Няколко думи за коректността на първоначалните данни, използвани за прогнозиране

Да кажем, че имаме изградена таблица с данни за n магазина.

Според математическата статистика резултатите ще бъдат повече или по-малко верни, ако се изследват данните за поне 5-6 обекта. Освен това не могат да се използват "аномални" резултати. По-специално, елитен малък бутик може да има оборот многократно по-голям от оборота на големия изходиКлас "Masmarket".

Същността на метода

Данните от таблицата могат да бъдат показани в декартовата равнина като точки M 1 (x 1, y 1), ... M n (x n, y n). Сега решението на задачата ще се сведе до избора на апроксимираща функция y = f (x), която има графика, минаваща възможно най-близо до точките M 1, M 2, .. M n .

Разбира се, можете да използвате полином с висока степен, но тази опция е не само трудна за изпълнение, но и просто неправилна, тъй като няма да отразява основната тенденция, която трябва да бъде открита. Най-разумното решение е да се намери правата линия y = ax + b, която най-добре приближава експерименталните данни или по-скоро коефициентите - a и b.

Резултат за точност

За всяка апроксимация оценката на нейната точност е от особено значение. Означаваме с e i разликата (отклонението) между функционалните и експерименталните стойности за точката x i, т.е. e i = y i - f (x i).

Очевидно е, че за да оцените точността на приближението, можете да използвате сумата от отклонения, т.е. когато избирате права линия за приблизително представяне на зависимостта на X от Y, трябва да се даде предпочитание на тази, която има най-малката стойност на сумата e i във всички разглеждани точки. Не всичко обаче е толкова просто, тъй като наред с положителните отклонения на практика ще има отрицателни.

Можете да решите проблема, като използвате модулите за отклонение или техните квадрати. Последният метод е най-широко използван. Използва се в много области, включително регресионен анализ(в Excel неговото внедряване се извършва с помощта на две вградени функции) и отдавна е доказала своята ефективност.

Метод на най-малките квадрати

В Excel, както знаете, има вградена функция за автоматично събиране, която ви позволява да изчислявате стойностите на всички стойности, разположени в избрания диапазон. Така нищо няма да ни попречи да изчислим стойността на израза (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

В математическа нотация това изглежда така:

Тъй като първоначално беше взето решение за приблизително използване на права линия, имаме:

По този начин задачата за намиране на права линия, която най-добре описва специфична връзка между X и Y, се свежда до изчисляване на минимума на функция от две променливи:

Това изисква приравняване на нула частни производни по отношение на нови променливи a и b и решаване на примитивна система, състояща се от две уравнения с 2 неизвестни от вида:

След прости трансформации, включително деление на 2 и манипулиране на сумите, получаваме:

Решавайки го, например, по метода на Крамер, получаваме стационарна точка с определени коефициенти a * и b * . Това е минимумът, т.е. за да се предвиди какъв оборот ще има магазинът за определен район, е подходяща правата линия y = a * x + b *, която е регресионен модел за въпросния пример. Разбира се, това няма да ви позволи да намерите точния резултат, но ще ви помогне да получите представа дали закупуването на магазин на кредит за определен район ще се изплати.

Как да приложим метода на най-малките квадрати в Excel

Excel има функция за изчисляване на стойността на най-малките квадрати. Има следната форма: ТЕНДЕНЦИЯ (известни Y стойности; известни X стойности; нови X стойности; константа). Нека приложим формулата за изчисляване на OLS в Excel към нашата таблица.

За да направите това, в клетката, в която трябва да се покаже резултатът от изчислението по метода на най-малките квадрати в Excel, въведете знака "=" и изберете функцията "TREND". В прозореца, който се отваря, попълнете съответните полета, като маркирате:

• диапазон от известни стойности за Y (в този случай данни за оборот);
• диапазон x 1 , …x n , т.е. размерът на търговската площ;
• и известни и неизвестни стойности на x, за които трябва да разберете размера на оборота (за информация относно тяхното местоположение в работния лист вижте по-долу).

Освен това във формулата има логическа променлива "Const". Ако въведете 1 в полето, съответстващо на него, това ще означава, че трябва да се извършат изчисления, като се приеме, че b \u003d 0.

Ако трябва да знаете прогнозата за повече от една стойност x, тогава след въвеждане на формулата не трябва да натискате "Enter", а трябва да въведете комбинацията "Shift" + "Control" + "Enter" ("Enter" ) на клавиатурата.

Някои функции

Регресионният анализ може да бъде достъпен дори за манекени. Формулата на Excel за прогнозиране на стойността на масив от неизвестни променливи - "TREND" - може да се използва дори от тези, които никога не са чували за метода на най-малките квадрати. Достатъчно е само да знаете някои характеристики на работата му. По-специално:

• Ако подредим диапазона от известни стойности на променливата y в един ред или колона, тогава всеки ред (колона) с известни стойности x ще се третира от програмата като отделна променлива.
• Ако обхватът с известен x не е посочен в прозореца "TREND", тогава в случай на използване на функцията in програма Excelще го разглежда като масив, състоящ се от цели числа, чийто брой съответства на диапазона с дадените стойности на променливата y.
• За да изведете масив от „предсказани“ стойности, изразът на тренда трябва да бъде въведен като формула за масив.
• Ако не са посочени нови x стойности, тогава функцията TREND ги счита за равни на известните. Ако те не са посочени, тогава масив 1 се приема като аргумент; 2; 3; 4;…, което е съизмеримо с диапазона с вече зададени параметри y.
• Диапазонът, съдържащ новите x стойности, трябва да се състои от същите или Повече ▼редове или колони, като диапазон с дадени y стойности. С други думи, трябва да е пропорционален на независимите променливи.
• Масив с известни x стойности може да съдържа множество променливи. Ако обаче говорим само за един, тогава се изисква диапазоните с дадените стойности на x и y да са съизмерими. В случай на няколко променливи е необходимо диапазонът с дадените стойности на y да се побере в една колона или един ред.

Функция ПРОГНОЗА

Реализира се с помощта на няколко функции. Една от тях се нарича „ПРЕДСКАЗАНЕ“. Той е подобен на TREND, т.е. дава резултат от изчисления, използвайки метода на най-малките квадрати. Но само за един X, за който стойността на Y е неизвестна.

Вече знаете формулите на Excel за манекени, които ви позволяват да предскажете стойността на бъдещата стойност на индикатор според линейна тенденция.