MNK automatycznie daje. Gdzie stosowana jest metoda najmniejszych kwadratów?

100 RUR bonus za pierwsze zamówienie

Wybierz typ pracy Praca dyplomowa Praca na kursie Streszczenie Praca magisterska Sprawozdanie z praktyki Artykuł Raport Recenzja Test Monografia Rozwiązywanie problemów Biznesplan Odpowiedzi na pytania Kreatywna praca Esej Rysunek Prace Tłumaczenie Prezentacje Pisanie na maszynie Inne Zwiększenie niepowtarzalności tekstu pracy magisterskiej Praca laboratoryjna Pomoc online

Poznaj cenę

metoda najmniejszych kwadratów- technika matematyczna (matematyczno-statystyczna) służąca do wyrównywania szeregów czasowych, identyfikowania postaci korelacji pomiędzy zmiennymi losowymi itp. Polega ona na tym, że funkcja opisująca to zjawisko jest aproksymowana funkcją prostszą. Co więcej, tę ostatnią dobiera się w taki sposób, aby odchylenie standardowe (patrz Rozproszenie) rzeczywistych poziomów funkcji w obserwowanych punktach od wyrównanych było jak najmniejsze.

Według dostępnych danych (np. xi,tak) (I = 1, 2, ..., N) taka krzywa jest zbudowana y = A + bx, przy którym osiągana jest minimalna suma kwadratów odchyleń

tj. funkcja zależna od dwóch parametrów jest minimalizowana: A- odcinek na osi rzędnych i B- nachylenie linii prostej.

Równania podające warunki niezbędne do minimalizacji funkcji S(A,B), są nazywane normalne równania. Jako funkcje aproksymujące stosuje się nie tylko liniowe (wyrównanie wzdłuż linii prostej), ale także kwadratowe, paraboliczne, wykładnicze itp. Na przykład wyrównanie szeregu czasowego wzdłuż linii prostej patrz ryc. M.2, gdzie suma kwadratów odległości ( y 1 – ȳ 1)2 + (y 2 – ȳ 2)2 .... jest najmniejsza, a uzyskana linia prosta najlepiej oddaje trend dynamicznej serii obserwacji określonego wskaźnika w czasie.

W przypadku bezstronnych szacunków OLS jest to konieczne i wystarczające do wykonania najważniejszy warunek analiza regresji: warunkowe matematyczne oczekiwanie błędu losowego musi być równe zero. Warunek ten jest w szczególności spełniony, jeżeli: 1.oczekiwanie matematyczne błędów losowych wynosi zero oraz 2.czynniki i błędy losowe są niezależnymi zmiennymi losowymi. Pierwszy warunek można uznać za zawsze spełniony w przypadku modeli ze stałą, gdyż stała przyjmuje niezerowe matematyczne oczekiwanie błędów. Warunek drugi – warunek egzogeniczności czynników – jest zasadniczy. Jeśli ta właściwość nie jest spełniona, możemy założyć, że prawie wszystkie szacunki będą wyjątkowo niezadowalające: nie będą nawet spójne (to znaczy nawet bardzo duża ilość danych nie pozwala nam w tym przypadku uzyskać szacunków wysokiej jakości) ).

Najpopularniejszą metodą statystycznej estymacji parametrów równań regresji jest metoda najmniejszych kwadratów. Metoda ta opiera się na szeregu założeń dotyczących charakteru danych i wyników modelu. Najważniejsze z nich to wyraźny podział zmiennych wyjściowych na zależne i niezależne, nieskorelowanie czynników zawartych w równaniach, liniowość zależności, brak autokorelacji reszt, zgodność ich oczekiwań matematycznych z zerem i stała dyspersja.

Jedną z głównych hipotez OLS jest założenie równości wariancji odchyleń ei, tj. ich rozpiętość wokół średniej (zerowej) wartości szeregu powinna być wartością stabilną. Ta właściwość nazywa się homoskedastycznością. W praktyce wariancje odchyleń są dość często nierówne, czyli obserwuje się heteroskedastyczność. To może być konsekwencja różne powody. Na przykład mogą występować błędy w danych źródłowych. Sporadyczne niedokładności w informacjach źródłowych, takie jak błędy w kolejności liczb, mogą mieć znaczący wpływ na wyniki. Często większy rozrzut odchyleń єi obserwuje się przy dużych wartościach zmiennej zależnej (zmiennych). Jeśli dane zawierają istotny błąd, to oczywiście odchylenie wartości modelu obliczonej na podstawie błędnych danych również będzie duże. Aby pozbyć się tego błędu, należy zmniejszyć udział tych danych w wynikach obliczeń, przypisując im mniejszą wagę niż wszystkim innym. Pomysł ten jest realizowany w ważonym OLS.

Po wyrównaniu otrzymujemy funkcję w postaci: g (x) = x + 1 3 + 1 .

Możemy przybliżyć te dane za pomocą zależności liniowej y = a x + b, obliczając odpowiednie parametry. W tym celu będziemy musieli zastosować tzw. metodę najmniejszych kwadratów. Będziesz także musiał wykonać rysunek, aby sprawdzić, która linia najlepiej pasuje do danych eksperymentalnych.

Yandex.RTB R-A-339285-1

Czym dokładnie jest OLS (metoda najmniejszych kwadratów)

Najważniejsze, co musimy zrobić, to znaleźć takie współczynniki zależności liniowej, przy których wartość funkcji dwóch zmiennych F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 będzie równa najmniejszy. Inaczej mówiąc, dla pewnych wartości a i b suma kwadratów odchyleń prezentowanych danych od wynikowej prostej będzie miała wartość minimalną. Takie jest znaczenie metody najmniejszych kwadratów. Aby rozwiązać przykład, wystarczy znaleźć ekstremum funkcji dwóch zmiennych.

Jak wyprowadzać wzory na obliczanie współczynników

Aby wyprowadzić wzory na obliczanie współczynników, należy utworzyć i rozwiązać układ równań z dwiema zmiennymi. W tym celu obliczamy pochodne cząstkowe wyrażenia F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 względem aib i przyrównujemy je do 0.

δ fa (a, b) δ za = 0 δ fa (a, b) δ b = 0 ⇔ - 2 ∑ ja = 1 n (y ja - (a x ja + b)) x ja = 0 - 2 ∑ ja = 1 n ( y ja - (a x ja + b)) = 0 ⇔ za ∑ ja = 1 n x ja 2 + b ∑ ja = 1 n x ja = ∑ ja = 1 n x ja y ja za ∑ ja = 1 n x ja + ∑ ja = 1 n b = ∑ ja = 1 n y ja ⇔ a ∑ ja = 1 n x ja 2 + b ∑ ja = 1 n x ja = ∑ ja = 1 n x ja y ja za ∑ ja = 1 n x ja + n b = ∑ ja = 1 n y ja

Aby rozwiązać układ równań, można zastosować dowolne metody, na przykład podstawienie lub metodę Cramera. W rezultacie powinniśmy mieć wzory, które można wykorzystać do obliczenia współczynników metodą najmniejszych kwadratów.

n ∑ ja = 1 n x ja y ja - ∑ ja = 1 n x ja ∑ ja = 1 n y ja n ∑ ja = 1 n - ∑ ja = 1 n x ja 2 b = ∑ ja = 1 n y ja - za ∑ ja = 1 n x ja n

Obliczyliśmy wartości zmiennych, przy których działa funkcja
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 przyjmie wartość minimalną. W trzecim akapicie udowodnimy, dlaczego jest właśnie tak.

Jest to zastosowanie w praktyce metody najmniejszych kwadratów. Jego wzór, za pomocą którego znajduje się parametr a, zawiera ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 oraz parametr
n – oznacza ilość danych eksperymentalnych. Radzimy obliczyć każdą kwotę osobno. Wartość współczynnika b oblicza się bezpośrednio po a.

Wróćmy do pierwotnego przykładu.

Przykład 1

Tutaj mamy n równa się pięć. Aby ułatwić obliczenie wymaganych kwot zawartych we wzorach współczynników, wypełnijmy tabelę.

	ja=1	ja=2	ja = 3	ja=4	ja=5	∑ ja = 1 5
x ja	0	1	2	4	5	12
tak, ja	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Rozwiązanie

Czwarty wiersz obejmuje dane uzyskane przez pomnożenie wartości z drugiego wiersza przez wartości trzeciego dla każdego osobnika, tj. Piąta linia zawiera dane z drugiej, podniesione do kwadratu. Ostatnia kolumna pokazuje sumy wartości poszczególnych wierszy.

Użyjmy metody najmniejszych kwadratów do obliczenia potrzebnych współczynników a i b. Aby to zrobić, zamień wymagane wartości z ostatniej kolumny i oblicz kwoty:

n ∑ ja = 1 n x ja y ja - ∑ ja = 1 n x ja ∑ ja = 1 n y ja n ∑ ja = 1 n - ∑ ja = 1 n x ja 2 b = ∑ ja = 1 n y ja - za ∑ ja = 1 n x ja n ⇒ za = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - za 12 5 ⇒ za ≈ 0, 165 b ≈ 2, 184

Okazuje się, że wymagana aproksymująca linia prosta będzie wyglądać jak y = 0, 165 x + 2, 184. Teraz musimy określić, która linia lepiej przybliży dane - g (x) = x + 1 3 + 1 lub 0, 165 x + 2, 184. Oszacujmy metodą najmniejszych kwadratów.

Aby obliczyć błąd, musimy znaleźć sumę kwadratów odchyleń danych od prostych σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 i σ 2 = ∑ i = 1 n (y i - g (x i)) 2, minimalna wartość będzie odpowiadać bardziej odpowiedniej linii.

σ 1 = ∑ ja = 1 n (y ja - (a x ja + b ja)) 2 = = ∑ ja = 1 5 (y ja - (0, 165 x ja + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ ja = 1 n (y ja - g (x ja)) 2 = = ∑ ja = 1 5 (y ja - (x ja + 1 3 + 1)) 2 ≈ 0,096

Odpowiedź: ponieważ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Metodę najmniejszych kwadratów wyraźnie pokazano na ilustracji graficznej. Linia czerwona oznacza linię prostą g (x) = x + 1 3 + 1, linia niebieska oznacza y = 0, 165 x + 2, 184. Oryginalne dane są oznaczone różowymi kropkami.

Wyjaśnijmy, dlaczego potrzebne są dokładnie tego typu przybliżenia.

Można je stosować w zadaniach wymagających wygładzenia danych, a także tam, gdzie dane muszą być interpolowane lub ekstrapolowane. Przykładowo w omówionym powyżej problemie można znaleźć wartość obserwowanej wielkości y przy x = 3 lub przy x = 6. Takim przykładom poświęciliśmy osobny artykuł.

Dowód metody OLS

Aby funkcja przy obliczaniu a i b przyjmowała wartość minimalną konieczne jest, aby w danym punkcie macierz postaci kwadratowej różniczki funkcji postaci F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 jest dodatnio określone. Pokażemy Ci jak to powinno wyglądać.

Przykład 2

Różniczkę drugiego rzędu mamy w postaci:

re 2 fa (a; b) = δ 2 fa (a; b) δ za 2 re 2 a + 2 δ 2 fa (a; b) δ a δ b re za re b + δ 2 fa (a; b) δ b 2 d 2 b

Rozwiązanie

δ 2 fa (a ; b) δ za 2 = δ δ fa (a ; b) δ za δ a = = δ - 2 ∑ ja = 1 n (y ja - (a x ja + b)) x ja δ a = 2 ∑ ja = 1 n (x i) 2 δ 2 fa (a; b) δ a δ b = δ δ fa (a; b) δ a δ b = = δ - 2 ∑ ja = 1 n (y ja - (a x ja + b) ) x ja δ b = 2 ∑ ja = 1 n x ja δ 2 fa (a ; b) δ b 2 = δ δ fa (a ; b) δ b δ b = δ - 2 ∑ ja = 1 n (y ja - (a x ja + b)) δ b = 2 ∑ ja = 1 n (1) = 2 n

Innymi słowy, możemy to zapisać w ten sposób: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n re a re b + (2 n) d 2 b.

Otrzymaliśmy macierz postaci kwadratowej M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x ja 2 ∑ i = 1 n x ja 2 n .

W takim przypadku wartości poszczególnych elementów nie ulegną zmianie w zależności od aib. Czy ta macierz jest dodatnio określona? Aby odpowiedzieć na to pytanie, sprawdźmy, czy jego drobne kątowe są dodatnie.

Obliczamy moll kątowy pierwszego rzędu: 2 ∑ i = 1 n (x i) 2 > 0 . Ponieważ punkty x i nie pokrywają się, nierówność jest ścisła. Będziemy o tym pamiętać w dalszych obliczeniach.

Obliczamy moll kątowy drugiego rzędu:

re mi t (M) = 2 ∑ ja = 1 n (x ja) 2 2 ∑ ja = 1 n x ja 2 ∑ ja = 1 n x ja 2 n = 4 n ∑ ja = 1 n (x ja) 2 - ∑ ja = 1 n x ja 2

Następnie przystępujemy do udowodnienia nierówności n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 za pomocą indukcji matematycznej.

1. Sprawdźmy, czy ta nierówność jest prawdziwa dla dowolnego n. Weźmy 2 i obliczmy:

2 ∑ ja = 1 2 (x ja) 2 - ∑ ja = 1 2 x ja 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Otrzymaliśmy poprawną równość (jeśli wartości x 1 i x 2 nie pokrywają się).

1. Załóżmy, że nierówność ta będzie prawdziwa dla n, tj. n ∑ ja = 1 n (x i) 2 - ∑ ja = 1 n x ja 2 > 0 – prawda.
2. Teraz udowodnimy ważność dla n + 1, tj. że (n + 1) ∑ ja = 1 n + 1 (x i) 2 - ∑ ja = 1 n + 1 x ja 2 > 0, jeśli n ∑ ja = 1 n (x i) 2 - ∑ ja = 1 n x ja 2 > 0 .

Obliczamy:

(n + 1) ∑ ja = 1 n + 1 (x i) 2 - ∑ ja = 1 n + 1 x ja 2 = = (n + 1) ∑ ja = 1 n (x i) 2 + x n + 1 2 - ∑ ja = 1 n x ja + x n + 1 2 = = n ∑ ja = 1 n (x ja) 2 + n x n + 1 2 + ∑ ja = 1 n (x ja) 2 + x n + 1 2 - - ∑ ja = 1 n x ja 2 + 2 x n + 1 ∑ ja = 1 n x ja + x n + 1 2 = = ∑ ja = 1 n (x ja) 2 - ∑ ja = 1 n x ja 2 + n x n + 1 2 - x n + 1 ∑ ja = 1 n x ja + ∑ ja = 1 n (x ja) 2 = = ∑ ja = 1 n (x ja) 2 - ∑ ja = 1 n x ja 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ ja = 1 n (x ja) 2 - ∑ ja = 1 n x ja 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Wyrażenie ujęte w nawiasy klamrowe będzie większe od 0 (w oparciu o to, co założyliśmy w kroku 2), a pozostałe wyrazy będą większe od 0, ponieważ wszystkie są kwadratami liczb. Udowodniliśmy nierówność.

Odpowiedź: znalezione a i b będą odpowiadać najmniejszej wartości funkcji F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, co oznacza, że ​​są to wymagane parametry metody najmniejszych kwadratów (LSM).

Jeśli zauważysz błąd w tekście, zaznacz go i naciśnij Ctrl+Enter

Przybliżmy funkcję wielomianem stopnia 2. Aby to zrobić, obliczamy współczynniki normalnego układu równań:

, ,

Stwórzmy normalny system najmniejszych kwadratów, który ma postać:

Rozwiązanie układu jest łatwe do znalezienia:, , .

W ten sposób znaleziono wielomian drugiego stopnia: .

Informacje teoretyczne

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład 2. Znajdowanie optymalnego stopnia wielomianu.

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład 3. Wyprowadzenie układu równań normalnych do znalezienia parametrów zależności empirycznej.

Wyprowadźmy układ równań w celu określenia współczynników i funkcji , który wykonuje przybliżenie średniokwadratowe danej funkcji punktami. Stwórzmy funkcję i napisz jej to warunek konieczny ekstremum:

Wtedy normalny system przyjmie postać:

Dostał układ liniowy równania dla nieznanych parametrów i, które można łatwo rozwiązać.

Informacje teoretyczne

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X I Na podano w tabeli.

W wyniku ich wyrównania uzyskuje się funkcję

Za pomocą metoda najmniejszych kwadratów, aproksymuj te dane za pomocą zależności liniowej y=topór+b(znajdź parametry A I B). Dowiedz się, która z dwóch linii lepiej (w sensie metody najmniejszych kwadratów) wyrównuje dane eksperymentalne. Narysuj coś.

Istota metody najmniejszych kwadratów (LSM).

Zadanie polega na znalezieniu współczynników zależności liniowej, przy której funkcjonuje funkcja dwóch zmiennych A I Bprzyjmuje najmniejszą wartość. To znaczy, dane A I B suma kwadratów odchyleń danych eksperymentalnych od znalezionej prostej będzie najmniejsza. Na tym polega cały sens metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów na znalezienie współczynników.

Układ dwóch równań z dwiema niewiadomymi jest kompilowany i rozwiązywany. Znajdowanie pochodnych cząstkowych funkcji przez zmienne A I B, przyrównujemy te pochodne do zera.

Powstały układ równań rozwiązujemy dowolną metodą (np metodą podstawieniową lub metoda Cramera) i uzyskać wzory na znalezienie współczynników metodą najmniejszych kwadratów (LSM).

Dany A I B funkcjonować przyjmuje najmniejszą wartość. Dowód tego faktu przytoczono poniżej w tekście na końcu strony.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru A zawiera sumy , , i parametr N— ilość danych eksperymentalnych. Zalecamy oddzielne obliczanie wartości tych kwot.

Współczynnik B znalezione po obliczeniach A.

Czas przypomnieć sobie oryginalny przykład.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczenia kwot uwzględnionych we wzorach wymaganych współczynników.

Wartości w czwartym wierszu tabeli uzyskuje się poprzez pomnożenie wartości drugiego wiersza przez wartości trzeciego wiersza dla każdej liczby I.

Wartości w piątym wierszu tabeli uzyskuje się przez podniesienie do kwadratu wartości w drugim wierszu dla każdej liczby I.

Wartości w ostatniej kolumnie tabeli są sumami wartości w wierszach.

Do znalezienia współczynników używamy wzorów metody najmniejszych kwadratów A I B. Podstawiamy do nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y = 0,165x+2,184— żądaną przybliżoną linię prostą.

Pozostaje dowiedzieć się, która z linii y = 0,165x+2,184 Lub lepiej przybliża oryginalne dane, czyli dokonuje oszacowania metodą najmniejszych kwadratów.

Estymacja błędu metodą najmniejszych kwadratów.

Aby to zrobić, musisz obliczyć sumę kwadratów odchyleń oryginalnych danych od tych linii I , mniejsza wartość odpowiada linii, która lepiej przybliża oryginalne dane w sensie metody najmniejszych kwadratów.

Od , potem prosto y = 0,165x+2,184 lepiej przybliża oryginalne dane.

Graficzna ilustracja metody najmniejszych kwadratów (LS).

Wszystko doskonale widać na wykresach. Czerwona linia to znaleziona linia prosta y = 0,165x+2,184, niebieska linia to , różowe kropki to oryginalne dane.

Dlaczego jest to potrzebne, po co te wszystkie przybliżenia?

Osobiście używam go do rozwiązywania problemów związanych z wygładzaniem danych, interpolacją i ekstrapolacją (w oryginalnym przykładzie można zostać poproszony o znalezienie wartości obserwowanej wartości y Na x=3 albo kiedy x=6 metodą najmniejszych kwadratów). Ale porozmawiamy o tym więcej później w innej części witryny.

Na górze strony

Dowód.

Tak więc, gdy zostanie znaleziony A I B funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz postaci kwadratowej różniczki drugiego rzędu dla funkcji był dodatnio określony. Pokażmy to.

Różniczka drugiego rzędu ma postać:

To jest

Zatem macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od A I B.

Pokażmy, że macierz jest dodatnio określona. Aby to zrobić, nieletni kątowe muszą być dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty nie pokrywają się. W dalszej części będziemy to sugerować.

Moll kątowy drugiego rzędu

Udowodnijmy to metodą indukcji matematycznej.

Wniosek: znalezione wartości A I B odpowiadają najmniejszej wartości funkcji są zatem wymaganymi parametrami metody najmniejszych kwadratów.

Nie masz czasu, żeby to przemyśleć?
Zamów rozwiązanie

Na górze strony

Opracowanie prognozy metodą najmniejszych kwadratów. Przykład rozwiązania problemu

Ekstrapolacja jest metodą badania naukowe, który opiera się na rozpowszechnianiu przeszłych i obecnych trendów, wzorców, powiązań z przyszłym rozwojem obiektu prognozy. Metody ekstrapolacji obejmują metoda średniej ruchomej, metoda wygładzanie wykładnicze, metoda najmniejszych kwadratów.

Istota metoda najmniejszych kwadratów polega na minimalizowaniu sumy kwadratów odchyleń pomiędzy wartościami obserwowanymi i obliczonymi. Obliczone wartości znajdują się za pomocą wybranego równania - równania regresji. Im mniejsza odległość pomiędzy wartościami rzeczywistymi i obliczonymi, tym dokładniejsza jest prognoza oparta na równaniu regresji.

Podstawą wyboru krzywej jest teoretyczna analiza istoty badanego zjawiska, którego zmiana znajduje odzwierciedlenie w szeregu czasowym. Czasami brane są pod uwagę rozważania dotyczące charakteru wzrostu poziomów szeregu. Zatem jeśli oczekuje się wzrostu produkcji na poziomie postęp arytmetyczny, następnie wygładzanie odbywa się w linii prostej. Jeśli okaże się, że wzrost przebiega w postępie geometrycznym, wówczas należy przeprowadzić wygładzanie za pomocą funkcji wykładniczej.

Roboczy wzór na metodę najmniejszych kwadratów : Yt+1 = a*X + b, gdzie t + 1 – okres prognozy; Уt+1 – przewidywany wskaźnik; aib są współczynnikami; X - symbol czas.

Obliczenia współczynników a i b przeprowadza się za pomocą następujących wzorów:

gdzie, Uf – wartości rzeczywiste szeregu dynamiki; n – liczba poziomów szeregów czasowych;

Wygładzanie szeregów czasowych metodą najmniejszych kwadratów służy odzwierciedleniu schematu rozwoju badanego zjawiska. W analitycznym wyrażeniu trendu czas jest uważany za zmienną niezależną, a poziomy szeregu działają jako funkcja tej zmiennej niezależnej.

Rozwój zjawiska nie zależy od tego, ile lat minęło od punktu wyjścia, ale od tego, jakie czynniki wpłynęły na jego rozwój, w jakim kierunku i z jaką intensywnością. Stąd jasno wynika, że ​​rozwój zjawiska w czasie jest wynikiem działania tych czynników.

Prawidłowe ustalenie rodzaju krzywej, rodzaju zależności analitycznej od czasu jest jednym z najtrudniejszych zadań analizy predykcyjnej .

Wybór rodzaju funkcji opisującej trend, której parametry wyznaczane są metodą najmniejszych kwadratów, w większości przypadków odbywa się empirycznie, konstruując szereg funkcji i porównując je ze sobą według wartości błąd średniokwadratowy, obliczany ze wzoru:

gdzie UV są rzeczywistymi wartościami szeregu dynamiki; Ur – obliczone (wygładzone) wartości szeregu dynamiki; n – liczba poziomów szeregów czasowych; p – liczba parametrów zdefiniowanych we wzorach opisujących trend (trend rozwoju).

Wady metody najmniejszych kwadratów :

• próbując opisać badane zjawisko gospodarcze za pomocą równania matematycznego, prognoza będzie dokładna przez krótki okres czasu, a równanie regresji należy przeliczyć w miarę pojawiania się nowych informacji;
• złożoność wyboru równania regresji, które można rozwiązać przy użyciu standardowych programów komputerowych.

Przykład zastosowania metody najmniejszych kwadratów do opracowania prognozy

Zadanie . Istnieją dane charakteryzujące stopę bezrobocia w województwie, proc.

• Skonstruuj prognozę stopy bezrobocia w regionie na listopad, grudzień, styczeń, korzystając z metod: średniej kroczącej, wygładzania wykładniczego, najmniejszych kwadratów.
• Oblicz błędy w otrzymanych prognozach, stosując każdą metodę.
• Porównaj wyniki i wyciągnij wnioski.

Rozwiązanie metodą najmniejszych kwadratów

Aby rozwiązać ten problem, stworzymy tabelę, w której będziemy produkować niezbędne obliczenia:

ε = 28,63/10 = 2,86% dokładność prognozy wysoki.

Wniosek : Porównanie wyników uzyskanych z obliczeń metoda średniej ruchomej , metoda wygładzania wykładniczego oraz metodą najmniejszych kwadratów można powiedzieć, że średni błąd względny przy obliczeniach metodą wygładzania wykładniczego mieści się w przedziale 20-50%. Oznacza to, że trafność prognozy w tym przypadku jest jedynie zadowalająca.

W pierwszym i trzecim przypadku dokładność prognozy jest wysoka, ponieważ średni błąd względny jest mniejszy niż 10%. Jednak metoda średniej ruchomej pozwoliła uzyskać bardziej wiarygodne wyniki (prognoza na listopad - 1,52%, prognoza na grudzień - 1,53%, prognoza na styczeń - 1,49%), ponieważ średni błąd względny przy stosowaniu tej metody jest najmniejszy - 1 ,13%.

Metoda najmniejszych kwadratów

Inne artykuły na ten temat:

Lista wykorzystanych źródeł

1. Zalecenia naukowo-metodologiczne dotyczące diagnozowania ryzyk społecznych oraz prognozowania wyzwań, zagrożeń i konsekwencji społecznych. Rosyjski Państwowy Uniwersytet Społeczny. Moskwa. 2010;
2. Władimirowa L.P. Prognozowanie i planowanie w warunkach rynkowych: Podręcznik. dodatek. M.: Wydawnictwo „Dashkov i Spółka”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognozowanie gospodarki narodowej: Podręcznik edukacyjno-metodyczny. Jekaterynburg: Wydawnictwo Ural. państwo ekonomia. Uniwersytet, 2007;
4. Slutskin L.N. Kurs MBA z zakresu prognozowania biznesowego. M.: Alpina Business Books, 2006.

programu MNC

Wprowadzanie danych

Dane i aproksymacja y = a + b x

I- numer punktu doświadczalnego;
x ja- wartość stałego parametru w punkcie I;
tak, ja- wartość mierzonego parametru w punkcie I;
ω ja- pomiar masy w punkcie I;
tak, oblicz.- różnica pomiędzy wartością zmierzoną i obliczoną metodą regresji y w tym punkcie I;
S x i (x i)- oszacowanie błędu x ja podczas pomiaru y w tym punkcie I.

Dane i aproksymacja y = kx

I	x ja	tak, ja	ω ja	tak, oblicz.	Δy ja	S x i (x i)

Kliknij na wykres

Instrukcja obsługi programu online MNC.

W polu danych wpisz w każdej osobnej linii wartości `x` i `y` w jednym punkcie doświadczalnym. Wartości muszą być oddzielone znakiem odstępu (spacją lub tabulatorem).

Trzecią wartością może być waga punktu „w”. Jeśli waga punktu nie jest określona, ​​jest ona równa jeden. W zdecydowanej większości przypadków wagi punktów doświadczalnych są nieznane lub nie obliczone, tj. wszystkie dane eksperymentalne uważa się za równoważne. Czasami wagi w badanym zakresie wartości absolutnie nie są równoważne i można je nawet obliczyć teoretycznie. Na przykład w spektrofotometrii można obliczyć masy proste formuły, choć przeważnie wszyscy o tym zaniedbują, aby obniżyć koszty pracy.

Dane można wkleić za pomocą schowka z arkusza kalkulacyjnego w pakiecie biurowym, takim jak Excel z pakietu Microsoft Office lub Calc z pakietu Open Office. Aby to zrobić, w arkuszu kalkulacyjnym zaznacz zakres danych do skopiowania, skopiuj do schowka i wklej dane w polu danych na tej stronie.

Aby dokonać obliczeń metodą najmniejszych kwadratów, potrzebne są co najmniej dwa punkty, aby wyznaczyć dwa współczynniki `b` - tangens kąta nachylenia prostej oraz `a` - wartość przecinana przez prostą na osi `y`.

Aby oszacować błąd obliczonych współczynników regresji, należy ustawić liczbę punktów eksperymentalnych na więcej niż dwa.

Metoda najmniejszych kwadratów (LSM).

Im większa liczba punktów doświadczalnych, tym dokładniejsza ocena statystyczna współczynników (ze względu na zmniejszenie współczynnika Studenta) i tym bliższe oszacowaniu próby ogólnej.

Uzyskanie wartości w każdym punkcie doświadczalnym często wiąże się ze znacznymi kosztami pracy, dlatego często przeprowadza się kompromisową liczbę eksperymentów, która daje możliwy do opanowania szacunek i nie prowadzi do nadmiernych kosztów pracy. Z reguły liczbę punktów eksperymentalnych dla liniowej zależności metodą najmniejszych kwadratów z dwoma współczynnikami wybiera się w zakresie 5-7 punktów.

Krótka teoria najmniejszych kwadratów dla relacji liniowych

Załóżmy, że mamy zbiór danych eksperymentalnych w postaci par wartości [`y_i`, `x_i`], gdzie `i` to numer jednego pomiaru eksperymentalnego od 1 do `n`; `y_i` - wartość zmierzonej wartości w punkcie `i`; `x_i` - wartość parametru, którą ustawiamy w punkcie `i`.

Rozważmy na przykład działanie prawa Ohma. Zmieniając napięcie (różnicę potencjałów) pomiędzy odcinkami obwodu elektrycznego, mierzymy ilość prądu przepływającego przez ten odcinek. Fizyka podaje nam zależność stwierdzoną eksperymentalnie:

`I = U/R`,
gdzie „I” to aktualna siła; `R` - opór; „U” - napięcie.

W tym przypadku „y_i” to zmierzona wartość prądu, a „x_i” to wartość napięcia.

Jako inny przykład rozważmy absorpcję światła przez roztwór substancji w roztworze. Chemia podaje nam wzór:

`A = ε l C`,
gdzie „A” oznacza gęstość optyczną roztworu; `ε` - transmitancja substancji rozpuszczonej; `l` - długość drogi, po której światło przechodzi przez kuwetę z roztworem; „C” oznacza stężenie rozpuszczonej substancji.

W tym przypadku „y_i” to zmierzona wartość gęstości optycznej „A”, a „x_i” to wartość stężenia określonej przez nas substancji.

Rozważymy przypadek, gdy błąd względny w specyfikacji `x_i` jest znacznie mniejszy niż błąd względny w pomiarze `y_i`. Założymy również, że wszystkie zmierzone wartości `y_i` są losowe i mają rozkład normalny, tj. przestrzegać prawa dystrybucji normalnej.

W przypadku liniowej zależności `y` od `x` możemy napisać zależność teoretyczną:
`y = a + b x`.

Z geometrycznego punktu widzenia współczynnik „b” oznacza tangens kąta nachylenia linii do osi „x”, a współczynnik „a” – wartość „y” w punkcie przecięcia linii z osią „y” (w punkcie „x = 0”).

Znajdowanie parametrów linii regresji.

W eksperymencie zmierzone wartości „y_i” nie mogą dokładnie leżeć na teoretycznej linii prostej z powodu błędów pomiarowych, które są zawsze nieodłączne prawdziwe życie. Dlatego równanie liniowe musi być reprezentowane przez układ równań:
`y_i = a + b x_i + ε_i` (1),
gdzie „ε_i” to nieznany błąd pomiaru „y” w „i”-tym eksperymencie.

Zależność (1) jest również nazywana regresja, tj. zależność dwóch wielkości od siebie o znaczeniu statystycznym.

Zadaniem przywrócenia zależności jest znalezienie współczynników `a` i `b` z punktów eksperymentalnych [`y_i`, `x_i`).

Aby znaleźć współczynniki „a” i „b”, zwykle używa się go metoda najmniejszych kwadratów(MNC). Jest to szczególny przypadek zasady największej wiarygodności.

Zapiszmy (1) w postaci `ε_i = y_i - a - b x_i`.

Wtedy będzie suma kwadratów błędów
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Zasada najmniejszych kwadratów (najmniejszych kwadratów) polega na minimalizowaniu sumy (2) w odniesieniu do parametrów „a” i „b”.

Minimum osiąga się, gdy pochodne cząstkowe sumy (2) względem współczynników „a” i „b” są równe zeru:
`frac(częściowe Φ)(częściowe a) = frac(suma częściowa_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe a) = 0`
`frac(częściowe Φ)(częściowe b) = frac(częściowe suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe b) = 0`

Rozwijając pochodne otrzymujemy układ dwóch równań z dwiema niewiadomymi:
`suma_(i=1)^(n) (2a + 2bx_i — 2y_i) = suma_(i=1)^(n) (a + bx_i — y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Otwieramy nawiasy i przenosimy sumy niezależne od wymaganych współczynników na drugą połowę, otrzymujemy układ równań liniowych:
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`

Rozwiązując powstały układ, znajdujemy wzory na współczynniki „a” i „b”:

`a = frac(suma_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 — suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n suma_(i=1)^(n) x_iy_i — suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.2)

Wzory te mają rozwiązania, gdy `n > 1` (prostą można zbudować korzystając z co najmniej 2 punktów) oraz gdy wyznacznik `D = n suma_(i=1)^(n) x_i^2 - (suma_(i= 1 )^(n) x_i)^2 != 0`, tj. gdy punkty `x_i` w eksperymencie są różne (tj. gdy linia nie jest pionowa).

Estymacja błędów współczynników linii regresji

Dla dokładniejszej oceny błędu w obliczaniu współczynników „a” i „b” pożądana jest duża liczba punktów doświadczalnych. Gdy `n = 2` nie da się oszacować błędu współczynników, ponieważ linia aproksymacji będzie jednoznacznie przechodzić przez dwa punkty.

Wyznacza się błąd zmiennej losowej „V”. prawo akumulacji błędów
`S_V^2 = suma_(i=1)^p (frac(częściowa f)(częściowa z_i))^2 S_(z_i)^2`,
gdzie `p` to liczba parametrów `z_i` z błędem `S_(z_i)`, które wpływają na błąd `S_V`;
`f` jest funkcją zależności `V` od `z_i`.

Zapiszmy prawo kumulacji błędów dla błędu współczynników „a” i „b”.
`S_a^2 = suma_(i=1)^(n)(frac(częściowa a)(częściowa y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowa a )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowe a)(częściowe y_i))^2 `,
`S_b^2 = suma_(i=1)^(n)(frac(częściowa b)(częściowa y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowa b )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowe b)(częściowe y_i))^2 `,
ponieważ `S_(x_i)^2 = 0` (wcześniej zastrzegaliśmy, że błąd `x` jest pomijalny).

`S_y^2 = S_(y_i)^2` - błąd (wariancja, kwadrat odchylenia standardowego) pomiaru `y` przy założeniu, że błąd jest jednakowy dla wszystkich wartości `y`.

Podstawiając wzory do obliczania „a” i „b” do otrzymanych wyrażeń, otrzymujemy

`S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 — x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(suma_(i=1)^(n) (n x_i — suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

W większości rzeczywistych eksperymentów nie mierzy się wartości „Sy”. W tym celu konieczne jest przeprowadzenie kilku równoległych pomiarów (eksperymentów) w jednym lub kilku punktach planu, co wydłuża czas (i ewentualnie koszt) eksperymentu. Dlatego zwykle przyjmuje się, że odchylenie „y” od linii regresji można uznać za losowe. Estymację wariancji „y” w tym przypadku oblicza się ze wzoru.

`S_y^2 = S_(y, reszta)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Dzielnik „n-2” pojawia się, ponieważ liczba stopni swobody zmniejszyła się w wyniku obliczenia dwóch współczynników przy użyciu tej samej próbki danych eksperymentalnych.

Oszacowanie to nazywane jest także wariancją resztową względem linii regresji „S_(y, reszta)^2”.

Istotność współczynników ocenia się za pomocą testu t-Studenta

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Jeżeli obliczone kryteria „t_a”, „t_b” są mniejsze niż kryteria tabelaryczne „t(P, n-2)”, wówczas uważa się, że odpowiadający im współczynnik nie różni się istotnie od zera przy danym prawdopodobieństwie „P”.

Aby ocenić jakość opisu zależności liniowej, można porównać „S_(y, reszta)^2” i „S_(słupek y)” w stosunku do średniej, stosując kryterium Fishera.

`S_(bar y) = frac(suma_(i=1)^n (y_i — słupek y)^2) (n-1) = frac(suma_(i=1)^n (y_i — (suma_(i= 1)^n y_i) /n)^2) (n-1)` - przykładowe oszacowanie wariancji `y` względem średniej.

Aby ocenić skuteczność równania regresji do opisu zależności, oblicza się współczynnik Fishera
`F = S_(takt y) / S_(y, reszta)^2`,
który porównuje się z tabelarycznym współczynnikiem Fishera „F(p, n-1, n-2)”.

Jeżeli `F > F(P, n-1, n-2)`, różnicę pomiędzy opisem zależności `y = f(x)` za pomocą równania regresji a opisem za pomocą średniej uważa się za istotną statystycznie z prawdopodobieństwem `P`. Te. regresja opisuje zależność lepiej niż rozpiętość „y” wokół średniej.

Kliknij na wykres
aby dodać wartości do tabeli

Metoda najmniejszych kwadratów. Metoda najmniejszych kwadratów oznacza wyznaczenie nieznanych parametrów a, b, c, przyjętej zależności funkcjonalnej

Metoda najmniejszych kwadratów polega na wyznaczaniu nieznanych parametrów a, b, c,… akceptowana zależność funkcjonalna

y = f(x,a,b,c,…),

co zapewniłoby minimum średniego kwadratu (wariancji) błędu

, (24)

gdzie x i, y i jest zbiorem par liczb uzyskanych z eksperymentu.

Ponieważ warunkiem ekstremum funkcji kilku zmiennych jest warunek, że jej pochodne cząstkowe są równe zeru, to parametry a, b, c,… wyznaczane są z układu równań:

; ; ; … (25)

Należy pamiętać, że metodą najmniejszych kwadratów dobiera się parametry po typie funkcji y = f(x) zdefiniowany

Jeżeli z rozważań teoretycznych nie można wyciągnąć żadnych wniosków co do tego, jaki powinien być wzór empiryczny, wówczas należy kierować się przedstawieniami wizualnymi, przede wszystkim graficznymi przedstawieniami obserwowanych danych.

W praktyce najczęściej ograniczają się one do następujących typów funkcji:

1) liniowy ;

2) kwadratowy a.

Metoda najmniejszych kwadratów (LSM) Zwykła metoda najmniejszych kwadratów, OLS) -- metoda matematyczna służąca do rozwiązywania różnych problemów, polegająca na minimalizowaniu sumy kwadratów odchyleń pewnych funkcji od pożądanych zmiennych. Można go zastosować do „rozwiązywania” nadokreślonych układów równań (gdy liczba równań przekracza liczbę niewiadomych), do znalezienia rozwiązania w przypadku zwykłych (nieprzedeterminowanych) nieliniowych układów równań, do aproksymacji wartości punktowych za pomocą jakąś funkcję. OLS jest jedną z podstawowych metod analizy regresji służącą do estymacji nieznanych parametrów modeli regresji na podstawie przykładowych danych.

Istota metody najmniejszych kwadratów

Niech będzie zbiorem nieznanych zmiennych (parametrów) i niech będzie zbiorem funkcji z tego zbioru zmiennych. Zadanie polega na wybraniu takich wartości x, aby wartości tych funkcji były jak najbardziej zbliżone do określonych wartości. Zasadniczo mówimy o „rozwiązaniu” nadokreślonego układu równań we wskazanym sensie maksymalnej bliskości lewej i prawej części układu. Istotą metody najmniejszych kwadratów jest wybranie jako „miary bliskości” sumy kwadratów odchyleń lewej i prawej strony - . Zatem istotę MNC można wyrazić następująco:

Jeżeli układ równań ma rozwiązanie, to minimum sumy kwadratów będzie równe zero, a dokładne rozwiązania układu równań można znaleźć analitycznie lub np. stosując różne metody optymalizacji numerycznej. Jeśli układ jest naddeterminowany, czyli, mówiąc luźno, liczba niezależnych równań jest większa od liczby pożądanych zmiennych, to układ nie ma dokładnego rozwiązania, a metoda najmniejszych kwadratów pozwala znaleźć jakiś „optymalny” wektor w poczucie maksymalnej bliskości wektorów i/lub maksymalnej bliskości wektora odchylenia do zera (bliskość rozumiana w sensie odległości euklidesowej).

Przykład - układ równań liniowych

W szczególności metodę najmniejszych kwadratów można zastosować do „rozwiązania” układu równań liniowych

gdzie macierz nie jest kwadratowa, ale prostokątna (dokładniej rząd macierzy A jest większy niż liczba poszukiwanych zmiennych).

Generalnie taki układ równań nie ma rozwiązania. Dlatego układ ten można „rozwiązać” jedynie w sensie wybrania takiego wektora, aby zminimalizować „odległość” między wektorami i. Można w tym celu zastosować kryterium minimalizacji sumy kwadratów różnic pomiędzy lewą i prawą stroną równań układu, tj. Łatwo pokazać, że rozwiązanie tego problemu minimalizacji prowadzi do rozwiązania następującego układu równań

Korzystając z operatora pseudoinwersji, rozwiązanie można przepisać w następujący sposób:

gdzie jest macierzą pseudoodwrotną.

Problem ten można także „rozwiązać” stosując tzw. metodę ważonych najmniejszych kwadratów (patrz niżej), gdy różnym równaniom układu przypisuje się różne wagi ze względów teoretycznych.

Ścisłe uzasadnienie i ustalenie granic merytorycznej stosowalności metody podali A. A. Markov i A. N. Kołmogorow.

OLS w analizie regresji (aproksymacja danych)[edytuj | edytuj tekst wiki] Niech będą wartości jakiejś zmiennej (mogą to być wyniki obserwacji, eksperymentów itp.) i odpowiadające im zmienne. Zadanie polega na przybliżeniu związku pomiędzy jakąś znaną funkcją i według pewnych nieznanych parametrów, czyli faktycznym znalezieniu najlepsze wartości parametry, które maksymalnie przybliżają wartości do wartości rzeczywistych. W istocie sprowadza się to do przypadku „rozwiązania” nadokreślonego układu równań ze względu na:

W analizie regresji, a zwłaszcza w ekonometrii, wykorzystuje się probabilistyczne modele zależności między zmiennymi

gdzie są tzw. błędy losowe modelu.

W związku z tym w samym modelu zakłada się odchylenia wartości obserwowanych od modelowych. Istotą metody najmniejszych kwadratów (zwykłej, klasycznej) jest znalezienie takich parametrów, dla których suma kwadratów odchyleń (błędów, dla modeli regresji nazywanych często resztami regresji) będzie minimalna:

gdzie - angielski Resztkową sumę kwadratów definiuje się jako:

W ogólnym przypadku problem ten można rozwiązać metodami optymalizacji numerycznej (minimalizacji). W tym przypadku mówią o nieliniowych najmniejszych kwadratach (NLS lub NLLS - angielskie nieliniowe najmniejsze kwadraty). W wielu przypadkach możliwe jest otrzymanie rozwiązania analitycznego. Aby rozwiązać problem minimalizacji, należy znaleźć punkty stacjonarne funkcji, różniczkując ją ze względu na nieznane parametry, przyrównując pochodne do zera i rozwiązując otrzymany układ równań:

OLS w przypadku regresji liniowej edytuj tekst wiki]

Niech zależność regresji będzie liniowa:

Niech y będzie wektorem kolumnowym obserwacji zmiennej objaśnianej i niech y będzie macierzą obserwacji czynnikowych (wiersze macierzy są wektorami wartości czynników w danej obserwacji, a kolumny są wektorem wartości danego czynnika we wszystkich obserwacjach). Reprezentacja macierzowa modelu liniowego ma postać:

Wtedy wektor oszacowań zmiennej objaśnianej i wektor reszt regresji będą równe

W związku z tym suma kwadratów reszt regresji będzie równa

Różniczkując tę ​​funkcję względem wektora parametrów i przyrównując pochodne do zera, otrzymujemy układ równań (w postaci macierzowej):

W odszyfrowanej postaci macierzowej ten układ równań wygląda następująco:

gdzie wszystkie sumy są przejmowane przez wszystkie ważne wartości.

Jeśli w modelu uwzględniona jest stała (jak zwykle), to dla wszystkich, zatem w lewym górnym rogu macierzy układu równań znajduje się liczba obserwacji, a w pozostałych elementach pierwszego wiersza i pierwszej kolumny są po prostu sumy wartości zmiennych: a pierwszym elementem prawej strony układu jest .

Rozwiązanie tego układu równań daje ogólny wzór na szacunki metodą najmniejszych kwadratów dla modelu liniowego:

Dla celów analitycznych przydatna okazuje się ostatnia reprezentacja tego wzoru (w układzie równań przy dzieleniu przez n zamiast sum pojawiają się średnie arytmetyczne). Jeżeli w modelu regresji dane są wycentrowane, to w tej reprezentacji pierwsza macierz ma znaczenie przykładowej macierzy kowariancji czynników, a druga jest wektorem kowariancji czynników ze zmienną zależną. Jeżeli dodatkowo dane zostaną znormalizowane do odchylenia standardowego (czyli ostatecznie standaryzowane), to pierwsza macierz ma znaczenie przykładowej macierzy korelacji czynników, drugi wektor – wektor przykładowych korelacji czynników z zależnością zmienny.

Ważną właściwością estymatorów OLS dla modeli ze stałą jest to, że skonstruowana linia regresji przechodzi przez środek ciężkości przykładowych danych, czyli zachodzi równość:

W szczególności w skrajnym przypadku, gdy jedynym regresorem jest stała, stwierdzamy, że estymacja OLS jedynego parametru (samej stałej) jest równa średniej wartości zmiennej objaśnianej. Oznacza to, że średnia arytmetyczna jest znana dobre właściwości z ustaw duże liczby, jest jednocześnie oszacowaniem metodą najmniejszych kwadratów – spełnia kryterium minimalnej sumy kwadratów odchyleń od niego.

Najprostsze przypadki specjalne[edytuj | edytuj tekst wiki]

W przypadku sparowanej regresji liniowej, gdy szacuje się liniową zależność jednej zmiennej od drugiej, wzory obliczeniowe są uproszczone (można obejść się bez algebry macierzowej). Układ równań ma postać:

Stąd łatwo jest znaleźć szacunki współczynników:

Chociaż na ogół preferowane są modele ze stałą, w niektórych przypadkach z rozważań teoretycznych wiadomo, że stała powinna być równa zeru. Na przykład w fizyce związek między napięciem i prądem jest następujący: Podczas pomiaru napięcia i prądu konieczne jest oszacowanie rezystancji. W tym przypadku mówimy o modelu. W tym przypadku zamiast układu równań mamy pojedyncze równanie

Dlatego wzór na oszacowanie pojedynczego współczynnika ma postać

Właściwości statystyczne szacunków OLS edytuj tekst wiki]

Przede wszystkim zauważamy, że dla modele liniowe Estymatory OLS są estymatorami liniowymi, jak wynika z powyższego wzoru. Dla obiektywnych estymatorów OLS konieczne i wystarczające jest spełnienie najważniejszego warunku analizy regresji: matematyczne oczekiwanie błędu losowego, uzależnione od czynników, musi być równe zero. Warunek ten jest w szczególności spełniony, jeżeli matematyczne oczekiwanie błędów losowych wynosi zero, a czynniki i błędy losowe są niezależnymi zmiennymi losowymi.

Pierwszy warunek można uznać za zawsze spełniony w przypadku modeli ze stałą, ponieważ stała przyjmuje niezerowe matematyczne oczekiwanie błędów (dlatego generalnie preferowane są modele ze stałą). kowariancja regresji metodą najmniejszych kwadratów

Warunek drugi – warunek egzogeniczności czynników – jest zasadniczy. Jeśli ta właściwość nie jest spełniona, możemy założyć, że prawie wszystkie szacunki będą wyjątkowo niezadowalające: nie będą nawet spójne (to znaczy nawet bardzo duża ilość danych nie pozwala nam w tym przypadku uzyskać szacunków wysokiej jakości) ). W klasycznym przypadku przyjmuje się mocniejsze założenie o determinizmie czynników, w przeciwieństwie do błędu losowego, co automatycznie oznacza, że ​​warunek egzogeniczności jest spełniony. W ogólnym przypadku, dla spójności estymatorów wystarczy spełnienie warunku egzogeniczności wraz ze zbieżnością macierzy do jakiejś macierzy nieosobliwej w miarę zwiększania się liczebności próby do nieskończoności.

Aby oprócz spójności i bezstronności estymatory (zwykłego) LSM były także skuteczne (najlepsze w klasie liniowych estymatorów nieobciążonych), muszą zostać spełnione dodatkowe właściwości błędu losowego:

Stała (identyczna) wariancja błędów losowych we wszystkich obserwacjach (brak heteroskedastyczności):

Brak korelacji (autokorelacji) błędów losowych między sobą w różnych obserwacjach

Założenia te można sformułować dla macierzy kowariancji wektora błędu losowego

Model liniowy spełniający te warunki nazywa się klasycznym. Estymatory OLS dla klasycznej regresji liniowej są bezstronnymi, spójnymi i najbardziej efektywnymi estymatorami w klasie wszystkich liniowych estymatorów nieobciążonych (w literaturze angielskiej czasami używany jest skrót BLUE (Best Linear Unbiased Estimator) – best linear unbiased estymator; w Literatura rosyjska Często stosuje się twierdzenie Gaussa-Markowa). Jak łatwo wykazać, macierz kowariancji wektora oszacowań współczynników będzie równa:

Efektywność oznacza, że ​​ta macierz kowariancji jest „minimalna” (każda liniowa kombinacja współczynników, a w szczególności same współczynniki mają minimalną wariancję), czyli w klasie liniowych nieobciążonych estymatorów najlepsze są estymatory OLS. Elementy przekątne tej macierzy są wariancjami szacunków współczynników - ważne parametry jakość otrzymanych ocen. Nie jest jednak możliwe obliczenie macierzy kowariancji, ponieważ wariancja błędu losowego jest nieznana. Można wykazać, że bezstronną i spójną (dla klasycznego modelu liniowego) estymacją wariancji błędów losowych jest wielkość:

Podstawiając tę ​​wartość do wzoru na macierz kowariancji, otrzymujemy oszacowanie macierzy kowariancji. Uzyskane szacunki są również bezstronne i spójne. Ważne jest także to, że estymacja wariancji błędu (a co za tym idzie wariancji współczynników) oraz estymaty parametrów modelu są niezależnymi zmiennymi losowymi, co umożliwia uzyskanie statystyki testowej do testowania hipotez dotyczących współczynników modelu.

Należy zauważyć, że w przypadku niespełnienia klasycznych założeń estymatory parametrów metodą OLS nie są estymatorami najbardziej efektywnymi (choć pozostają bezstronne i spójne). Jednak estymacja macierzy kowariancji pogarsza się jeszcze bardziej – staje się stronnicza i nie do utrzymania. Oznacza to, że wnioski statystyczne dotyczące jakości skonstruowanego modelu w tym przypadku mogą być skrajnie zawodne. Jedną z możliwości rozwiązania tego ostatniego problemu jest zastosowanie specjalnych estymatorów macierzy kowariancji, które są zgodne z naruszeniami klasycznych założeń (błędy standardowe w postaci White'a i błędy standardowe w postaci Neweya-Westa). Innym podejściem jest zastosowanie tzw. uogólnionej metody najmniejszych kwadratów.

Uogólnione OLS[edytuj | edytuj tekst wiki]

Główny artykuł: Uogólnione metody najmniejszych kwadratów

Metoda najmniejszych kwadratów pozwala na szerokie uogólnienia. Zamiast minimalizować sumę kwadratów reszt, można zminimalizować pewną dodatnio określoną postać kwadratową wektora reszt, gdzie jest pewna symetryczna macierz dodatnich określonych wag. Szczególnym przypadkiem tego podejścia są konwencjonalne metody najmniejszych kwadratów, gdzie macierz wag jest proporcjonalna do macierzy jednostkowej. Jak wiadomo z teorii macierzy symetrycznych (lub operatorów), istnieje rozkład takich macierzy. Dlatego określony funkcjonał można przedstawić w następujący sposób

to znaczy, że funkcjonał ten można przedstawić jako sumę kwadratów niektórych przekształconych „reszt”. Można zatem wyróżnić klasę metod najmniejszych kwadratów – metody LS (ang. Least Squares).

Udowodniono (twierdzenie Aitkena), że dla uogólnionego modelu regresji liniowej (w którym nie nakłada się ograniczeń na macierz kowariancji błędów losowych) najbardziej efektywne (w klasie liniowych estymatorów nieobciążonych) są tzw. estymaty. uogólnione najmniejsze kwadraty (GLS – Generalized Least Squares) – metoda LS z macierzą wag równą macierzy odwrotnej kowariancji błędów losowych: .

Można wykazać, że wzór na estymatory GLS parametrów modelu liniowego ma postać

Macierz kowariancji tych szacunków będzie odpowiednio równa

Tak naprawdę istota OLS polega na pewnej (liniowej) transformacji (P) danych pierwotnych i zastosowaniu zwykłego OLS do danych przekształconych. Celem tej transformacji jest to, że dla przekształconych danych błędy losowe spełniają już klasyczne założenia.

Ważony OLS[edytuj | edytuj tekst wiki]

W przypadku diagonalnej macierzy wag (a co za tym idzie macierzy kowariancji błędów losowych) mamy do czynienia z tzw. ważonymi najmniejszymi kwadratami (WLS – Weighted Least Squares). W tym przypadku suma ważona kwadratów reszt modelu jest minimalizowana, czyli każda obserwacja otrzymuje „wagę” odwrotnie proporcjonalną do wariancji błędu losowego w tej obserwacji:

W rzeczywistości dane są przekształcane poprzez ważenie obserwacji (podzielenie przez kwotę proporcjonalną do oszacowanego odchylenia standardowego błędów losowych), a do danych ważonych stosuje się zwykły OLS.

Ma wiele zastosowań, gdyż pozwala na przybliżone przedstawienie danej funkcji za pomocą innych, prostszych. LSM może być niezwykle przydatny w przetwarzaniu obserwacji i jest aktywnie wykorzystywany do szacowania niektórych wielkości na podstawie wyników pomiarów innych zawierających błędy losowe. W tym artykule dowiesz się, jak wdrożyć obliczenia metodą najmniejszych kwadratów w programie Excel.

Sformułowanie problemu na konkretnym przykładzie

Załóżmy, że istnieją dwa wskaźniki X i Y. Co więcej, Y zależy od X. Ponieważ OLS interesuje nas z punktu widzenia analizy regresji (w Excelu jego metody są realizowane za pomocą wbudowanych funkcji), powinniśmy od razu przejść do rozważania konkretny problem.

Niech więc X będzie powierzchnią handlową sklepu spożywczego mierzoną w metry kwadratowe, a Y to roczny obrót określony w milionach rubli.

Należy prognozować, jakie obroty (Y) będzie miał sklep, jeżeli będzie posiadał taką czy inną powierzchnię handlową. Oczywiście funkcja Y = f (X) jest rosnąca, ponieważ hipermarket sprzedaje więcej towarów niż stragan.

Kilka słów o poprawności danych wyjściowych wykorzystanych do predykcji

Załóżmy, że mamy tabelę zbudowaną przy użyciu danych dla n sklepów.

Według statystyki matematycznej wyniki będą mniej więcej poprawne, jeśli zbadane zostaną dane dotyczące co najmniej 5-6 obiektów. Ponadto nie można zastosować wyników „anomalnych”. W szczególności elitarny mały butik może osiągać obroty wielokrotnie większe niż obroty dużego punkty sprzedaży detalicznej Zajęcia „Masmarketu”.

Istota metody

Dane tabeli można przedstawić na płaszczyźnie kartezjańskiej w postaci punktów M 1 (x 1, y 1), ... M n (x n, y n). Teraz rozwiązanie problemu sprowadzimy do wyboru funkcji aproksymującej y = f (x), która ma wykres przechodzący jak najbliżej punktów M 1, M 2, .. M n.

Oczywiście możesz użyć wielomianu wysokiego stopnia, ale ta opcja jest nie tylko trudna do wdrożenia, ale także po prostu niepoprawna, ponieważ nie będzie odzwierciedlać głównego trendu, który należy wykryć. Najrozsądniejszym rozwiązaniem jest poszukiwanie prostej y = ax + b, która najlepiej przybliża dane eksperymentalne, a dokładniej współczynniki a i b.

Ocena dokładności

Przy każdym przybliżeniu szczególne znaczenie ma ocena jego dokładności. Oznaczmy przez e i różnicę (odchylenie) między wartościami funkcjonalnymi i eksperymentalnymi dla punktu x i, tj. e i = y i - f (x i).

Oczywiście, aby ocenić dokładność aproksymacji, można posłużyć się sumą odchyleń, czyli wybierając linię prostą do przybliżonego przedstawienia zależności X od Y, należy dać pierwszeństwo tej o najmniejszej wartości suma e i we wszystkich rozważanych punktach. Nie wszystko jest jednak takie proste, gdyż wraz z odchyleniami dodatnimi pojawią się również odchylenia ujemne.

Problem można rozwiązać za pomocą modułów odchyleń lub ich kwadratów. Ostatnia metoda jest najczęściej stosowana. Jest stosowany w wielu obszarach, m.in Analiza regresji(w Excelu jego implementacja odbywa się za pomocą dwóch wbudowanych funkcji) i od dawna udowodniła swoją skuteczność.

Metoda najmniejszych kwadratów

Jak wiadomo, Excel ma wbudowaną funkcję AutoSum, która pozwala obliczyć wartości wszystkich wartości znajdujących się w wybranym zakresie. Zatem nic nie stoi na przeszkodzie, abyśmy obliczyli wartość wyrażenia (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

W zapisie matematycznym wygląda to następująco:

Ponieważ początkowo podjęto decyzję o przybliżeniu za pomocą linii prostej, mamy:

Zatem zadanie znalezienia prostej najlepiej opisującej konkretną zależność wielkości X i Y sprowadza się do obliczenia minimum funkcji dwóch zmiennych:

W tym celu należy przyrównać pochodne cząstkowe nowych zmiennych a i b do zera i rozwiązać układ pierwotny składający się z dwóch równań z 2 niewiadomymi postaci:

Po kilku prostych przekształceniach, obejmujących dzielenie przez 2 i manipulację sumami, otrzymujemy:

Rozwiązując to np. metodą Cramera otrzymujemy punkt stacjonarny o określonych współczynnikach a* i b*. Jest to minimum, czyli aby przewidzieć, jakie obroty będzie miał sklep na danym obszarze, odpowiednia jest linia prosta y = a * x + b *, która jest modelem regresji dla omawianego przykładu. Oczywiście nie pozwoli Ci to znaleźć dokładnego wyniku, ale pomoże Ci zorientować się, czy zakup konkretnego obszaru na kredyt sklepowy się opłaci.

Jak zaimplementować metodę najmniejszych kwadratów w programie Excel

Excel posiada funkcję obliczania wartości metodą najmniejszych kwadratów. Ma następującą postać: „TREND” (znane wartości Y; znane wartości X; nowe wartości X; stała). Zastosujmy do naszej tabeli wzór na obliczenie OLS w Excelu.

W tym celu należy wpisać znak „=” w komórce, w której powinien wyświetlić się wynik obliczeń metodą najmniejszych kwadratów w Excelu i wybrać funkcję „TREND”. W oknie, które się otworzy, wypełnij odpowiednie pola, podkreślając:

• zakres znanych wartości dla Y (w tym przypadku dane dotyczące obrotów handlowych);
• zakres x 1 , …x n , czyli wielkość powierzchni handlowej;
• zarówno znane, jak i nieznane wartości x, dla których musisz dowiedzieć się o wielkości obrotu (informacje o ich lokalizacji w arkuszu znajdziesz poniżej).

Dodatkowo formuła zawiera zmienną logiczną „Const”. Jeśli w odpowiednim polu wpiszesz 1, będzie to oznaczać, że powinieneś przeprowadzić obliczenia, zakładając, że b = 0.

Jeśli chcesz poznać prognozę dla więcej niż jednej wartości x, po wprowadzeniu formuły nie powinieneś naciskać „Enter”, ale musisz wpisać na klawiaturze kombinację „Shift” + „Control” + „Enter”.

Niektóre funkcje

Analiza regresji może być dostępna nawet dla manekinów. Formuła Excela do przewidywania wartości tablicy nieznanych zmiennych – TREND – może być używana nawet przez tych, którzy nigdy nie słyszeli o metodzie najmniejszych kwadratów. Wystarczy poznać niektóre cechy jego działania. W szczególności:

• Jeżeli zakres znanych wartości zmiennej y uporządkujesz w jednym wierszu lub kolumnie, to każdy wiersz (kolumna) znane wartości x będzie traktowane przez program jako osobna zmienna.
• Jeżeli w oknie TREND nie wskazano zakresu o znanym x, to w przypadku zastosowania funkcji w programu Excela potraktuje to jako tablicę składającą się z liczb całkowitych, których liczba odpowiada zakresowi z podanymi wartościami zmiennej y.
• Aby wyprowadzić tablicę „przewidywanych” wartości, wyrażenie służące do obliczenia trendu należy wprowadzić w postaci formuły tablicowej.
• Jeśli nie zostaną określone nowe wartości x, funkcja TREND uzna je za równe znanym. Jeżeli nie są one określone, wówczas jako argument przyjmowana jest tablica 1; 2; 3; 4;…, co jest proporcjonalne do zakresu o zadanych już parametrach y.
• Zakres zawierający nowe wartości x musi składać się z tego samego lub więcej wiersze lub kolumny jako zakres z podanymi wartościami y. Innymi słowy, musi być proporcjonalna do zmiennych niezależnych.
• Tablica ze znanymi wartościami x może zawierać wiele zmiennych. Jeśli jednak mówimy tylko o jednym, to wymagane jest, aby zakresy z podanymi wartościami x i y były proporcjonalne. W przypadku kilku zmiennych konieczne jest, aby zakres z podanymi wartościami y zmieścił się w jednej kolumnie lub jednym wierszu.

funkcja PRZEWIDYWANIE

Realizowane przy użyciu kilku funkcji. Jedna z nich nazywa się „PREDYKCJA”. Działa podobnie jak „TREND”, czyli podaje wynik obliczeń metodą najmniejszych kwadratów. Jednak tylko dla jednego X, dla którego wartość Y nie jest znana.

Teraz znasz formuły w Excelu dla manekinów, które pozwalają przewidzieć przyszłą wartość konkretnego wskaźnika według trendu liniowego.