Yöntem en küçük kareler(MNC, İngiliz Sıradan En Küçük Kareler, OLS)- belirli fonksiyonların istenen değişkenlerden sapmalarının karelerinin toplamının en aza indirilmesine dayanan, çeşitli problemleri çözmek için kullanılan matematiksel bir yöntem. Aşırı belirlenmiş denklem sistemlerini “çözmek” için (denklem sayısı bilinmeyenlerin sayısını aştığında), sıradan (aşırı belirlenmemiş) doğrusal olmayan denklem sistemleri durumunda çözümler bulmak, bazılarının nokta değerlerine yaklaşmak için kullanılabilir. işlev. OLS, örnek verilerden regresyon modellerinin bilinmeyen parametrelerini tahmin etmek için kullanılan temel regresyon analizi yöntemlerinden biridir.

Ansiklopedik YouTube

1 / 5

✪ En küçük kareler yöntemi. Ders

✪ Mitin I.V. - Fiziksel sonuçların işlenmesi. deney - En küçük kareler yöntemi (Ders 4)

✪ En küçük kareler yöntemi, ders 1/2. Doğrusal fonksiyon

✪ Ekonometri. Ders 5. En küçük kareler yöntemi

✪ En küçük kareler yöntemi. Cevaplar

Altyazılar

Hikaye

İle XIX'in başı V. bilim adamlarının, bilinmeyenlerin sayısının denklem sayısından az olduğu bir denklem sistemini çözmek için belirli kuralları yoktu; O zamana kadar denklemlerin türüne ve hesap makinelerinin zekasına bağlı özel teknikler kullanılıyordu ve bu nedenle aynı gözlem verilerine dayanan farklı hesap makineleri farklı sonuçlara varıyordu. Bu yöntemi ilk kullanan Gauss (1795) oldu ve Legendre (1805) bunu bağımsız olarak keşfedip modern adı (Fransızca) altında yayınladı. En İyi Yöntemler). Laplace yöntemi olasılık teorisiyle ilişkilendirdi ve Amerikalı matematikçi Adrain (1808) onun olasılık teorisi uygulamalarını değerlendirdi. Yöntem, Encke, Bessel, Hansen ve diğerlerinin daha ileri araştırmalarıyla yaygınlaştırıldı ve geliştirildi.

En küçük kareler yönteminin özü

İzin vermek x (\displaystyle x)- kit n (\displaystyle n) bilinmeyen değişkenler (parametreler), f ben (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- bu değişkenler kümesinden bir dizi işlev. Görev bu değerleri seçmektir x (\displaystyle x) böylece bu fonksiyonların değerleri belirli değerlere mümkün olduğunca yakın olur. y ben (\displaystyle y_(i)). Esasen aşırı belirlenmiş bir denklem sisteminin “çözümünden” bahsediyoruz f ben (x) = y ben (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) sistemin sol ve sağ kısımlarının belirtilen maksimum yakınlığı anlamında. En küçük kareler yönteminin özü, sol ve sağ tarafların sapmalarının karelerinin toplamını bir “yakınlık ölçüsü” olarak seçmektir. | f ben (x) − y ben |

(\displaystyle |f_(i)(x)-y_(i)|).

. Dolayısıyla MNC'nin özü şu şekilde ifade edilebilir: ∑ ben e ben 2 = ∑ ben (y ben − f ben (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)) Denklem sisteminin bir çözümü varsa, kareler toplamının minimumu sıfıra eşit olacaktır ve denklem sisteminin kesin çözümleri analitik olarak veya örneğin çeşitli sayısal optimizasyon yöntemleri kullanılarak bulunabilir. Eğer sistem aşırı belirlenmişse, yani genel anlamda bağımsız denklemlerin sayısı x (\displaystyle x) daha fazla miktar İstenilen değişkenler varsa, bu durumda sistemin kesin bir çözümü olmaz ve en küçük kareler yöntemi bazı "optimum" vektörleri bulmamıza olanak tanır. vektörlerin maksimum yakınlığı anlamında y (\displaystyle y) Ve f (x) (\displaystyle f(x)) veya sapma vektörünün maksimum yakınlığı

e (\displaystyle e)

sıfıra (yakınlık Öklid uzaklığı anlamında anlaşılmaktadır).

Örnek - doğrusal denklem sistemi,

Özellikle, en küçük kareler yöntemi bir doğrusal denklem sistemini "çözmek" için kullanılabilir. A x = b (\displaystyle Ax=b) Nerede bir (\displaystyle A) dikdörtgen boyutlu matris

m × n , m > n (\displaystyle m\times n,m>n) x (\displaystyle x)(yani A matrisinin satır sayısı aranan değişken sayısından daha fazladır). Genel durumda böyle bir denklem sisteminin çözümü yoktur. Dolayısıyla bu sistem ancak böyle bir vektörün seçilmesi anlamında “çözülebilir” vektörlerin maksimum yakınlığı anlamında vektörler arasındaki "mesafeyi" en aza indirmek için A x (\displaystyle Ax) b (\displaystyle b). Bunu yapmak için sistem denklemlerinin sol ve sağ tarafları arasındaki farkların karelerinin toplamını en aza indirme kriterini uygulayabilirsiniz;

(A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ).

. Bu minimizasyon problemini çözmenin aşağıdaki denklem sisteminin çözümüne yol açtığını göstermek kolaydır.

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b) n (\displaystyle n) Regresyon analizinde OLS (veri yaklaşımı) İstenilen değişkenler varsa, bu durumda sistemin kesin bir çözümü olmaz ve en küçük kareler yöntemi bazı "optimum" vektörleri bulmamıza olanak tanır. Olsun x (\displaystyle x). Buradaki zorluk, arasındaki ilişkinin sağlanmasıdır. İstenilen değişkenler varsa, bu durumda sistemin kesin bir çözümü olmaz ve en küçük kareler yöntemi bazı "optimum" vektörleri bulmamıza olanak tanır. vektörlerin maksimum yakınlığı anlamında x (\displaystyle x) bazı bilinmeyen parametreler dahilinde bilinen bazı fonksiyonlara göre yaklaşık vektörler arasındaki "mesafeyi" en aza indirmek için yani aslında bulmak en iyi değerler parametreler vektörler arasındaki "mesafeyi" en aza indirmek için değerlerin maksimuma yakınlaştırılması f (x , b) (\displaystyle f(x,b)) gerçek değerlere İstenilen değişkenler varsa, bu durumda sistemin kesin bir çözümü olmaz ve en küçük kareler yöntemi bazı "optimum" vektörleri bulmamıza olanak tanır.. Aslında bu, aşırı belirlenmiş bir denklem sisteminin "çözülmesi" durumuna gelir. vektörler arasındaki "mesafeyi" en aza indirmek için:

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

İÇİNDE regresyon analizi ve özellikle ekonometride değişkenler arasındaki bağımlılığın olasılıksal modelleri kullanılır

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Özellikle, en küçük kareler yöntemi bir doğrusal denklem sistemini "çözmek" için kullanılabilir. ε t (\displaystyle \varepsilon _(t))- sözde rastgele hatalar modeller.

Buna göre gözlenen değerlerin sapmaları İstenilen değişkenler varsa, bu durumda sistemin kesin bir çözümü olmaz ve en küçük kareler yöntemi bazı "optimum" vektörleri bulmamıza olanak tanır. modelden f (x , b) (\displaystyle f(x,b)) modelin kendisinde zaten varsayılmaktadır. En küçük kareler yönteminin (sıradan, klasik) özü bu tür parametreleri bulmaktır. vektörler arasındaki "mesafeyi" en aza indirmek için, burada sapmaların kareleri toplamı (hatalar, regresyon modelleri için bunlara genellikle regresyon artıkları denir) e t (\displaystyle e_(t)) minimum olacaktır:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

Özellikle, en küçük kareler yöntemi bir doğrusal denklem sistemini "çözmek" için kullanılabilir. R S S (\displaystyle RSS)- İngilizce Artık Kareler Toplamı şu şekilde tanımlanır:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\toplam _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Genel durumda bu problem sayısal optimizasyon (minimizasyon) yöntemleriyle çözülebilir. Bu durumda onlar hakkında konuşuyorlar doğrusal olmayan en küçük kareler(NLS veya NLLS - İngilizce Doğrusal Olmayan En Küçük Kareler). Çoğu durumda analitik bir çözüm elde etmek mümkündür. Minimizasyon problemini çözmek için fonksiyonun durağan noktalarının bulunması gerekir. R S S (b) (\displaystyle RSS(b)) bilinmeyen parametrelere göre ayırt edilmesi vektörler arasındaki "mesafeyi" en aza indirmek için, türevleri sıfıra eşitlemek ve elde edilen denklem sistemini çözmek:

∑ t = 1 n (y t - f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\kısmi f(x_(t),b))(\kısmi b))=0).

Doğrusal regresyon durumunda OLS

Regresyon bağımlılığının doğrusal olmasına izin verin:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

İzin vermek sen açıklanan değişkenin gözlemlerinin sütun vektörüdür ve X (\displaystyle X)- Bu (n × k) (\displaystyle ((n\time k)))-faktör gözlemlerinin matrisi (matrisin satırları, belirli bir gözlemdeki faktör değerlerinin vektörleridir, sütunlar, tüm gözlemlerdeki belirli bir faktörün değerlerinin bir vektörüdür). Doğrusal modelin matris gösterimi şu şekildedir:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Daha sonra açıklanan değişkenin tahmin vektörü ile regresyon artıklarının vektörü eşit olacaktır.

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

Buna göre regresyon artıklarının kareleri toplamı şuna eşit olacaktır:

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Bu fonksiyonun parametre vektörüne göre türevini almak vektörler arasındaki "mesafeyi" en aza indirmek için ve türevleri sıfıra eşitleyerek bir denklem sistemi elde ederiz (matris formunda):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Şifresi çözülmüş matris formunda bu denklem sistemi şuna benzer:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\toplam x_(t1)^(2)&\toplam x_(t1)x_(t2)&\toplam x_(t1)x_(t3)&\ldots &\toplam x_(t1)x_(tk)\\\toplam x_(t2)x_(t1)&\toplam x_(t2)^(2)&\toplam x_(t2)x_(t3)&\ldots &\ toplam x_(t2)x_(tk)\\\toplam x_(t3)x_(t1)&\toplam x_(t3)x_(t2)&\toplam x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\toplam x_(tk)x_(t1)&\toplam x_(tk)x_(t2)&\toplam x_ (tk)x_(t3)&\ldots &\toplam x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))),) herkes için tüm meblağların alındığı yer kabul edilebilir değerler t (\displaystyle t).

Modele bir sabit dahil edilmişse (her zamanki gibi), o zaman x t 1 = 1 (\displaystyle x_(t1)=1) herkesin önünde t (\displaystyle t) bu nedenle denklem sistemi matrisinin sol üst köşesinde gözlem sayısı vardır n (\displaystyle n) ve ilk satırın ve ilk sütunun geri kalan öğelerinde - yalnızca değişken değerlerinin toplamları: ∑ x t j (\displaystyle \toplam x_(tj)) ve sistemin sağ tarafındaki ilk eleman ∑ y t (\displaystyle \toplam y_(t)).

Bu denklem sisteminin çözümü, doğrusal bir model için en küçük kareler tahminlerinin genel formülünü verir:

b ^ Ö L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Analitik amaçlar için, bu formülün son temsilinin faydalı olduğu ortaya çıkıyor (denklem sisteminde n'ye bölünürken toplamlar yerine aritmetik ortalamalar görünür). Bir regresyon modelinde veriler merkezli, o zaman bu gösterimde ilk matris, faktörlerin örnek bir kovaryans matrisi anlamına gelir ve ikincisi, faktörlerin bağımlı değişkenle kovaryanslarının bir vektörüdür. Ek olarak veriler de varsa normalleştirilmiş MSE'ye (yani sonuçta standartlaştırılmış), o zaman ilk matris, faktörlerin örnek korelasyon matrisi anlamına gelir, ikinci vektör, faktörlerin bağımlı değişkenle örnek korelasyonlarının bir vektörüdür.

Modeller için OLS tahminlerinin önemli bir özelliği sabit ile- oluşturulan regresyon çizgisi örnek verilerin ağırlık merkezinden geçer, yani eşitlik sağlanır:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

Özellikle, tek regresörün bir sabit olduğu uç durumda, tek parametrenin (sabitin kendisi) OLS tahmininin, açıklanan değişkenin ortalama değerine eşit olduğunu buluruz. Yani, bilinen aritmetik ortalama iyi özellikler kanunlardan büyük sayılar, aynı zamanda bir en küçük kareler tahminidir - bundan minimum karesel sapmaların toplamı kriterini karşılar.

En basit özel durumlar

Eşleştirilmiş doğrusal regresyon durumunda y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)) Bir değişkenin diğerine doğrusal bağımlılığı tahmin edildiğinde hesaplama formülleri basitleştirilir (matris cebiri olmadan yapabilirsiniz). Denklem sistemi şu şekildedir:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix)(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

Buradan katsayı tahminlerini bulmak kolaydır:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y))))((\overline (x^(2))))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x))).\end(cases)))

Genel durumda sabitli modellerin tercih edilmesi gerçeğine rağmen, bazı durumlarda teorik değerlendirmelerden sabitin olduğu bilinmektedir. a (\displaystyle a) sıfıra eşit olmalıdır. Örneğin fizikte gerilim ve akım arasındaki ilişki şöyledir: U = I ⋅ R (\displaystyle U=I\cdot R); Gerilim ve akımı ölçerken direnci tahmin etmek gerekir. Bu durumda modelden bahsediyoruz. y = b x (\displaystyle y=bx). Bu durumda bir denklem sistemi yerine tek bir denklemimiz olur

(∑ x t 2) b = ∑ x t y t (\displaystyle \sol(\toplam x_(t)^(2)\sağ)b=\toplam x_(t)y_(t)).

Bu nedenle, tek katsayıyı tahmin etmeye yönelik formül şu şekildedir:

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\toplam _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Bir polinom modelinin durumu

Veriler bir değişkenin polinom regresyon fonksiyonuna uyuyorsa f (x) = b 0 + ∑ ben = 1 k b ben x ben (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)) o zaman dereceleri algılamak x ben (\displaystyle x^(i)) her biri için bağımsız faktörler olarak ben (\displaystyle i) Doğrusal bir modelin parametrelerini tahmin etmeye yönelik genel formüle dayalı olarak model parametrelerini tahmin etmek mümkündür. Bunu yapmak için genel formülde böyle bir yorumla dikkate alınması yeterlidir. x t ben x t j = x t ben x t j = x t ben + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) vektörlerin maksimum yakınlığı anlamında x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Sonuç olarak, bu durumda matris denklemleri şu şekli alacaktır:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x ben 2 … ∑ m x ben k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n t y t ⋮ ∑ n x t k y t ] .

(\displaystyle (\begin(pmatrix)n&\toplam \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\toplam \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ toplam \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix))).)

OLS tahmincilerinin istatistiksel özellikleri Öncelikle şunu belirtelim doğrusal modeller OLS tahmin edicileri, yukarıdaki formülden aşağıdaki gibi doğrusal tahmin edicilerdir. Tarafsız OLS tahminleri için aşağıdakilerin gerçekleştirilmesi gerekli ve yeterlidir: en önemli koşul

1. Regresyon analizi: faktörlere bağlı olarak, rastgele hatanın matematiksel beklentisi sıfıra eşit olmalıdır. Bu koşul özellikle şu durumlarda karşılanır:
2. rastgele hataların matematiksel beklentisi sıfırdır ve

faktörler ve rastgele hatalar bağımsız rastgele  değişkenlerdir. İkinci koşul - faktörlerin dışsallığı koşulu - temeldir. Bu özellik karşılanmazsa, hemen hemen tüm tahminlerin son derece yetersiz olacağını varsayabiliriz: tutarlı bile olmayacaklar (yani, çok büyük miktarda veri bile bu durumda yüksek kaliteli tahminler elde etmemize izin vermiyor) ). Klasik durumda, dışsallık koşulunun otomatik olarak karşılandığı anlamına gelen rastgele hatanın aksine, faktörlerin determinizmi hakkında daha güçlü bir varsayım yapılır. Genel durumda tahminlerin tutarlılığı için matrisin yakınsaması ile birlikte dışsallık koşulunun sağlanması yeterlidir. Vx (\displaystyle V_(x))

Örnek boyutu sonsuza arttıkça bazı tekil olmayan matrislere.

Tutarlılık ve tarafsızlığın yanı sıra (sıradan) en küçük kareler tahminlerinin de etkili olabilmesi için (doğrusal tarafsız tahminler sınıfının en iyisi), rastgele hatanın ek özelliklerinin karşılanması gerekir: Bu varsayımlar rastgele hata vektörünün kovaryans matrisi için formüle edilebilir..

V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I) Bu koşulları sağlayan doğrusal modele denir.. Klasik doğrusal regresyon için OLS tahminleri tarafsızdır, tutarlıdır ve tüm doğrusal tarafsız tahminler sınıfındaki en etkili tahminlerdir (İngiliz literatüründe bazen kısaltma kullanılır) MAVİ (En İyi Doğrusal Tarafsız Tahminci) - en iyi doğrusal tarafsız tahmin; V Rus edebiyatı Gauss-Markov teoremine daha sık başvurulur). Gösterilmesi kolay olduğu gibi, katsayı tahminleri vektörünün kovaryans matrisi şuna eşit olacaktır:

V (b ^ Ö L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Verimlilik, bu kovaryans matrisinin "minimum" olduğu anlamına gelir (katsayıların herhangi bir doğrusal kombinasyonu ve özellikle katsayıların kendileri minimum varyansa sahiptir), yani doğrusal tarafsız tahminciler sınıfında OLS tahmincileri en iyisidir. Bu matrisin köşegen elemanları katsayı tahminlerinin varyanslarıdır - önemli parametreler Alınan değerlendirmelerin kalitesi. Ancak rastgele hata varyansı bilinmediğinden kovaryans matrisini hesaplamak mümkün değildir. Rastgele hataların varyansının tarafsız ve tutarlı (klasik doğrusal model için) tahmininin miktar olduğu kanıtlanabilir:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Bu değeri kovaryans matrisi formülünde yerine koyarak kovaryans matrisinin bir tahminini elde ederiz. Ortaya çıkan tahminler aynı zamanda tarafsız ve tutarlıdır. Hata varyansının tahmininin (ve dolayısıyla katsayıların varyansının) ve model parametrelerinin tahminlerinin bağımsız rastgele değişkenler olması da önemlidir; bu, model katsayıları hakkındaki hipotezlerin test edilmesi için test istatistiklerinin elde edilmesini mümkün kılar.

Klasik varsayımların karşılanmaması durumunda OLS parametre tahminlerinin en verimli olmadığı ve W (\displaystyle W) bazı simetrik pozitif tanımlı ağırlık matrisidir. Geleneksel en küçük kareler, ağırlık matrisinin birim matrisle orantılı olduğu bu yaklaşımın özel bir durumudur. Bilindiği gibi simetrik matrisler (veya operatörler) için bir genişleme vardır. W = P T P (\displaystyle W=P^(T)P). Bu nedenle belirtilen fonksiyonel aşağıdaki gibi temsil edilebilir e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)) yani bu fonksiyonel bazı dönüştürülmüş “kalanların” karelerinin toplamı olarak temsil edilebilir. Böylece, en küçük kareler yöntemlerinin bir sınıfını - LS yöntemlerini (En Küçük Kareler) - ayırt edebiliriz.

Genelleştirilmiş bir doğrusal regresyon modeli için (rastgele hataların kovaryans matrisine hiçbir kısıtlama getirilmeyen), en etkili olanın (doğrusal tarafsız tahminler sınıfında) sözde tahminler olduğu kanıtlanmıştır (Aitken teoremi). genelleştirilmiş En Küçük Kareler (GLS - Genelleştirilmiş En Küçük Kareler)- Rastgele hataların ters kovaryans matrisine eşit ağırlık matrisine sahip LS yöntemi: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Doğrusal bir modelin parametrelerinin GLS tahminlerine yönelik formülün şu şekilde olduğu gösterilebilir:

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Bu tahminlerin kovaryans matrisi buna göre şuna eşit olacaktır:

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Aslında OLS'nin özü, orijinal verilerin belirli (doğrusal) bir dönüşümünde (P) ve sıradan OLS'nin dönüştürülmüş verilere uygulanmasında yatmaktadır. Bu dönüşümün amacı, dönüştürülen veriler için rastgele hataların zaten klasik varsayımları sağlamasıdır.

Ağırlıklı OLS

Çapraz ağırlık matrisi (ve dolayısıyla rastgele hataların kovaryans matrisi) durumunda, ağırlıklı En Küçük Kareler (WLS) olarak adlandırılan matrise sahibiz. Bu durumda, model artıklarının ağırlıklı kareler toplamı en aza indirilir, yani her gözlem, bu gözlemdeki rastgele hatanın varyansıyla ters orantılı bir "ağırlık" alır: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Aslında veriler, gözlemlerin ağırlıklandırılmasıyla (rastgele hataların tahmin edilen standart sapması ile orantılı bir miktara bölünerek) dönüştürülür ve ağırlıklı verilere sıradan OLS uygulanır.

ISBN 978-5-7749-0473-0 .

Ekonometri. Ders Kitabı / Ed. Eliseeva I.I. - 2. baskı. - M .: Finans ve İstatistik, 2006. - 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. Matematiksel terimlerin, kavramların, gösterimlerin tarihi: sözlük-referans kitabı. - 3. baskı - M.: LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. I.V.Mitin, Rusakov V.S. Deneysel verilerin analizi ve işlenmesi - 5. baskı - 24 s.

Programlama

• öğretici

giriiş

Ben bir matematikçi ve programcıyım. Kariyerimde attığım en büyük adım şunu söylemeyi öğrendiğim zamandı: "Hiçbir şey anlamıyorum!" Artık bilimin aydınına bana ders verdiğini, onun, aydının bana ne söylediğini anlamadığımı söylemekten utanmıyorum. Ve bu çok zor. Evet, cehaletinizi kabul etmek zor ve utanç vericidir. Kim bir şeyin temellerini bilmediğini itiraf etmekten hoşlanır? Mesleğim gereği çok sayıda sunum ve derse katılmak zorunda kalıyorum ve itiraf etmeliyim ki çoğu durumda hiçbir şey anlamadığım için uyumak istiyorum. Ama anlamıyorum çünkü bilimdeki mevcut durumun en büyük sorunu matematikte yatıyor. Tüm dinleyicilerin matematiğin tüm alanlarına kesinlikle aşina olduklarını varsayar (ki bu saçmadır). Türevin ne olduğunu bilmediğinizi kabul etmek (ne olduğuna biraz sonra değineceğiz) utanç vericidir.

Ama çarpmanın ne olduğunu bilmediğimi söylemeyi öğrendim. Evet, Lie cebiri üzerindeki alt cebirin ne olduğunu bilmiyorum. Evet, hayatta neden onlara ihtiyaç duyulduğunu bilmiyorum ikinci dereceden denklemler. Bu arada, bildiğinden eminsen konuşacak bir şeyimiz var demektir! Matematik bir dizi hiledir. Matematikçiler halkın kafasını karıştırmaya ve gözünü korkutmaya çalışırlar; Karışıklığın olmadığı yerde itibar da olmaz, otorite de olmaz. Evet, olabildiğince soyut bir dille konuşmak prestijlidir ki bu da tam bir saçmalıktır.

Türevin ne olduğunu biliyor musun? Büyük ihtimalle bana fark oranının limitini anlatacaksınız. St. Petersburg Devlet Üniversitesi'nde matematik ve mekaniğin ilk yılında Viktor Petrovich Khavin bana şunları söyledi: azimli Bir fonksiyonun Taylor serisinin ilk teriminin katsayısı olarak türev (bu, türevsiz Taylor serisini belirlemek için ayrı bir jimnastikti). Sonunda neyle ilgili olduğunu anlayana kadar bu tanıma uzun süre güldüm. Türev, türevini aldığımız fonksiyonun y=x, y=x^2, y=x^3 fonksiyonuna ne kadar benzer olduğunun basit bir ölçüsünden başka bir şey değildir.

Artık öğrencilere ders verme onuruna sahibim. korkmuş matematik. Eğer matematikten korkuyorsanız biz de aynı yoldayız. Bir metni okumaya çalıştığınızda ve size aşırı karmaşık göründüğünde, bunun kötü yazıldığını bilin. Doğruluğunu kaybetmeden “parmaklarda” tartışılamayacak tek bir matematik alanı olmadığını iddia ediyorum.

Yakın gelecek için ödev: Öğrencilerime doğrusal ikinci dereceden düzenleyicinin ne olduğunu anlamalarını verdim. Utanmayın, hayatınızın üç dakikasını geçirin ve bağlantıyı takip edin. Eğer hiçbir şey anlamıyorsan, o zaman aynı yoldayız. Ben (profesyonel bir matematikçi-programcı) da hiçbir şey anlamadım. Ve sizi temin ederim ki, bunu "parmaklarınızla" çözebilirsiniz. Açık şu anda Ne olduğunu bilmiyorum ama sizi temin ederim ki çözebiliriz.

Öğrencilerime dehşet içinde koşarak yanıma gelip doğrusal-ikinci dereceden düzenleyicinin hayatınızda asla ustalaşamayacağınız korkunç bir şey olduğunu söylediklerinde onlara vereceğim ilk ders şu olacaktır: en küçük kareler yöntemleri. Doğrusal denklemleri çözebilir misiniz? Bu metni okuyorsanız, büyük olasılıkla hayır.

Yani, (x0, y0), (x1, y1) gibi iki nokta (1,1) ve (3,2) verildiğinde görev, bu iki noktadan geçen çizginin denklemini bulmaktır:

illüstrasyon

Bu satırın aşağıdaki gibi bir denklemi olmalıdır:

Burada alfa ve beta bizim tarafımızdan bilinmiyor, ancak bu doğrunun iki noktası biliniyor:

Bu denklemi matris formunda yazabiliriz:

Burada lirik bir inceleme yapmalıyız: matris nedir? Bir matris, iki boyutlu bir diziden başka bir şey değildir. Bu, verileri saklamanın bir yoludur; ona başka bir anlam yüklenmemelidir. Belirli bir matrisin tam olarak nasıl yorumlanacağı bize bağlıdır. Periyodik olarak bunu doğrusal bir haritalama olarak, periyodik olarak ikinci dereceden bir form olarak ve bazen de basitçe bir vektör kümesi olarak yorumlayacağım. Bunların hepsi bağlamda açıklığa kavuşturulacaktır.

Somut matrisleri sembolik temsilleriyle değiştirelim:

O zaman (alfa, beta) kolayca bulunabilir:

Daha spesifik olarak önceki verilerimiz için:

Bu, (1,1) ve (3,2) noktalarından geçen doğrunun aşağıdaki denklemine yol açar:

Tamam, burada her şey açık. İçinden geçen doğrunun denklemini bulalım üç puanlar: (x0,y0), (x1,y1) ve (x2,y2):

Oh-oh-oh, ama iki bilinmeyen için üç denklemimiz var! Standart bir matematikçi çözümün olmadığını söyleyecektir. Programcı ne diyecek? Ve ilk önce önceki denklem sistemini aşağıdaki biçimde yeniden yazacak:

Bizim durumumuzda i, j, b vektörleri üç boyutludur, dolayısıyla (genel durumda) bu sistemin bir çözümü yoktur. Herhangi bir vektör (alfa\*i + beta\*j), (i, j) vektörlerinin kapsadığı düzlemde yer alır. Eğer b bu düzleme ait değilse çözüm yoktur (denklemde eşitlik sağlanamaz). Ne yapalım? Bir uzlaşma arayalım. ile belirtelim e(alfa, beta) eşitliği tam olarak ne kadar sağlayamadık:

Ve bu hatayı en aza indirmeye çalışacağız:

Neden kare?

Sadece normun minimumunu değil, normun karesinin minimumunu da arıyoruz. Neden? Minimum noktanın kendisi çakışır ve kare düzgün bir fonksiyon verir (argümanların ikinci dereceden bir fonksiyonu (alfa, beta)), oysa basitçe uzunluk, minimum noktada türevlenemeyen koni şeklinde bir fonksiyon verir. Br. Bir kare daha uygundur.

Açıkçası, vektör kullanıldığında hata en aza indirilir. e vektörlerin kapsadığı düzleme dik Ben vektörlerin maksimum yakınlığı anlamında J.

İllüstrasyon

Başka bir deyişle: tüm noktalardan bu düz çizgiye olan mesafelerin kare uzunluklarının toplamı minimum olacak şekilde bir düz çizgi arıyoruz:

GÜNCELLEME: Burada bir sorunum var, düz çizgiye olan mesafe dik projeksiyonla değil dikey olarak ölçülmeli. Yorumcu haklı.

İllüstrasyon

Tamamen farklı bir deyişle (dikkatlice, kötü biçimlendirilmiş, ancak açık olmalı): tüm nokta çiftleri arasındaki olası tüm çizgileri alıyoruz ve hepsi arasındaki ortalama çizgiyi arıyoruz:

İllüstrasyon

Diğer bir açıklama ise basittir: Tüm veri noktaları (burada üç tane var) ile aradığımız düz çizgi arasına bir yay bağlarız ve denge durumunun düz çizgisi tam olarak aradığımız şeydir.

Minimum ikinci dereceden form

Yani bu vektör verildiğinde B ve matrisin sütun vektörleri tarafından yayılan bir düzlem A(bu durumda (x0,x1,x2) ve (1,1,1)), vektörü arıyoruz e Minimum kare uzunluğuna sahip. Açıkçası, minimum değere yalnızca vektör için ulaşılabilir. e, matrisin sütun vektörlerinin kapsadığı düzleme dik A:

Başka bir deyişle, şöyle bir x=(alfa, beta) vektörü arıyoruz:

Bu x=(alpha, beta) vektörünün minimum olduğunu hatırlatmama izin verin. ikinci dereceden fonksiyon||e(alfa, beta)||^2:

Burada matrisin ikinci dereceden form olarak da yorumlanabileceğini hatırlamak faydalı olacaktır; örneğin birim matris ((1,0),(0,1)) x^2 + y^ fonksiyonu olarak yorumlanabilir. 2:

ikinci dereceden form

Bütün bu jimnastik doğrusal regresyon adı altında bilinir.

Dirichlet sınır koşuluyla Laplace denklemi

Şimdi en basit gerçek görev: belirli bir üçgen yüzey var, onu düzeltmek gerekiyor. Örneğin yüzümün bir modelini yükleyelim:

Orijinal taahhüt mevcuttur. Dış bağımlılıkları en aza indirmek için halihazırda Habré'de bulunan yazılım oluşturucumun kodunu aldım. Çözmek için doğrusal sistem OpenNL kullanıyorum, mükemmel bir çözücüdür, ancak kurulumu çok zordur: iki dosyayı (.h+.c) projenizin bulunduğu klasöre kopyalamanız gerekir. Tüm yumuşatma aşağıdaki kodla yapılır:

İçin (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&yüz = yüzler[i];<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

for (int j=0; j

A matrisinin sonraki tüm satırları (faces.size()*3 = ağdaki tüm üçgenlerin kenarlarının sayısı), bir kez 1 ve bir kez -1 oluşumuna sahiptir; b vektörü, bunun karşısında sıfır bileşene sahiptir. Bu, üçgen ağımızın her bir kenarına bir yay koyduğum anlamına gelir: tüm kenarlar, başlangıç ​​ve bitiş noktalarıyla aynı tepe noktasını almaya çalışır.

Bir kez daha tekrarlayalım: tüm köşeler değişkendir ve orijinal konumlarından uzaklaşamazlar ancak aynı zamanda birbirlerine benzemeye çalışırlar.

İşte sonuç:

Her şey yoluna girecekti, model gerçekten yumuşatıldı ama orijinal kenarından uzaklaştı. Kodu biraz değiştirelim:

İçin (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

A matrisimizde kenardaki köşeler için v_i = verts[i][d] kategorisinden bir satır değil, 1000*v_i = 1000*verts[i][d] kategorisinden bir satır ekliyorum. Bu ne gibi bir fark yaratır? Bu da ikinci dereceden hata biçimimizi değiştiriyor. Artık kenarda üstten tek bir sapma, eskisi gibi bir birime değil, 1000*1000 birime mal olacak. Yani uç köşelere daha güçlü bir yay astık, çözüm diğerlerini daha kuvvetli germeyi tercih edecek. İşte sonuç:

Köşeler arasındaki yay kuvvetini ikiye katlayalım:
nlKatsayısı(yüz[ j ], 2);

nlKatsayısı(yüz[(j+1)%3], -2);

Yüzeyin daha pürüzsüz hale gelmesi mantıklıdır:

Ve şimdi yüz kat daha güçlü:

Bu nedir? Bir tel halkayı sabunlu suya batırdığımızı hayal edin. Sonuç olarak, ortaya çıkan sabun filmi, sınıra - tel halkamıza - dokunarak mümkün olduğunca az eğriliğe sahip olmaya çalışacaktır. Sınırı sabitleyerek ve içeride pürüzsüz bir yüzey isteyerek elde ettiğimiz şey tam olarak budur. Tebrikler, Laplace denklemini Dirichlet sınır koşullarıyla çözdük. Kulağa hoş geliyor mu? Ancak gerçekte tek bir doğrusal denklem sistemini çözmeniz yeterlidir.

Poisson denklemi

Başka bir güzel ismi hatırlayalım.

Diyelim ki şöyle bir resmim var:

Herkese iyi görünüyor ama sandalyeyi sevmiyorum.

Resmi ikiye böleceğim:

Ve ellerimle bir sandalye seçeceğim:

İçin (int i=0; i

İşte sonuç:

Daha sonra maskede beyaz olan her şeyi resmin sol tarafına çekeceğim ve aynı zamanda tüm resim boyunca iki komşu piksel arasındaki farkın, iki komşu piksel arasındaki farka eşit olması gerektiğini söyleyeceğim. doğru resim:

Kod ve resimler mevcut

Örnek. Değişkenlerin değerlerine ilişkin deneysel veriler vektörlerin maksimum yakınlığı anlamında X en

tabloda verilmektedir.

Hizalamalarının bir sonucu olarak, fonksiyon elde edilir Kullanma en küçük kareler yöntemi , bu verilere doğrusal bir bağımlılıkla yaklaşın y=ax+b (parametreleri bul vektörlerin maksimum yakınlığı anlamında B). İki çizgiden hangisinin (en küçük kareler yöntemi anlamında) deneysel verileri daha iyi hizaladığını bulun. Bir çizim yapın.

En küçük kareler yönteminin (LSM) özü.

Görev, iki değişkenli fonksiyonun geçerli olduğu doğrusal bağımlılık katsayılarını bulmaktır. (parametreleri bul vektörlerin maksimum yakınlığı anlamında B en küçük değeri alır. Yani verilen (parametreleri bul vektörlerin maksimum yakınlığı anlamında B Deneysel verilerin bulunan düz çizgiden sapmalarının karelerinin toplamı en küçük olacaktır. En küçük kareler yönteminin asıl amacı budur.

Dolayısıyla örneği çözmek, iki değişkenli bir fonksiyonun ekstremumunu bulmaya indirgenir.

Katsayıları bulmak için formüllerin türetilmesi.

İki bilinmeyenli iki denklemden oluşan bir sistem derlenip çözülür. Bir fonksiyonun değişkenlere göre kısmi türevlerini bulma (parametreleri bul vektörlerin maksimum yakınlığı anlamında B, bu türevleri sıfıra eşitliyoruz.

Ortaya çıkan denklem sistemini herhangi bir yöntemi kullanarak çözeriz (örneğin ikame yöntemiyle veya ) ve en küçük kareler yöntemini (LSM) kullanarak katsayıları bulmak için formüller elde edin.

Verilen A vektörlerin maksimum yakınlığı anlamında B işlev en küçük değeri alır. Bu gerçeğin kanıtı verilmiştir.

En küçük kareler yönteminin tamamı budur. Parametreyi bulma formülü A toplamları , , ve parametrelerini içerir N- deneysel veri miktarı. Bu tutarların değerlerinin ayrı ayrı hesaplanmasını öneririz. Katsayı B Hesaplamadan sonra bulunan A.

Orijinal örneği hatırlamanın zamanı geldi.

Çözüm.

Örneğimizde n=5. Gerekli katsayıların formüllerinde yer alan tutarların hesaplanmasında kolaylık sağlamak için tabloyu dolduruyoruz.

Tablonun dördüncü satırındaki değerler, her sayı için 2. satırdaki değerlerin 3. satırdaki değerlerle çarpılmasıyla elde edilir. Ben.

Tablonun beşinci satırındaki değerler, her sayı için 2. satırdaki değerlerin karesi alınarak elde edilir. Ben.

Tablonun son sütunundaki değerler satırlar arasındaki değerlerin toplamıdır.

Katsayıları bulmak için en küçük kareler yönteminin formüllerini kullanıyoruz (parametreleri bul vektörlerin maksimum yakınlığı anlamında B. Tablonun son sütunundaki karşılık gelen değerleri bunların yerine koyarız:

Buradan, y = 0,165x+2,184- istenen yaklaşık düz çizgi.

Hangi satırlardan hangisinin olduğunu bulmak için kalır y = 0,165x+2,184 veya orijinal verilere daha iyi yaklaşır, yani en küçük kareler yöntemini kullanarak tahmin yapar.

En küçük kareler yönteminde hata tahmini.

Bunu yapmak için orijinal verilerin bu çizgilerden sapmalarının karelerinin toplamını hesaplamanız gerekir. vektörlerin maksimum yakınlığı anlamında , daha küçük bir değer, en küçük kareler yöntemi anlamında orijinal verilere daha iyi yaklaşan bir çizgiye karşılık gelir.

O zamandan beri düz y = 0,165x+2,184 orijinal verilere daha iyi yaklaşır.

En küçük kareler (LS) yönteminin grafiksel gösterimi.

Grafiklerde her şey açıkça görülüyor. Kırmızı çizgi bulunan düz çizgidir y = 0,165x+2,184, mavi çizgi , pembe noktalar orijinal verilerdir.

Buna neden ihtiyaç duyuldu, neden tüm bu yaklaşımlar?

Kişisel olarak bunu veri yumuşatma, enterpolasyon ve ekstrapolasyon problemlerini çözmek için kullanıyorum (orijinal örnekte onlardan gözlemlenen bir değerin değerini bulmaları istenmiş olabilir) sen en x=3 veya ne zaman x=6 en küçük kareler yöntemini kullanarak). Ancak bunun hakkında daha sonra sitenin başka bir bölümünde daha fazla konuşacağız.

Kanıt.

Böylece bulunduğunda (parametreleri bul vektörlerin maksimum yakınlığı anlamında B Fonksiyon en küçük değeri aldığında, bu noktada fonksiyonun ikinci dereceden diferansiyelinin ikinci dereceden formunun matrisinin olması gerekir. pozitif kesindi. Hadi gösterelim.

En küçük kareler yönteminin özü şudur: herhangi bir rastgele olgunun zaman veya mekandaki gelişme eğilimini en iyi tanımlayan bir eğilim modelinin parametrelerini bulmada (eğilim, bu gelişmenin eğilimini karakterize eden bir çizgidir). En küçük kareler yönteminin (LSM) görevi yalnızca bir trend modeli bulmak değil, aynı zamanda en iyi veya en uygun modeli bulmaktır. Gözlemlenen gerçek değerler ile karşılık gelen hesaplanan eğilim değerleri arasındaki sapmaların karelerinin toplamı minimum (en küçük) ise bu model optimal olacaktır:

gözlemlenen gerçek değer arasındaki sapmanın karesi nerede

ve karşılık gelen hesaplanan trend değeri,

İncelenen olgunun gerçek (gözlenen) değeri,

Trend modelinin hesaplanan değeri,

İncelenen olgunun gözlem sayısı.

MNC tek başına oldukça nadir kullanılır. Kural olarak, çoğu zaman korelasyon çalışmalarında yalnızca gerekli bir teknik teknik olarak kullanılır. OLS'nin bilgi tabanının yalnızca güvenilir bir istatistiksel seri olabileceği ve gözlem sayısının 4'ten az olmaması gerektiği, aksi takdirde OLS'nin yumuşatma işlemlerinin sağduyuyu kaybedebileceği unutulmamalıdır.

MNC araç seti aşağıdaki prosedürlerden oluşur:

İlk prosedür. Seçilen faktör-argüman değiştiğinde ortaya çıkan niteliği değiştirmeye yönelik herhangi bir eğilimin olup olmadığı, başka bir deyişle "arasında bir bağlantı olup olmadığı" ortaya çıkıyor. en " Ve " X ».

İkinci prosedür. Hangi çizginin (yörüngenin) bu eğilimi en iyi şekilde tanımlayabileceği veya karakterize edebileceği belirlenir.

Üçüncü prosedür.

Örnek. Diyelim ki incelenen çiftliğin ortalama ayçiçeği verimi hakkında bilgimiz var (Tablo 9.1).

Tablo 9.1

Gözlem numarası
Verimlilik, c/ha

Ülkemizde ayçiçeği üretimindeki teknoloji seviyesi son 10 yılda neredeyse hiç değişmediğinden, bu, analiz edilen dönemde verimdeki dalgalanmaların büyük ölçüde hava ve iklim koşullarındaki dalgalanmalara bağlı olduğu anlamına geliyor. Bu gerçekten doğru mu?

İlk OLS prosedürü. Analiz edilen 10 yıl boyunca ayçiçeği verim değişimlerinde hava ve iklim koşullarındaki değişikliklere bağlı bir eğilimin varlığına ilişkin hipotez test edilmiştir.

Bu örnekte " sen " Ayçiçeği veriminin alınması tavsiye edilir ve " X » – analiz edilen dönemde gözlemlenen yılın sayısı. arasında herhangi bir ilişkinin varlığına ilişkin hipotezin test edilmesi" X " Ve " sen "iki şekilde yapılabilir: manuel olarak ve bilgisayar programlarını kullanarak. Elbette bilgisayar teknolojisinin kullanılabilirliği ile bu sorun kendi kendine çözülebilir. Ancak ÇUŞ araçlarını daha iyi anlayabilmek için “arasındaki ilişkinin varlığına ilişkin hipotezin test edilmesi tavsiye edilmektedir” X " Ve " sen » Yalnızca bir kalem ve sıradan bir hesap makinesi elinizde olduğunda manuel olarak. Bu gibi durumlarda, bir eğilimin varlığına ilişkin hipotez, analiz edilen dinamik serisinin grafik görüntüsünün (korelasyon alanı) konumuyla görsel olarak en iyi şekilde kontrol edilir:

Örneğimizdeki korelasyon alanı yavaş yavaş artan bir çizginin etrafında yer almaktadır. Bu durum başlı başına ayçiçeği rekoltesindeki değişimlerde belli bir eğilimin varlığına işaret etmektedir. Korelasyon alanı yalnızca bir daireye, bir daireye, tam olarak dikey veya tam olarak yatay bir buluta benzediğinde veya düzensiz dağılmış noktalardan oluştuğunda herhangi bir eğilimin varlığından bahsetmek mümkün değildir. Diğer tüm durumlarda, “arasında bir ilişkinin varlığına ilişkin hipotez” X " Ve " sen "ve araştırmaya devam edin.

İkinci OLS prosedürü. Analiz edilen dönem boyunca ayçiçeği verimindeki değişim eğilimini hangi çizginin (yörüngenin) en iyi şekilde tanımlayabileceği veya karakterize edebileceği belirlenir.

Bilgisayar teknolojiniz varsa optimum trendin seçimi otomatik olarak gerçekleşir. "Manuel" işleme sırasında, en uygun fonksiyonun seçimi, kural olarak, görsel olarak - korelasyon alanının konumuna göre gerçekleştirilir. Yani grafiğin türüne göre ampirik eğilime (gerçek yörüngeye) en iyi uyan çizginin denklemi seçilir.

Bilindiği gibi doğada çok çeşitli fonksiyonel bağımlılıklar vardır, bu nedenle bunların küçük bir kısmını bile görsel olarak analiz etmek son derece zordur. Neyse ki, gerçek ekonomik uygulamada çoğu ilişki bir parabol, bir hiperbol veya bir düz çizgi ile oldukça doğru bir şekilde tanımlanabilir. Bu bakımdan en iyi fonksiyonun seçildiği “manuel” seçeneği ile kendinizi yalnızca bu üç modelle sınırlandırabilirsiniz.

		Hiperbol:

İkinci dereceden parabol: :

Örneğimizde, analiz edilen 10 yıl boyunca ayçiçeği verimindeki değişim eğiliminin en iyi şekilde düz bir çizgiyle karakterize edildiğini görmek kolaydır, dolayısıyla regresyon denklemi bir düz çizginin denklemi olacaktır.

Üçüncü prosedür. Bu çizgiyi karakterize eden regresyon denkleminin parametreleri hesaplanır veya başka bir deyişle en iyi trend modelini tanımlayan analitik bir formül belirlenir.

Regresyon denkleminin parametrelerinin değerlerini bulmak, bizim durumumuzda ve parametreleri, OLS'nin özüdür. Bu süreç bir normal denklem sisteminin çözümüne indirgenir.

(9.2)

Bu denklem sistemi Gauss yöntemiyle oldukça kolay bir şekilde çözülebilir. Çözüm sonucunda örneğimizde parametre ve değerlerinin bulunduğunu hatırlayalım. Böylece bulunan regresyon denklemi aşağıdaki forma sahip olacaktır:

• öğretici

giriiş

Ben bir matematikçi ve programcıyım. Kariyerimde attığım en büyük adım şunu söylemeyi öğrendiğim zamandı: "Hiçbir şey anlamıyorum!" Artık bilimin aydınına bana ders verdiğini, onun, aydının bana ne söylediğini anlamadığımı söylemekten utanmıyorum. Ve bu çok zor. Evet, cehaletinizi kabul etmek zor ve utanç vericidir. Kim bir şeyin temellerini bilmediğini itiraf etmekten hoşlanır? Mesleğim gereği çok sayıda sunum ve derse katılmak zorunda kalıyorum ve itiraf etmeliyim ki çoğu durumda hiçbir şey anlamadığım için uyumak istiyorum. Ama anlamıyorum çünkü bilimdeki mevcut durumun en büyük sorunu matematikte yatıyor. Tüm dinleyicilerin matematiğin tüm alanlarına kesinlikle aşina olduklarını varsayar (ki bu saçmadır). Türevin ne olduğunu bilmediğinizi kabul etmek (ne olduğuna biraz sonra değineceğiz) utanç vericidir.

Ama çarpmanın ne olduğunu bilmediğimi söylemeyi öğrendim. Evet, Lie cebiri üzerindeki alt cebirin ne olduğunu bilmiyorum. Evet, hayatta ikinci dereceden denklemlere neden ihtiyaç duyulduğunu bilmiyorum. Bu arada, bildiğinden eminsen konuşacak bir şeyimiz var demektir! Matematik bir dizi hiledir. Matematikçiler halkın kafasını karıştırmaya ve gözünü korkutmaya çalışırlar; Karışıklığın olmadığı yerde itibar da olmaz, otorite de olmaz. Evet, olabildiğince soyut bir dille konuşmak prestijlidir ki bu da tam bir saçmalıktır.

Türevin ne olduğunu biliyor musun? Büyük ihtimalle bana fark oranının limitini anlatacaksınız. St. Petersburg Devlet Üniversitesi'nde matematik ve mekaniğin ilk yılında Viktor Petrovich Khavin bana şunları söyledi: azimli Bir fonksiyonun Taylor serisinin ilk teriminin katsayısı olarak türev (bu, türevsiz Taylor serisini belirlemek için ayrı bir jimnastikti). Sonunda neyle ilgili olduğunu anlayana kadar bu tanıma uzun süre güldüm. Türev, türevini aldığımız fonksiyonun y=x, y=x^2, y=x^3 fonksiyonuna ne kadar benzer olduğunun basit bir ölçüsünden başka bir şey değildir.

Artık öğrencilere ders verme onuruna sahibim. korkmuş matematik. Eğer matematikten korkuyorsanız biz de aynı yoldayız. Bir metni okumaya çalıştığınızda ve size aşırı karmaşık göründüğünde, bunun kötü yazıldığını bilin. Doğruluğunu kaybetmeden “parmaklarda” tartışılamayacak tek bir matematik alanı olmadığını iddia ediyorum.

Yakın gelecek için ödev: Öğrencilerime doğrusal ikinci dereceden düzenleyicinin ne olduğunu anlamalarını verdim. Utanmayın, hayatınızın üç dakikasını geçirin ve bağlantıyı takip edin. Eğer hiçbir şey anlamıyorsan, o zaman aynı yoldayız. Ben (profesyonel bir matematikçi-programcı) da hiçbir şey anlamadım. Ve sizi temin ederim ki, bunu "parmaklarınızla" çözebilirsiniz. Şu anda ne olduğunu bilmiyorum ama sizi temin ederim ki çözebileceğiz.

Öğrencilerime dehşet içinde koşarak yanıma gelip doğrusal-ikinci dereceden düzenleyicinin hayatınızda asla ustalaşamayacağınız korkunç bir şey olduğunu söylediklerinde onlara vereceğim ilk ders şu olacaktır: en küçük kareler yöntemleri. Doğrusal denklemleri çözebilir misiniz? Bu metni okuyorsanız, büyük olasılıkla hayır.

Yani, (x0, y0), (x1, y1) gibi iki nokta (1,1) ve (3,2) verildiğinde görev, bu iki noktadan geçen çizginin denklemini bulmaktır:

illüstrasyon

Bu satırın aşağıdaki gibi bir denklemi olmalıdır:

Burada alfa ve beta bizim tarafımızdan bilinmiyor, ancak bu doğrunun iki noktası biliniyor:

Bu denklemi matris formunda yazabiliriz:

Burada lirik bir inceleme yapmalıyız: matris nedir? Bir matris, iki boyutlu bir diziden başka bir şey değildir. Bu, verileri saklamanın bir yoludur; ona başka bir anlam yüklenmemelidir. Belirli bir matrisin tam olarak nasıl yorumlanacağı bize bağlıdır. Periyodik olarak bunu doğrusal bir haritalama olarak, periyodik olarak ikinci dereceden bir form olarak ve bazen de basitçe bir vektör kümesi olarak yorumlayacağım. Bunların hepsi bağlamda açıklığa kavuşturulacaktır.

Somut matrisleri sembolik temsilleriyle değiştirelim:

O zaman (alfa, beta) kolayca bulunabilir:

Daha spesifik olarak önceki verilerimiz için:

Bu, (1,1) ve (3,2) noktalarından geçen doğrunun aşağıdaki denklemine yol açar:

Tamam, burada her şey açık. İçinden geçen doğrunun denklemini bulalım üç puanlar: (x0,y0), (x1,y1) ve (x2,y2):

Oh-oh-oh, ama iki bilinmeyen için üç denklemimiz var! Standart bir matematikçi çözümün olmadığını söyleyecektir. Programcı ne diyecek? Ve ilk önce önceki denklem sistemini aşağıdaki biçimde yeniden yazacak:

Bizim durumumuzda i, j, b vektörleri üç boyutludur, dolayısıyla (genel durumda) bu sistemin bir çözümü yoktur. Herhangi bir vektör (alfa\*i + beta\*j), (i, j) vektörlerinin kapsadığı düzlemde yer alır. Eğer b bu düzleme ait değilse çözüm yoktur (denklemde eşitlik sağlanamaz). Ne yapalım? Bir uzlaşma arayalım. ile belirtelim e(alfa, beta) eşitliği tam olarak ne kadar sağlayamadık:

Ve bu hatayı en aza indirmeye çalışacağız:

Neden kare?

Sadece normun minimumunu değil, normun karesinin minimumunu da arıyoruz. Neden? Minimum noktanın kendisi çakışır ve kare düzgün bir fonksiyon verir (argümanların ikinci dereceden bir fonksiyonu (alfa, beta)), oysa basitçe uzunluk, minimum noktada türevlenemeyen koni şeklinde bir fonksiyon verir. Br. Bir kare daha uygundur.

Açıkçası, vektör kullanıldığında hata en aza indirilir. e vektörlerin kapsadığı düzleme dik Ben vektörlerin maksimum yakınlığı anlamında J.

İllüstrasyon

Başka bir deyişle: tüm noktalardan bu düz çizgiye olan mesafelerin kare uzunluklarının toplamı minimum olacak şekilde bir düz çizgi arıyoruz:

GÜNCELLEME: Burada bir sorunum var, düz çizgiye olan mesafe dik projeksiyonla değil dikey olarak ölçülmeli. Bu yorumcu haklı.

İllüstrasyon

Tamamen farklı bir deyişle (dikkatlice, kötü biçimlendirilmiş, ancak açık olmalı): tüm nokta çiftleri arasındaki olası tüm çizgileri alıyoruz ve hepsi arasındaki ortalama çizgiyi arıyoruz:

İllüstrasyon

Diğer bir açıklama ise basittir: Tüm veri noktaları (burada üç tane var) ile aradığımız düz çizgi arasına bir yay bağlarız ve denge durumunun düz çizgisi tam olarak aradığımız şeydir.

Minimum ikinci dereceden form

Yani bu vektör verildiğinde B ve matrisin sütun vektörleri tarafından yayılan bir düzlem A(bu durumda (x0,x1,x2) ve (1,1,1)), vektörü arıyoruz e Minimum kare uzunluğuna sahip. Açıkçası, minimum değere yalnızca vektör için ulaşılabilir. e, matrisin sütun vektörlerinin kapsadığı düzleme dik A:

Başka bir deyişle, şöyle bir x=(alfa, beta) vektörü arıyoruz:

Bu x=(alfa, beta) vektörünün ikinci dereceden ||e(alfa, beta)||^2 fonksiyonunun minimumu olduğunu hatırlatmama izin verin:

Burada matrisin ikinci dereceden form olarak da yorumlanabileceğini hatırlamak faydalı olacaktır; örneğin birim matris ((1,0),(0,1)) x^2 + y^ fonksiyonu olarak yorumlanabilir. 2:

ikinci dereceden form

Bütün bu jimnastik doğrusal regresyon adı altında bilinir.

Dirichlet sınır koşuluyla Laplace denklemi

Şimdi en basit gerçek görev: belirli bir üçgen yüzey var, onu düzeltmek gerekiyor. Örneğin yüzümün bir modelini yükleyelim:

Orijinal taahhüt mevcuttur. Dış bağımlılıkları en aza indirmek için halihazırda Habré'de bulunan yazılım oluşturucumun kodunu aldım. Doğrusal sistemi çözmek için OpenNL kullanıyorum, bu mükemmel bir çözücüdür, ancak kurulumu çok zordur: iki dosyayı (.h+.c) projenizin bulunduğu klasöre kopyalamanız gerekir. Tüm yumuşatma aşağıdaki kodla yapılır:

İçin (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&yüz = yüzler[i];<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

for (int j=0; j

A matrisinin sonraki tüm satırları (faces.size()*3 = ağdaki tüm üçgenlerin kenarlarının sayısı), bir kez 1 ve bir kez -1 oluşumuna sahiptir; b vektörü, bunun karşısında sıfır bileşene sahiptir. Bu, üçgen ağımızın her bir kenarına bir yay koyduğum anlamına gelir: tüm kenarlar, başlangıç ​​ve bitiş noktalarıyla aynı tepe noktasını almaya çalışır.

Bir kez daha tekrarlayalım: tüm köşeler değişkendir ve orijinal konumlarından uzaklaşamazlar ancak aynı zamanda birbirlerine benzemeye çalışırlar.

İşte sonuç:

Her şey yoluna girecekti, model gerçekten yumuşatıldı ama orijinal kenarından uzaklaştı. Kodu biraz değiştirelim:

İçin (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

A matrisimizde kenardaki köşeler için v_i = verts[i][d] kategorisinden bir satır değil, 1000*v_i = 1000*verts[i][d] kategorisinden bir satır ekliyorum. Bu ne gibi bir fark yaratır? Bu da ikinci dereceden hata biçimimizi değiştiriyor. Artık kenarda üstten tek bir sapma, eskisi gibi bir birime değil, 1000*1000 birime mal olacak. Yani uç köşelere daha güçlü bir yay astık, çözüm diğerlerini daha kuvvetli germeyi tercih edecek. İşte sonuç:

Köşeler arasındaki yay kuvvetini ikiye katlayalım:
nlKatsayısı(yüz[ j ], 2);

nlKatsayısı(yüz[(j+1)%3], -2);

Yüzeyin daha pürüzsüz hale gelmesi mantıklıdır:

Ve şimdi yüz kat daha güçlü:

Bu nedir? Bir tel halkayı sabunlu suya batırdığımızı hayal edin. Sonuç olarak, ortaya çıkan sabun filmi, sınıra - tel halkamıza - dokunarak mümkün olduğunca az eğriliğe sahip olmaya çalışacaktır. Sınırı sabitleyerek ve içeride pürüzsüz bir yüzey isteyerek elde ettiğimiz şey tam olarak budur. Tebrikler, Laplace denklemini Dirichlet sınır koşullarıyla çözdük. Kulağa hoş geliyor mu? Ancak gerçekte tek bir doğrusal denklem sistemini çözmeniz yeterlidir.

Poisson denklemi

Başka bir güzel ismi hatırlayalım.

Diyelim ki şöyle bir resmim var:

Herkese iyi görünüyor ama sandalyeyi sevmiyorum.

Resmi ikiye böleceğim:

Ve ellerimle bir sandalye seçeceğim:

İçin (int i=0; i

İşte sonuç:

Daha sonra maskede beyaz olan her şeyi resmin sol tarafına çekeceğim ve aynı zamanda tüm resim boyunca iki komşu piksel arasındaki farkın, iki komşu piksel arasındaki farka eşit olması gerektiğini söyleyeceğim. doğru resim: