Mnk automaticamente dá. Onde é aplicado o método dos mínimos quadrados?

100 r bônus de primeira ordem

Escolha o tipo de trabalho Trabalho de graduação Trabalho do curso Resumo Dissertação de mestrado Relatório sobre a prática Artigo Relatório Revisão Teste Monografia Resolução de problemas Plano de negócios Respostas a perguntas trabalho criativo Redação Desenho Composições Tradução Apresentações Digitação Outros Aumentar a singularidade do texto Tese do candidato Trabalho de laboratório Ajuda on-line

Peça um preço

Método mínimos quadrados- uma técnica matemática (matemático-estatística) que serve para equalizar séries temporais, identificar a forma de correlação entre variáveis ​​aleatórias, etc. Consiste no fato de que a função que descreve esse fenômeno é aproximada por uma função mais simples. Além disso, este último é selecionado de tal forma que o desvio padrão (ver Variância) dos níveis reais da função nos pontos observados dos nivelados seja o menor.

Por exemplo, de acordo com os dados disponíveis ( XI,yi) (eu = 1, 2, ..., n) tal curva é construída y = uma + bx, em que o mínimo da soma dos desvios quadrados é alcançado

ou seja, uma função é minimizada que depende de dois parâmetros: uma- segmento no eixo y e b- a inclinação da linha reta.

Equações que dão condições necessárias para minimizar uma função S(uma,b), são chamados equações normais. Como funções de aproximação, são usadas não apenas lineares (alinhamento ao longo de uma linha reta), mas também quadráticas, parabólicas, exponenciais, etc. M.2, onde a soma das distâncias ao quadrado ( y 1 – ȳ 1)2 + (y 2 – ȳ 2)2 .... é o menor, e a linha reta resultante reflete melhor a tendência da série dinâmica de observações para algum indicador ao longo do tempo.

Para estimadores de mínimos quadrados imparciais, é necessário e suficiente que condição essencial análise de regressão: a expectativa matemática de um erro aleatório condicional aos fatores deve ser igual a zero. Esta condição, em particular, é satisfeita se: 1.a expectativa matemática de erros aleatórios for igual a zero, e 2.fatores e erros aleatórios forem variáveis ​​aleatórias independentes. A primeira condição pode ser considerada sempre satisfeita para modelos com uma constante, uma vez que a constante assume uma expectativa matemática de erros diferente de zero. A segunda condição - a condição dos fatores exógenos - é fundamental. Se essa propriedade não for satisfeita, podemos supor que quase todas as estimativas serão extremamente insatisfatórias: elas nem serão consistentes (ou seja, mesmo uma quantidade muito grande de dados não permite obter estimativas qualitativas nesse caso).

O mais comum na prática de estimação estatística dos parâmetros das equações de regressão é o método dos mínimos quadrados. Este método é baseado em uma série de suposições sobre a natureza dos dados e os resultados da construção do modelo. As principais são uma clara separação das variáveis ​​iniciais em dependentes e independentes, a não correlação dos fatores incluídos nas equações, a linearidade da relação, a ausência de autocorrelação dos resíduos, a igualdade de suas expectativas matemáticas a zero e dispersão constante.

Uma das principais hipóteses do LSM é a suposição de que as dispersões dos desvios ei são iguais, ou seja, seu spread em torno do valor médio (zero) da série deve ser um valor estável. Essa propriedade é chamada de homocedasticidade. Na prática, as variâncias dos desvios muitas vezes não são as mesmas, ou seja, observa-se heterocedasticidade. Isso pode ser uma consequência razões diferentes. Por exemplo, pode haver erros nos dados originais. Imprecisões aleatórias nas informações de origem, como erros na ordem dos números, podem ter um impacto significativo nos resultados. Muitas vezes, uma maior dispersão de desvios єi é observada em grandes valores da variável dependente (variáveis). Se os dados contiverem um erro significativo, então, naturalmente, o desvio do valor do modelo calculado a partir dos dados errados também será grande. Para eliminar esse erro, precisamos reduzir a contribuição desses dados para os resultados do cálculo, definir um peso menor para eles do que para todo o resto. Esta ideia é implementada em mínimos quadrados ponderados.

Após o alinhamento, obtemos uma função da seguinte forma: g (x) = x + 1 3 + 1 .

Podemos aproximar esses dados com uma relação linear y = a x + b calculando os parâmetros apropriados. Para fazer isso, precisaremos aplicar o chamado método dos mínimos quadrados. Você também precisará fazer um desenho para verificar qual linha alinhará melhor os dados experimentais.

Yandex.RTB R-A-339285-1

O que exatamente é OLS (método dos mínimos quadrados)

A principal coisa que precisamos fazer é encontrar tais coeficientes de dependência linear em que o valor da função de duas variáveis ​​F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 será o menor. Em outras palavras, para determinados valores de a e b, a soma dos quadrados dos desvios dos dados apresentados da reta resultante terá um valor mínimo. Este é o significado do método dos mínimos quadrados. Tudo o que precisamos fazer para resolver o exemplo é encontrar o extremo da função de duas variáveis.

Como derivar fórmulas para calcular coeficientes

Para derivar fórmulas de cálculo dos coeficientes, é necessário compor e resolver um sistema de equações com duas variáveis. Para fazer isso, calculamos as derivadas parciais da expressão F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 em relação a aeb e as igualamos a 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Para resolver um sistema de equações, você pode usar qualquer método, como substituição ou método de Cramer. Como resultado, devemos obter fórmulas que calculam os coeficientes usando o método dos mínimos quadrados.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Calculamos os valores das variáveis ​​para as quais a função
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 assumirá o valor mínimo. No terceiro parágrafo, vamos provar porque é assim.

Esta é a aplicação do método dos mínimos quadrados na prática. Sua fórmula, que é usada para encontrar o parâmetro a , inclui ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , e o parâmetro
n - denota a quantidade de dados experimentais. Aconselhamos que calcule cada valor separadamente. O valor do coeficiente b é calculado imediatamente após a .

Voltemos ao exemplo original.

Exemplo 1

Aqui temos n igual a cinco. Para facilitar o cálculo dos valores necessários incluídos nas fórmulas dos coeficientes, preenchemos a tabela.

	eu = 1	eu = 2	eu = 3	eu = 4	eu = 5	∑ i = 1 5
XI	0	1	2	4	5	12
eu	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x eu eu	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x e 2	0	1	4	16	25	46

Solução

A quarta linha contém os dados obtidos multiplicando os valores da segunda linha pelos valores da terceira para cada indivíduo i. A quinta linha contém os dados do segundo quadrado. A última coluna mostra as somas dos valores das linhas individuais.

Vamos usar o método dos mínimos quadrados para calcular os coeficientes aeb que precisamos. Para isso, substitua os valores desejados da última coluna e calcule as somas:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Temos que a linha reta de aproximação desejada será y = 0 , 165 x + 2 , 184 . Agora precisamos determinar qual linha irá aproximar melhor os dados - g (x) = x + 1 3 + 1 ou 0 , 165 x + 2 , 184 . Vamos fazer uma estimativa usando o método dos mínimos quadrados.

Para calcular o erro, precisamos encontrar as somas dos desvios quadrados dos dados das linhas σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 e σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , o valor mínimo corresponderá a uma linha mais adequada.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Responda: desde σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

O método dos mínimos quadrados é claramente mostrado na ilustração gráfica. A linha vermelha marca a linha reta g (x) = x + 1 3 + 1, a linha azul marca y = 0, 165 x + 2, 184. Os dados brutos são marcados com pontos rosa.

Vamos explicar por que exatamente são necessárias aproximações desse tipo.

Eles podem ser usados ​​em problemas que exigem suavização de dados, bem como naqueles em que os dados precisam ser interpolados ou extrapolados. Por exemplo, no problema discutido acima, pode-se encontrar o valor da quantidade observada y em x = 3 ou em x = 6 . Dedicamos um artigo separado a esses exemplos.

Prova do método LSM

Para que a função tome o valor mínimo quando a e b são calculados, é necessário que em um dado ponto a matriz da forma quadrática da diferencial da função da forma F(a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 seja positivo definido. Vamos mostrar como deve ser.

Exemplo 2

Temos um diferencial de segunda ordem da seguinte forma:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Solução

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Em outras palavras, pode ser escrito da seguinte forma: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Obtivemos uma matriz de forma quadrática M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

Nesse caso, os valores dos elementos individuais não serão alterados dependendo de a e b . Essa matriz é positiva definida? Para responder a esta pergunta, vamos verificar se seus menores angulares são positivos.

Calcule o menor angular de primeira ordem: 2 ∑ i = 1 n (x i) 2 > 0 . Como os pontos x i não coincidem, a desigualdade é estrita. Vamos manter isso em mente em cálculos posteriores.

Calculamos o menor angular de segunda ordem:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Em seguida, procedemos à prova da desigualdade n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 por indução matemática.

1. Vamos verificar se esta desigualdade é válida para n arbitrário. Vamos pegar 2 e calcular:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Obtivemos a igualdade correta (se os valores x 1 e x 2 não corresponderem).

1. Vamos supor que essa desigualdade será verdadeira para n , ou seja. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – verdadeiro.
2. Agora vamos provar a validade para n + 1 , ou seja. que (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 se n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Calculamos:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

A expressão entre chaves será maior que 0 (com base no que presumimos na etapa 2), e o restante dos termos será maior que 0 porque são todos quadrados de números. Provamos a desigualdade.

Responda: os a e b encontrados corresponderão ao menor valor da função F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, o que significa que eles são os parâmetros necessários do método dos mínimos quadrados (LSM).

Se você notar um erro no texto, destaque-o e pressione Ctrl+Enter

Aproximamos a função por um polinômio de 2º grau. Para fazer isso, calculamos os coeficientes do sistema normal de equações:

, ,

Vamos compor um sistema normal de mínimos quadrados, que tem a forma:

A solução do sistema é fácil de encontrar:, , .

Assim, encontra-se o polinômio de 2º grau: .

Bases teóricas

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 2. Encontrar o grau ótimo de um polinômio.

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 3. Derivação de um sistema normal de equações para encontrar os parâmetros de uma dependência empírica.

Vamos derivar um sistema de equações para determinar os coeficientes e funções , que executa a aproximação quadrática média da função dada em relação aos pontos. Compor uma função e escrever para ela Condição necessaria extremo:

Então o sistema normal terá a forma:

Pegou sistema linear equações para parâmetros desconhecidos e que é facilmente resolvido.

Bases teóricas

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo.

Dados experimentais sobre os valores das variáveis X e no são dados na tabela.

Como resultado de seu alinhamento, a função

Usando método dos mínimos quadrados, aproxime esses dados com uma dependência linear y=ax+b(encontrar opções uma e b). Descubra qual das duas linhas é melhor (no sentido do método dos mínimos quadrados) alinha os dados experimentais. Faça um desenho.

A essência do método dos mínimos quadrados (LSM).

O problema é encontrar os coeficientes de dependência linear para os quais a função de duas variáveis uma e bassume o menor valor. Ou seja, dados os dados uma e b a soma dos desvios quadrados dos dados experimentais da linha reta encontrada será a menor. Este é o ponto principal do método dos mínimos quadrados.

Assim, a solução do exemplo é reduzida a encontrar o extremo de uma função de duas variáveis.

Derivação de fórmulas para encontrar coeficientes.

Um sistema de duas equações com duas incógnitas é compilado e resolvido. Encontrando derivadas parciais de funções por variáveis uma e b, igualamos essas derivadas a zero.

Resolvemos o sistema de equações resultante por qualquer método (por exemplo método de substituição ou o método de Cramer) e obter fórmulas para encontrar coeficientes usando o método dos mínimos quadrados (LSM).

Com dados uma e b função assume o menor valor. A comprovação desse fato é apresentada a seguir no texto ao final da página.

Esse é todo o método dos mínimos quadrados. Fórmula para encontrar o parâmetro uma contém as somas , , , e o parâmetro né a quantidade de dados experimentais. Recomenda-se que os valores dessas somas sejam calculados separadamente.

Coeficiente b encontrado após o cálculo uma.

É hora de lembrar o exemplo original.

Solução.

Em nosso exemplo n=5. Preenchemos a tabela para a conveniência de calcular os valores incluídos nas fórmulas dos coeficientes necessários.

Os valores da quarta linha da tabela são obtidos multiplicando os valores da 2ª linha pelos valores da 3ª linha para cada número eu.

Os valores da quinta linha da tabela são obtidos elevando ao quadrado os valores da 2ª linha para cada número eu.

Os valores da última coluna da tabela são as somas dos valores nas linhas.

Usamos as fórmulas do método dos mínimos quadrados para encontrar os coeficientes uma e b. Substituímos neles os valores correspondentes da última coluna da tabela:

Consequentemente, y=0,165x+2,184é a linha reta de aproximação desejada.

Resta saber qual das linhas y=0,165x+2,184 ou aproxima melhor os dados originais, ou seja, para fazer uma estimativa usando o método dos mínimos quadrados.

Estimativa do erro do método dos mínimos quadrados.

Para fazer isso, você precisa calcular as somas dos desvios quadrados dos dados originais dessas linhas e , um valor menor corresponde a uma linha que melhor se aproxima dos dados originais em termos do método dos mínimos quadrados.

Desde , então a linha y=0,165x+2,184 aproxima melhor os dados originais.

Ilustração gráfica do método dos mínimos quadrados (LSM).

Tudo parece ótimo nas paradas. A linha vermelha é a linha encontrada y=0,165x+2,184, a linha azul é , os pontos rosa são os dados originais.

Para que serve, para que servem todas essas aproximações?

Eu pessoalmente uso para resolver problemas de suavização de dados, problemas de interpolação e extrapolação (no exemplo original, você pode ser solicitado a encontrar o valor do valor observado y no x=3 ou quando x=6 de acordo com o método MNC). Mas falaremos mais sobre isso posteriormente em outra seção do site.

Topo da página

Prova.

Para que quando encontrado uma e b função assume o menor valor, é necessário que neste ponto a matriz da forma quadrática do diferencial de segunda ordem para a função foi definido positivo. Vamos mostrar.

O diferencial de segunda ordem tem a forma:

Aquilo é

Portanto, a matriz da forma quadrática tem a forma

e os valores dos elementos não dependem uma e b.

Vamos mostrar que a matriz é definida positiva. Isso requer que os menores dos ângulos sejam positivos.

Menor angular de primeira ordem . A desigualdade é estrita, pois os pontos não coincidem. Isso ficará implícito no que segue.

Angular menor de segunda ordem

Vamos provar isso método de indução matemática.

Conclusão: valores encontrados uma e b corresponde ao menor valor da função , portanto, são os parâmetros desejados para o método dos mínimos quadrados.

Já entendeu?
Encomende uma solução

Topo da página

Desenvolvimento de uma previsão usando o método dos mínimos quadrados. Exemplo de solução de problema

Extrapolação é um método pesquisa científica, que se baseia na distribuição de tendências, padrões e relacionamentos passados ​​e presentes para o desenvolvimento futuro do objeto de previsão. Os métodos de extrapolação incluem método de média móvel, método suavização exponencial, método dos mínimos quadrados.

Essência método dos mínimos quadrados consiste em minimizar a soma dos desvios quadrados entre os valores observados e calculados. Os valores calculados são encontrados de acordo com a equação selecionada - a equação de regressão. Quanto menor a distância entre os valores reais e os calculados, mais precisa será a previsão com base na equação de regressão.

A análise teórica da essência do fenômeno em estudo, cuja mudança é apresentada por uma série temporal, serve de base para a escolha de uma curva. Considerações sobre a natureza do crescimento dos níveis da série são algumas vezes levadas em conta. Assim, se o crescimento do produto for esperado em progressão aritmética, a suavização é executada em linha reta. Se o crescimento for exponencial, a suavização deve ser feita de acordo com a função exponencial.

A fórmula de trabalho do método dos mínimos quadrados : Y t+1 = a*X + b, onde t + 1 é o período de previsão; Уt+1 – indicador previsto; aeb são coeficientes; X- símbolo Tempo.

Os coeficientes a e b são calculados de acordo com as seguintes fórmulas:

onde, Uf - os valores reais da série de dinâmicas; n é o número de níveis na série temporal;

A suavização de séries temporais pelo método dos mínimos quadrados serve para refletir os padrões de desenvolvimento do fenômeno em estudo. Na expressão analítica de uma tendência, o tempo é considerado uma variável independente, e os níveis da série atuam em função dessa variável independente.

O desenvolvimento de um fenômeno não depende de quantos anos se passaram desde o ponto de partida, mas de quais fatores influenciaram seu desenvolvimento, em que direção e com que intensidade. Disso fica claro que o desenvolvimento de um fenômeno no tempo aparece como resultado da ação desses fatores.

Definindo corretamente o tipo de curva, o tipo de dependência analítica do tempo é uma das tarefas mais difíceis da análise pré-preditiva. .

A seleção do tipo de função que descreve a tendência, cujos parâmetros são determinados pelo método dos mínimos quadrados, é na maioria dos casos empírico, construindo um número de funções e comparando-as entre si pelo valor da raiz média -erro quadrado calculado pela fórmula:

onde Uf - os valores reais da série de dinâmicas; Ur – valores calculados (suavizados) da série temporal; n é o número de níveis na série temporal; p é o número de parâmetros definidos nas fórmulas que descrevem a tendência (tendência de desenvolvimento).

Desvantagens do método dos mínimos quadrados :

• ao tentar descrever o fenômeno econômico em estudo usando uma equação matemática, a previsão será precisa por um curto período de tempo e a equação de regressão deve ser recalculada à medida que novas informações forem disponibilizadas;
• a complexidade da seleção da equação de regressão, que pode ser resolvida usando programas de computador padrão.

Um exemplo de uso do método dos mínimos quadrados para desenvolver uma previsão

Uma tarefa . Existem dados que caracterizam o nível de desemprego na região, %

• Construir uma previsão da taxa de desemprego na região para os meses de novembro, dezembro, janeiro, utilizando os métodos: média móvel, suavização exponencial, mínimos quadrados.
• Calcule os erros nas previsões resultantes usando cada método.
• Compare os resultados obtidos, tire conclusões.

Solução de mínimos quadrados

Para a solução, faremos uma tabela na qual produziremos cálculos necessários:

ε = 28,63/10 = 2,86% precisão da previsão Alto.

Conclusão : Comparando os resultados obtidos nos cálculos método de média móvel , suavização exponencial e o método dos mínimos quadrados, podemos dizer que o erro relativo médio nos cálculos pelo método de suavização exponencial fica entre 20-50%. Isso significa que a precisão da previsão neste caso é apenas satisfatória.

No primeiro e terceiro casos, a precisão da previsão é alta, pois o erro relativo médio é inferior a 10%. Mas o método da média móvel permitiu obter resultados mais confiáveis ​​(previsão para novembro - 1,52%, previsão para dezembro - 1,53%, previsão para janeiro - 1,49%), pois o erro relativo médio ao usar esse método é o menor - 1 ,13%.

Método dos mínimos quadrados

Outros artigos relacionados:

Lista de fontes usadas

1. Recomendações científicas e metodológicas sobre as questões de diagnóstico de riscos sociais e previsão de desafios, ameaças e consequências sociais. Universidade Social Estatal Russa. Moscou. 2010;
2. Vladimirova L.P. Previsão e planejamento em condições de mercado: Proc. mesada. M.: Editora "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Previsão da Economia Nacional: Auxílio didático. Ecaterimburgo: Editora Ural. Estado economia universidade, 2007;
4. Slutskin L.N. Curso de MBA em Previsão de Negócios. Moscou: Alpina Business Books, 2006.

Programa MNE

Inserir dados

Dados e Aproximação y = a + b x

eu- número do ponto experimental;
XI- o valor do parâmetro fixo no ponto eu;
eu- o valor do parâmetro medido no ponto eu;
ωi- peso de medição no ponto eu;
yi, calc.- a diferença entre o valor medido e o valor calculado a partir da regressão y no ponto eu;
S x i (x i)- estimativa de erro XI ao medir y no ponto eu.

Dados e Aproximação y = kx

eu	XI	eu	ωi	yi, calc.	Δy i	S x i (x i)

Clique no gráfico

Manual do usuário para o programa online MNC.

No campo de dados, insira em cada linha separada os valores de `x` e `y` em um ponto experimental. Os valores devem ser separados por espaço em branco (espaço ou tabulação).

O terceiro valor pode ser o peso do ponto de `w`. Se o peso do ponto não for especificado, ele será igual a um. Na esmagadora maioria dos casos, os pesos dos pontos experimentais são desconhecidos ou não calculados; todos os dados experimentais são considerados equivalentes. Às vezes, os pesos no intervalo de valores estudados definitivamente não são equivalentes e podem até ser calculados teoricamente. Por exemplo, em espectrofotometria, os pesos podem ser calculados a partir de fórmulas simples, embora basicamente todo mundo negligencie isso para reduzir os custos trabalhistas.

Os dados podem ser colados na área de transferência de uma planilha de pacote de escritório, como Excel do Microsoft Office ou Calc do Open Office. Para fazer isso, na planilha, selecione o intervalo de dados a ser copiado, copie para a área de transferência e cole os dados no campo de dados desta página.

Para calcular pelo método dos mínimos quadrados, são necessários pelo menos dois pontos para determinar dois coeficientes `b` - a tangente do ângulo de inclinação da linha reta e `a` - o valor cortado pela linha reta no `y ` eixo.

Para estimar o erro dos coeficientes de regressão calculados, é necessário definir o número de pontos experimentais para mais de dois.

Método dos mínimos quadrados (LSM).

Quanto maior o número de pontos experimentais, mais precisa é a estimativa estatística dos coeficientes (devido à diminuição do coeficiente de Student) e mais próxima a estimativa da estimativa da amostra geral.

A obtenção de valores em cada ponto experimental é frequentemente associada a custos de mão de obra significativos, portanto, muitas vezes é realizado um número de experimentos comprometido, o que fornece uma estimativa digerível e não leva a custos de mão de obra excessivos. Como regra, o número de pontos experimentais para uma dependência linear de mínimos quadrados com dois coeficientes é escolhido na região de 5-7 pontos.

Uma Breve Teoria dos Mínimos Quadrados para a Dependência Linear

Suponha que tenhamos um conjunto de dados experimentais na forma de pares de valores [`y_i`, `x_i`], onde `i` é o número de uma medida experimental de 1 a `n`; `y_i` - o valor do valor medido no ponto `i`; `x_i` - o valor do parâmetro que definimos no ponto `i`.

Um exemplo é a operação da lei de Ohm. Ao alterar a tensão (diferença de potencial) entre as seções do circuito elétrico, medimos a quantidade de corrente que passa por essa seção. A física nos dá a dependência encontrada experimentalmente:

`I=U/R`,
onde `I` - força atual; `R` - resistência; `U` - tensão.

Neste caso, `y_i` é o valor medido da corrente e `x_i` é o valor da tensão.

Como outro exemplo, considere a absorção de luz por uma solução de uma substância em solução. A química nos dá a fórmula:

`A = εl C`,
onde `A` é a densidade óptica da solução; `ε` - transmitância do soluto; `l` - comprimento do caminho quando a luz passa por uma cubeta com uma solução; `C` é a concentração do soluto.

Neste caso, `y_i` é a densidade óptica medida `A` e `x_i` é a concentração da substância que definimos.

Consideraremos o caso em que o erro relativo na configuração de `x_i` é muito menor do que o erro relativo na medição de `y_i`. Também assumiremos que todos os valores medidos de `y_i` são aleatórios e normalmente distribuídos, ou seja, obedecer a lei da distribuição normal.

No caso de uma dependência linear de `y` em `x`, podemos escrever a dependência teórica:
`y = a + bx`.

Do ponto de vista geométrico, o coeficiente `b` denota a tangente do ângulo de inclinação da linha ao eixo `x`, e o coeficiente `a` - o valor de `y` no ponto de interseção do eixo linha com o eixo `y` (para `x = 0`).

Encontrando os parâmetros da linha de regressão.

No experimento, os valores medidos de `y_i` não podem estar exatamente na linha teórica devido a erros de medição, que são sempre inerentes a Vida real. Portanto, uma equação linear deve ser representada por um sistema de equações:
`y_i = a + b x_i + ε_i` (1),
onde `ε_i` é o erro de medição desconhecido de `y` no `i`th experimento.

A dependência (1) também é chamada regressão, ou seja a dependência das duas quantidades entre si com significância estatística.

A tarefa de restaurar a dependência é encontrar os coeficientes `a` e `b` dos pontos experimentais [`y_i`, `x_i`].

Para encontrar os coeficientes `a` e `b` é geralmente usado método dos mínimos quadrados(MNK). É um caso especial do princípio da máxima verossimilhança.

Vamos reescrever (1) como `ε_i = y_i - a - b x_i`.

Então a soma dos erros ao quadrado será
`Φ = soma_(i=1)^(n) ε_i^2 = soma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

O princípio do método dos mínimos quadrados é minimizar a soma (2) em relação aos parâmetros `a` e `b`.

O mínimo é alcançado quando as derivadas parciais da soma (2) em relação aos coeficientes `a` e `b` são iguais a zero:
`frac(parcial Φ)(parcial a) = frac(parcial soma_(i=1)^(n) (y_i - a - b x_i)^2)(parcial a) = 0`
`frac(parcial Φ)(parcial b) = frac(parcial soma_(i=1)^(n) (y_i - a - b x_i)^2)(parcial b) = 0`

Expandindo as derivadas, obtemos um sistema de duas equações com duas incógnitas:
`soma_(i=1)^(n) (2a + 2bx_i - 2y_i) = soma_(i=1)^(n) (a + bx_i - y_i) = 0`
`soma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = soma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Abrimos os colchetes e transferimos as somas independentes dos coeficientes desejados para a outra metade, obtemos um sistema de equações lineares:
`soma_(i=1)^(n) y_i = a n + b soma_(i=1)^(n) bx_i`
`soma_(i=1)^(n) x_iy_i = a soma_(i=1)^(n) x_i + b soma_(i=1)^(n) x_i^2`

Resolvendo o sistema resultante, encontramos fórmulas para os coeficientes `a` e `b`:

`a = frac(soma_(i=1)^(n) y_i soma_(i=1)^(n) x_i^2 - soma_(i=1)^(n) x_i soma_(i=1)^(n ) x_iy_i) (n soma_(i=1)^(n) x_i^2 — (soma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n soma_(i=1)^(n) x_iy_i - soma_(i=1)^(n) x_i soma_(i=1)^(n) y_i) (n soma_(i=1)^ (n) x_i^2 - (soma_(i=1)^(n) x_i)^2)` (3.2)

Essas fórmulas têm soluções quando `n > 1` (a linha pode ser desenhada usando pelo menos 2 pontos) e quando o determinante `D = n soma_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, ou seja quando os pontos `x_i` no experimento são diferentes (ou seja, quando a linha não é vertical).

Estimativa de erros nos coeficientes da linha de regressão

Para uma estimativa mais precisa do erro no cálculo dos coeficientes `a` e `b`, um grande número de pontos experimentais é desejável. Quando `n = 2`, é impossível estimar o erro dos coeficientes, porque a linha de aproximação passará exclusivamente por dois pontos.

O erro da variável aleatória `V` é determinado lei de acumulação de erros
`S_V^2 = soma_(i=1)^p (frac(parcial f)(parcial z_i))^2 S_(z_i)^2`,
onde `p` é o número de parâmetros `z_i` com erro `S_(z_i)` que afetam o erro `S_V`;
`f` é uma função de dependência de `V` em `z_i`.

Vamos escrever a lei de acumulação de erros para o erro dos coeficientes `a` e `b`
`S_a^2 = soma_(i=1)^(n)(frac(parcial a)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial a )(x_i parcial))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 `,
`S_b^2 = soma_(i=1)^(n)(frac(parcial b)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial b )(x_i parcial))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 `,
Porque `S_(x_i)^2 = 0` (nós anteriormente fizemos uma reserva de que o erro de `x` é insignificante).

`S_y^2 = S_(y_i)^2` - o erro (variância, desvio padrão quadrado) na dimensão `y`, assumindo que o erro é uniforme para todos os valores `y`.

Substituindo as fórmulas para calcular `a` e `b` nas expressões resultantes, obtemos

`S_a^2 = S_y^2 frac(soma_(i=1)^(n) (soma_(i=1)^(n) x_i^2 - x_i soma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n soma_(i=1)^(n) x_i^2 - (soma_(i=1)^(n) x_i)^2) soma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(soma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(soma_(i=1)^(n) (n x_i - soma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n soma_(i=1)^(n) x_i^2 - (soma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Na maioria dos experimentos reais, o valor de `Sy` não é medido. Para isso, é necessário realizar várias medições paralelas (experimentos) em um ou vários pontos do plano, o que aumenta o tempo (e possivelmente o custo) do experimento. Portanto, geralmente assume-se que o desvio de `y` da linha de regressão pode ser considerado aleatório. A estimativa de variação `y` neste caso é calculada pela fórmula.

`S_y^2 = S_(y, resto)^2 = frac(soma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

O divisor `n-2` aparece porque reduzimos o número de graus de liberdade devido ao cálculo de dois coeficientes para a mesma amostra de dados experimentais.

Essa estimativa também é chamada de variância residual relativa à linha de regressão `S_(y, rest)^2`.

A avaliação da significância dos coeficientes é realizada de acordo com o critério do Aluno

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Se os critérios calculados `t_a`, `t_b` forem menores que os critérios da tabela `t(P, n-2)`, então considera-se que o coeficiente correspondente não é significativamente diferente de zero com uma dada probabilidade `P`.

Para avaliar a qualidade da descrição de uma relação linear, você pode comparar `S_(y, rest)^2` e `S_(bar y)` em relação à média usando o critério de Fisher.

`S_(bar y) = frac(soma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(soma_(i=1)^n (y_i - (soma_(i=) 1)^n y_i) /n)^2) (n-1)` - estimativa amostral da variância de `y` em relação à média.

Para avaliar a eficácia da equação de regressão para descrever a dependência, o coeficiente de Fisher é calculado
`F = S_(bar y) / S_(y, rest)^2`,
que é comparado com o coeficiente tabular de Fisher `F(p, n-1, n-2)`.

Se `F > F(P, n-1, n-2)`, a diferença entre a descrição da dependência `y = f(x)` usando a equação de regressão e a descrição usando a média é considerada estatisticamente significativa com probabilidade `P`. Aqueles. a regressão descreve a dependência melhor do que a dispersão de `y` em torno da média.

Clique no gráfico
para adicionar valores à tabela

Método dos mínimos quadrados. O método dos mínimos quadrados significa a determinação de parâmetros desconhecidos a, b, c, a dependência funcional aceita

O método dos mínimos quadrados significa a determinação de parâmetros desconhecidos a, b, c,… dependência funcional aceita

y = f(x,a,b,c,…),

que forneceria um mínimo do quadrado médio (variância) do erro

, (24)

onde x i , y i - conjunto de pares de números obtidos do experimento.

Como a condição para o extremo de uma função de várias variáveis ​​é a condição de que suas derivadas parciais sejam iguais a zero, então os parâmetros a, b, c,… são determinados a partir do sistema de equações:

; ; ; … (25)

Deve ser lembrado que o método dos mínimos quadrados é usado para selecionar parâmetros após a forma da função y = f(x) definiram.

Se a partir de considerações teóricas é impossível tirar qualquer conclusão sobre qual deve ser a fórmula empírica, então deve-se guiar por representações visuais, principalmente uma representação gráfica dos dados observados.

Na prática, na maioria das vezes limitado aos seguintes tipos de funções:

1) linear ;

2) quadrático a.

O método dos mínimos quadrados (OLS, eng. Mínimos Quadrados Ordinários, OLS) -- um método matemático usado para resolver vários problemas, baseado na minimização da soma dos desvios quadrados de algumas funções das variáveis ​​desejadas. Ele pode ser usado para "resolver" sistemas de equações sobredeterminados (quando o número de equações excede o número de incógnitas), para encontrar uma solução no caso de sistemas de equações não lineares comuns (não sobredeterminados), para aproximar valores de pontos por alguma função. OLS é um dos métodos básicos de análise de regressão para estimar parâmetros desconhecidos de modelos de regressão a partir de dados de amostra.

A essência do método dos mínimos quadrados

Seja um conjunto de variáveis ​​desconhecidas (parâmetros), seja um conjunto de funções desse conjunto de variáveis. A tarefa é selecionar tais valores de x para que os valores dessas funções fiquem o mais próximo possível de alguns valores. Em essência, estamos falando da "solução" de um sistema de equações sobredeterminado no sentido indicado da máxima proximidade das partes esquerda e direita do sistema. A essência do LSM é escolher como "medida de proximidade" a soma dos desvios quadrados das partes esquerda e direita - . Assim, a essência do LSM pode ser expressa da seguinte forma:

Se o sistema de equações tiver uma solução, então o mínimo da soma dos quadrados será igual a zero e as soluções exatas do sistema de equações podem ser encontradas analiticamente ou, por exemplo, por vários métodos de otimização numérica. Se o sistema é sobredeterminado, ou seja, falando livremente, o número de equações independentes é maior que o número de variáveis ​​desconhecidas, então o sistema não tem uma solução exata e o método dos mínimos quadrados permite encontrar algum vetor “ótimo” no sentido da máxima proximidade dos vetores e ou da máxima proximidade do vetor de desvio a zero (proximidade entendida no sentido de distância euclidiana).

Exemplo - sistema de equações lineares

Em particular, o método dos mínimos quadrados pode ser usado para "resolver" o sistema de equações lineares

onde a matriz não é quadrada, mas retangular em tamanho (mais precisamente, o posto da matriz A é maior que o número de variáveis ​​necessárias).

Tal sistema de equações, no caso geral, não tem solução. Portanto, este sistema pode ser "resolvido" apenas no sentido de escolher tal vetor de forma a minimizar a "distância" entre os vetores e. Para fazer isso, você pode aplicar o critério para minimizar a soma das diferenças quadradas das partes esquerda e direita das equações do sistema, ou seja. É fácil mostrar que a solução deste problema de minimização leva à solução do seguinte sistema de equações

Usando o operador de pseudo-inversão, a solução pode ser reescrita assim:

onde é a matriz pseudoinversa de.

Este problema também pode ser “resolvido” usando o chamado LSM ponderado (veja abaixo), quando diferentes equações do sistema recebem pesos diferentes de considerações teóricas.

A fundamentação estrita e a determinação dos limites da aplicabilidade significativa do método foram dadas por A. A. Markov e A. N. Kolmogorov.

OLS em análise de regressão (aproximação de dados)[editar | editar texto wiki] Que haja valores de alguma variável (pode ser os resultados de observações, experimentos, etc.) e variáveis ​​correspondentes. A tarefa é aproximar a relação entre e por alguma função conhecida até alguns parâmetros desconhecidos, ou seja, encontrar de fato melhores valores parâmetros, o mais próximo possível dos valores reais. Na verdade, isso se resume ao caso de "resolver" um sistema de equações sobredeterminado em relação a:

Na análise de regressão, e em particular na econometria, são utilizados modelos probabilísticos da relação entre as variáveis.

onde estão os chamados erros aleatórios do modelo.

Assim, os desvios dos valores observados dos valores do modelo já são assumidos no próprio modelo. A essência do LSM (ordinário, clássico) é encontrar tais parâmetros sob os quais a soma dos desvios quadrados (erros, para modelos de regressão eles são frequentemente chamados de resíduos de regressão) será mínima:

onde está o inglês. A soma residual dos quadrados é definida como:

No caso geral, este problema pode ser resolvido por métodos numéricos de otimização (minimização). Neste caso, fala-se de mínimos quadrados não lineares (NLS ou NLLS - Non-Linear Least Squares). Em muitos casos, uma solução analítica pode ser obtida. Para resolver o problema de minimização, é necessário encontrar os pontos estacionários da função diferenciando-a em relação a parâmetros desconhecidos, igualando as derivadas a zero e resolvendo o sistema de equações resultante:

OLS no caso de regressão linear[editar | editar texto wiki]

Seja a dependência da regressão linear:

Seja y um vetor coluna de observações da variável que está sendo explicada, e seja uma matriz de observações de fatores (linhas da matriz são vetores de valores de fatores em uma dada observação, colunas são vetores de valores de uma dada fator em todas as observações). A representação matricial do modelo linear tem a forma:

Então o vetor de estimativas da variável explicada e o vetor de resíduos de regressão serão iguais a

consequentemente, a soma dos quadrados dos resíduos da regressão será igual a

Diferenciando esta função em relação ao vetor de parâmetros e igualando as derivadas a zero, obtemos um sistema de equações (em forma de matriz):

Na forma de matriz decifrada, esse sistema de equações se parece com isso:

onde todas as somas são tomadas sobre todos os valores admissíveis.

Se uma constante for incluída no modelo (como de costume), então para todos, portanto, no canto superior esquerdo da matriz do sistema de equações está o número de observações e nos elementos restantes da primeira linha e primeira coluna - apenas a soma dos valores das variáveis: e o primeiro elemento do lado direito do sistema -- .

A solução deste sistema de equações dá a fórmula geral para as estimativas de mínimos quadrados para o modelo linear:

Para fins analíticos, a última representação desta fórmula acaba por ser útil (no sistema de equações quando dividido por n, aparecem médias aritméticas em vez de somas). Se os dados estão centrados no modelo de regressão, então nesta representação a primeira matriz tem o significado da matriz de covariância amostral de fatores, e a segunda é o vetor de covariância fatorial com a variável dependente. Se, além disso, os dados também forem normalizados para o RMS (ou seja, eventualmente padronizados), então a primeira matriz tem o significado da matriz de correlação de fatores de amostra, o segundo vetor - o vetor de correlações de fatores de amostra com os fatores dependentes variável.

Uma propriedade importante das estimativas LLS para modelos com uma constante é que a linha da regressão construída passa pelo centro de gravidade dos dados amostrais, ou seja, a igualdade é satisfeita:

Em particular, no caso extremo, quando o único regressor é uma constante, verificamos que a estimativa OLS de um único parâmetro (a própria constante) é igual ao valor médio da variável explicada. Ou seja, a média aritmética, conhecida por sua boas propriedades das leis grandes números, também é um estimador de mínimos quadrados -- satisfaz o critério da soma mínima dos desvios quadrados dele.

Os casos especiais mais simples[editar | editar texto wiki]

No caso da regressão linear pareada, quando a dependência linear de uma variável em relação a outra é estimada, as fórmulas de cálculo são simplificadas (você pode prescindir da álgebra matricial). O sistema de equações tem a forma:

A partir daqui é fácil encontrar estimativas para os coeficientes:

Embora os modelos constantes sejam geralmente preferíveis, em alguns casos é conhecido a partir de considerações teóricas que a constante deve ser zero. Por exemplo, na física, a relação entre tensão e corrente tem a forma; medir tensão e corrente, é necessário estimar a resistência. Neste caso, estamos falando do modelo. Neste caso, em vez de um sistema de equações, temos uma única equação

Portanto, a fórmula para estimar um único coeficiente tem a forma

Propriedades estatísticas das estimativas OLS[editar | editar texto wiki]

Em primeiro lugar, notamos que para modelos lineares Os estimadores OLS são estimadores lineares, conforme segue a fórmula acima. Para estimativas OLS não tendenciosas, é necessário e suficiente cumprir a condição mais importante da análise de regressão: a expectativa matemática de um erro aleatório condicional aos fatores deve ser igual a zero. Esta condição, em particular, é satisfeita se a expectativa matemática de erros aleatórios for igual a zero, e os fatores e erros aleatórios forem variáveis ​​aleatórias independentes.

A primeira condição pode ser considerada sempre satisfeita para modelos com uma constante, uma vez que a constante assume uma expectativa matemática de erros diferente de zero (portanto, modelos com uma constante são geralmente preferíveis). covariância de regressão dos mínimos quadrados

A segunda condição - a condição dos fatores exógenos - é fundamental. Se essa propriedade não for satisfeita, podemos supor que quase todas as estimativas serão extremamente insatisfatórias: elas nem serão consistentes (ou seja, mesmo uma quantidade muito grande de dados não permite obter estimativas qualitativas nesse caso). No caso clássico, é feita uma suposição mais forte sobre o determinismo dos fatores, em contraste com um erro aleatório, que automaticamente significa que a condição exógena é satisfeita. No caso geral, para a consistência das estimativas, basta preencher a condição de exogeneidade juntamente com a convergência da matriz para alguma matriz não singular com aumento do tamanho da amostra ao infinito.

Para que, além de consistência e imparcialidade, as estimativas (comuns) de mínimos quadrados também sejam eficientes (as melhores na classe de estimativas lineares não tendenciosas), propriedades adicionais de um erro aleatório devem ser satisfeitas:

Variação constante (mesma) de erros aleatórios em todas as observações (sem heterocedasticidade):

Falta de correlação (autocorrelação) de erros aleatórios em diferentes observações entre si

Essas suposições podem ser formuladas para a matriz de covariância do vetor de erro aleatório

Um modelo linear que satisfaça essas condições é chamado de clássico. As estimativas OLS para regressão linear clássica são estimativas imparciais, consistentes e mais eficientes na classe de todas as estimativas lineares imparciais literatura doméstica o teorema de Gauss-Markov é frequentemente citado). Como é fácil mostrar, a matriz de covariância do vetor de estimativas de coeficientes será igual a:

Eficiência significa que essa matriz de covariância é "mínima" (qualquer combinação linear de coeficientes, e em particular os próprios coeficientes, tem uma variância mínima), ou seja, na classe de estimativas lineares não enviesadas, as estimativas OLS são as melhores. Elementos diagonais desta matriz -- variâncias de estimativas de coeficiente -- parâmetros importantes qualidade das estimativas recebidas. No entanto, não é possível calcular a matriz de covariância porque a variância do erro aleatório é desconhecida. Pode-se provar que a estimativa imparcial e consistente (para o modelo linear clássico) da variância dos erros aleatórios é o valor:

Substituindo esse valor na fórmula da matriz de covariância, obtemos uma estimativa da matriz de covariância. As estimativas resultantes também são imparciais e consistentes. Também é importante que a estimativa da variância do erro (e, portanto, das variâncias dos coeficientes) e as estimativas dos parâmetros do modelo sejam variáveis ​​aleatórias independentes, o que possibilita obter estatísticas de teste para testar hipóteses sobre os coeficientes do modelo.

Deve-se notar que, se as premissas clássicas não forem atendidas, as estimativas dos parâmetros dos mínimos quadrados não são as estimativas mais eficientes (permanecendo imparciais e consistentes). No entanto, a estimativa da matriz de covariância piora ainda mais - torna-se tendenciosa e inconsistente. Isso significa que as conclusões estatísticas sobre a qualidade do modelo construído neste caso podem ser extremamente pouco confiáveis. Uma maneira de resolver o último problema é usar estimativas especiais da matriz de covariância, que são consistentes sob violações das suposições clássicas (erros padrão na forma de White e erros padrão na forma de Newey-West). Outra abordagem é usar os chamados mínimos quadrados generalizados.

Mínimos quadrados generalizados[editar | editar texto wiki]

Ver artigo principal: mínimos quadrados generalizados

O método dos mínimos quadrados permite uma ampla generalização. Em vez de minimizar a soma dos quadrados dos resíduos, pode-se minimizar alguma forma quadrática positiva-definida do vetor de resíduos, onde é uma matriz de pesos positiva-definida simétrica. Mínimos quadrados ordinários é um caso especial dessa abordagem, quando a matriz de pesos é proporcional à matriz identidade. Como se sabe da teoria das matrizes simétricas (ou operadores), existe uma decomposição para tais matrizes. Portanto, este funcional pode ser representado da seguinte forma

ou seja, este funcional pode ser representado como a soma dos quadrados de alguns "resíduos" transformados. Assim, podemos distinguir uma classe de métodos de mínimos quadrados - métodos LS (Least Squares).

Está provado (teorema de Aitken) que para um modelo de regressão linear generalizado (no qual não são impostas restrições à matriz de covariância de erros aleatórios), os mais eficazes (na classe de estimativas lineares não enviesadas) são as estimativas das chamadas. mínimos quadrados generalizados (GLS, GLS - Generalized Least Squares) - método LS com uma matriz de pesos igual à matriz de covariância inversa de erros aleatórios: .

Pode ser mostrado que a fórmula para as estimativas GLS dos parâmetros do modelo linear tem a forma

A matriz de covariância dessas estimativas, respectivamente, será igual a

De fato, a essência do OLS está em uma certa transformação (linear) (P) dos dados originais e na aplicação dos mínimos quadrados usuais aos dados transformados. O objetivo dessa transformação é que, para os dados transformados, os erros aleatórios já satisfaçam as suposições clássicas.

OLS ponderado[editar | editar texto wiki]

No caso de uma matriz de peso diagonal (e, portanto, a matriz de covariância de erros aleatórios), temos os chamados mínimos quadrados ponderados (WLS - Weighted Least Squares). Nesse caso, a soma dos quadrados ponderada dos resíduos do modelo é minimizada, ou seja, cada observação recebe um “peso” que é inversamente proporcional à variância do erro aleatório nesta observação:

De fato, os dados são transformados ponderando as observações (dividindo por um valor proporcional ao desvio padrão assumido dos erros aleatórios), e os mínimos quadrados normais são aplicados aos dados ponderados.

Tem muitas aplicações, pois permite uma representação aproximada de uma determinada função por outras mais simples. O LSM pode ser extremamente útil no processamento de observações e é usado ativamente para estimar algumas quantidades a partir dos resultados de medições de outras contendo erros aleatórios. Neste artigo, você aprenderá como implementar cálculos de mínimos quadrados no Excel.

Declaração do problema em um exemplo específico

Suponha que existam dois indicadores X e Y. Além disso, Y depende de X. Como o OLS nos interessa do ponto de vista da análise de regressão (no Excel, seus métodos são implementados usando funções internas), devemos proceder imediatamente considerar um problema específico.

Então, seja X a área de vendas de uma mercearia, medida em metros quadrados, e Y é o faturamento anual, definido em milhões de rublos.

É necessário fazer uma previsão do volume de negócios (Y) que a loja terá se tiver um ou outro espaço de retalho. Obviamente, a função Y = f(X) é crescente, pois o hipermercado vende mais mercadorias do que a barraca.

Algumas palavras sobre a exatidão dos dados iniciais usados ​​para previsão

Digamos que temos uma tabela construída com dados para n armazenamentos.

De acordo com estatísticas matemáticas, os resultados serão mais ou menos corretos se os dados de pelo menos 5-6 objetos forem examinados. Além disso, resultados "anômalos" não podem ser usados. Em particular, uma pequena boutique de elite pode ter um faturamento muitas vezes maior do que o faturamento de grandes pontos de venda Classe "Masmarket".

A essência do método

Os dados da tabela podem ser exibidos no plano cartesiano como pontos M 1 (x 1, y 1), ... M n (x n, y n). Agora a solução do problema será reduzida à seleção de uma função aproximadora y = f (x), que tem um gráfico passando o mais próximo possível dos pontos M 1, M 2, .. M n .

Claro, você pode usar um polinômio de alto grau, mas essa opção não é apenas difícil de implementar, mas simplesmente incorreta, pois não refletirá a tendência principal que precisa ser detectada. A solução mais razoável é procurar uma linha reta y = ax + b, que melhor se aproxime dos dados experimentais e, mais precisamente, os coeficientes - a e b.

Pontuação de precisão

Para qualquer aproximação, a avaliação de sua precisão é de particular importância. Denote por e i a diferença (desvio) entre os valores funcionais e experimentais para o ponto x i , ou seja, e i = y i - f (x i).

Obviamente, para avaliar a precisão da aproximação, você pode usar a soma dos desvios, ou seja, ao escolher uma linha reta para uma representação aproximada da dependência de X em Y, deve-se dar preferência àquela que tiver o menor valor de a soma e i em todos os pontos considerados. No entanto, nem tudo é tão simples, pois junto com desvios positivos, praticamente haverá negativos.

Você pode resolver o problema usando os módulos de desvio ou seus quadrados. Este último método é o mais utilizado. É usado em muitas áreas, incluindo análise de regressão(no Excel, sua implementação é realizada usando duas funções internas) e há muito provou sua eficácia.

Método dos mínimos quadrados

No Excel, como você sabe, existe uma função de soma automática integrada que permite calcular os valores de todos os valores localizados no intervalo selecionado. Assim, nada nos impedirá de calcular o valor da expressão (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

Em notação matemática, isso se parece com:

Como a decisão inicial foi feita de aproximar usando uma linha reta, temos:

Assim, a tarefa de encontrar uma linha reta que melhor descreva uma relação específica entre X e Y equivale a calcular o mínimo de uma função de duas variáveis:

Isso requer igualar a zero derivadas parciais em relação às novas variáveis ​​a e b, e resolver um sistema primitivo consistindo de duas equações com 2 incógnitas da forma:

Após transformações simples, incluindo dividir por 2 e manipular as somas, obtemos:

Resolvendo, por exemplo, pelo método de Cramer, obtemos um ponto estacionário com certos coeficientes a * e b * . Este é o mínimo, ou seja, para prever qual o volume de negócios que a loja terá para uma determinada área, é adequada a linha recta y = a * x + b *, que é um modelo de regressão para o exemplo em questão. Obviamente, isso não permitirá que você encontre o resultado exato, mas ajudará você a ter uma ideia de se a compra de uma loja a crédito para uma área específica valerá a pena.

Como implementar o método dos mínimos quadrados no Excel

O Excel tem uma função para calcular o valor dos mínimos quadrados. Tem a seguinte forma: TREND (valores Y conhecidos; valores X conhecidos; novos valores X; constante). Vamos aplicar a fórmula para calcular o OLS no Excel à nossa tabela.

Para isso, na célula em que deve ser exibido o resultado do cálculo pelo método dos mínimos quadrados no Excel, insira o sinal “=” e selecione a função “TREND”. Na janela que se abre, preencha os campos apropriados, destacando:

• intervalo de valores conhecidos para Y (neste caso, dados para rotatividade);
• intervalo x 1 , …x n , ou seja, o tamanho do espaço de varejo;
• e valores conhecidos e desconhecidos de x, para os quais você precisa descobrir o tamanho do faturamento (para informações sobre sua localização na planilha, veja abaixo).

Além disso, há uma variável lógica "Const" na fórmula. Se você inserir 1 no campo correspondente, isso significará que os cálculos devem ser realizados, supondo que b \u003d 0.

Se você precisar saber a previsão para mais de um valor x, depois de inserir a fórmula, não pressione "Enter", mas digite a combinação "Shift" + "Control" + "Enter" ("Enter" ) no teclado.

Algumas funcionalidades

A análise de regressão pode ser acessível até mesmo para dummies. A fórmula do Excel para prever o valor de um array de variáveis ​​desconhecidas - "TREND" - pode ser usada mesmo por quem nunca ouviu falar do método dos mínimos quadrados. Basta conhecer algumas características de seu trabalho. Em particular:

• Se organizarmos o intervalo de valores conhecidos da variável y em uma linha ou coluna, cada linha (coluna) com valores conhecidos x será tratado pelo programa como uma variável separada.
• Se o intervalo com x conhecido não for especificado na janela "TREND", no caso de usar a função em programa Excel irá considerá-lo como uma matriz composta por inteiros, cujo número corresponde ao intervalo com os valores fornecidos da variável y.
• Para gerar uma matriz de valores "previstos", a expressão de tendência deve ser inserida como uma fórmula de matriz.
• Se nenhum novo valor x for especificado, a função TREND os considerará iguais aos conhecidos. Se eles não forem especificados, então o array 1 é tomado como argumento; 2; 3; 4;…, que é compatível com o intervalo com os parâmetros y já fornecidos.
• O intervalo que contém os novos valores x deve consistir no mesmo ou mais linhas ou colunas, como um intervalo com valores de y fornecidos. Em outras palavras, deve ser proporcional às variáveis ​​independentes.
• Um array com valores x conhecidos pode conter múltiplas variáveis. No entanto, se estamos falando de apenas um, é necessário que os intervalos com os valores dados de x e y sejam proporcionais. No caso de várias variáveis, é necessário que o intervalo com os valores de y dados caiba em uma coluna ou linha.

Função PREVISÃO

Ele é implementado usando várias funções. Um deles é chamado de "PREDIÇÃO". É semelhante ao TREND, ou seja, fornece o resultado de cálculos usando o método dos mínimos quadrados. No entanto, apenas para um X, para o qual o valor de Y é desconhecido.

Agora você conhece as fórmulas do Excel para dummies que permitem prever o valor do valor futuro de um indicador de acordo com uma tendência linear.