Método de mínimos cuadrados. Aproximación de datos experimentales.

método de mínimos cuadrados

Método de mínimos cuadrados ( MCO, MCO, mínimos cuadrados ordinarios) - uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión utilizando datos de muestra. El método se basa en minimizar la suma de cuadrados de los residuos de regresión.

Cabe señalar que el método de mínimos cuadrados en sí puede considerarse un método para resolver un problema en cualquier área si la solución se encuentra o satisface algún criterio para minimizar la suma de cuadrados de algunas funciones de las variables requeridas. Por lo tanto, el método de mínimos cuadrados también se puede utilizar para una representación aproximada (aproximación) de una función dada mediante otras funciones (más simples), al encontrar un conjunto de cantidades que satisfacen ecuaciones o restricciones, cuyo número excede el número de estas cantidades. , etc.

La esencia de las multinacionales

Sea algún modelo (paramétrico) de una relación probabilística (de regresión) entre la variable (explicada) y y muchos factores (variables explicativas) X

¿Dónde está el vector de parámetros desconocidos del modelo?

Que también haya observaciones muestrales de los valores de estas variables. Sea el número de observación (). Luego están los valores de las variables en la enésima observación. Luego, para valores dados de los parámetros b, es posible calcular los valores teóricos (modelo) de la variable explicada y:

El tamaño de los residuos depende de los valores de los parámetros b.

La esencia del método de mínimos cuadrados (ordinario, clásico) es encontrar parámetros b para los cuales la suma de los cuadrados de los residuos (ing. Suma residual de cuadrados) será mínimo:

En el caso general, este problema se puede resolver mediante métodos de optimización numérica (minimización). En este caso hablan de mínimos cuadrados no lineales(NLS o NLLS - Inglés) Mínimos cuadrados no lineales). En muchos casos es posible obtener una solución analítica. Para resolver el problema de minimización es necesario encontrar puntos estacionarios de la función diferenciándola con respecto a los parámetros desconocidos b, igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante:

Si los errores aleatorios del modelo se distribuyen normalmente, tienen la misma varianza y no están correlacionados, las estimaciones de los parámetros MCO son las mismas que las estimaciones de máxima verosimilitud (MLM).

OLS en el caso de un modelo lineal

Sea la dependencia de la regresión lineal:

Dejar y es un vector columna de observaciones de la variable explicada, y es una matriz de observaciones factoriales (las filas de la matriz son los vectores de valores de los factores en una observación dada, las columnas son el vector de valores de un factor dado en todas las observaciones). La representación matricial del modelo lineal es:

Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales

En consecuencia, la suma de los cuadrados de los residuos de regresión será igual a

Derivando esta función con respecto al vector de parámetros e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial):

La solución de este sistema de ecuaciones da la fórmula general para estimaciones de mínimos cuadrados para un modelo lineal:

Para fines analíticos, la última representación de esta fórmula es útil. Si en un modelo de regresión los datos centrado, entonces en esta representación la primera matriz tiene el significado de una matriz de covarianza de factores de muestra, y la segunda es un vector de covarianzas de factores con la variable dependiente. Si además los datos también son normalizado a MSE (es decir, en última instancia estandarizado), entonces la primera matriz tiene el significado de una matriz de correlación muestral de factores, el segundo vector, un vector de correlaciones muestrales de factores con la variable dependiente.

Una propiedad importante de las estimaciones MCO para modelos. con constante- la línea de regresión construida pasa por el centro de gravedad de los datos muestrales, es decir, se cumple la igualdad:

En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO del único parámetro (la constante misma) es igual al valor promedio de la variable explicada. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de desviaciones al cuadrado de la misma.

Ejemplo: regresión más simple (por pares)

En el caso de la regresión lineal pareada, las fórmulas de cálculo se simplifican (puede prescindir del álgebra matricial):

Propiedades de los estimadores MCO

En primer lugar, observamos que para los modelos lineales, las estimaciones de MCO son estimaciones lineales, como se desprende de la fórmula anterior. Para estimaciones insesgadas de MCO, es necesario y suficiente cumplir la condición más importante del análisis de regresión: la expectativa matemática de un error aleatorio, condicionada a los factores, debe ser igual a cero. Esta condición, en particular, se cumple si

1. la expectativa matemática de errores aleatorios es cero, y
2. Los factores y los errores aleatorios son variables aleatorias independientes.

La segunda condición, la condición de exogeneidad de los factores, es fundamental. Si no se cumple esta propiedad, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no nos permite obtener estimaciones de alta calidad en este caso). ). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraposición a un error aleatorio, lo que automáticamente significa que se cumple la condición de exogeneidad. En el caso general, para la consistencia de las estimaciones, es suficiente satisfacer la condición de exogeneidad junto con la convergencia de la matriz a alguna matriz no singular a medida que el tamaño de la muestra aumenta hasta el infinito.

Para que, además de la coherencia y la imparcialidad, las estimaciones de mínimos cuadrados (ordinarios) también sean efectivas (las mejores en la clase de estimaciones lineales insesgadas), se deben cumplir propiedades adicionales del error aleatorio:

Estos supuestos se pueden formular para la matriz de covarianza del vector de error aleatorio.

Un modelo lineal que satisface estas condiciones se llama clásico. Las estimaciones de MCO para la regresión lineal clásica son insesgadas, consistentes y las estimaciones más efectivas en la clase de todas las estimaciones lineales insesgadas (en la literatura inglesa a veces se usa la abreviatura AZUL (Mejor estimador lineal no fundamentado) - la mejor estimación lineal insesgada; en la literatura rusa se cita con mayor frecuencia el teorema de Gauss-Markov). Como es fácil de demostrar, la matriz de covarianza del vector de estimaciones de coeficientes será igual a:

MCO generalizado

El método de mínimos cuadrados permite una amplia generalización. En lugar de minimizar la suma de los cuadrados de los residuos, se puede minimizar alguna forma cuadrática definida positiva del vector de residuos, donde hay alguna matriz de peso definida positiva simétrica. Los mínimos cuadrados convencionales son un caso especial de este enfoque, donde la matriz de peso es proporcional a la matriz identidad. Como se sabe por la teoría de matrices (u operadores) simétricas, para tales matrices existe una descomposición. En consecuencia, el funcional especificado se puede representar de la siguiente manera, es decir, este funcional se puede representar como la suma de los cuadrados de algunos "restos" transformados. Por tanto, podemos distinguir una clase de métodos de mínimos cuadrados: los métodos LS (Mínimos Cuadrados).

Se ha demostrado (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), las más efectivas (en la clase de estimaciones lineales insesgadas) son las llamadas estimaciones. Mínimos cuadrados generalizados (GLS - Mínimos cuadrados generalizados)- Método LS con una matriz de ponderaciones igual a la matriz de covarianza inversa de errores aleatorios: .

Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros de un modelo lineal tiene la forma

En consecuencia, la matriz de covarianza de estas estimaciones será igual a

De hecho, la esencia de OLS radica en una determinada transformación (lineal) (P) de los datos originales y la aplicación de OLS ordinario a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos.

MCO ponderado

En el caso de una matriz de ponderación diagonal (y por tanto de una matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados (WLS). En este caso, la suma ponderada de cuadrados de los residuos del modelo se minimiza, es decir, cada observación recibe un “peso” que es inversamente proporcional a la varianza del error aleatorio en esta observación: . De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar estimada de los errores aleatorios) y se aplica MCO ordinario a los datos ponderados.

Algunos casos especiales de uso de MNC en la práctica.

Aproximación de la dependencia lineal.

Consideremos el caso cuando, como resultado de estudiar la dependencia de una determinada cantidad escalar de una determinada cantidad escalar (esto podría ser, por ejemplo, la dependencia del voltaje de la intensidad de la corriente: , donde es un valor constante, la resistencia de el conductor), se realizaron mediciones de estas cantidades, como resultado de lo cual se obtuvieron los valores y sus valores correspondientes. Los datos de medición deben registrarse en una tabla.

Mesa. Resultados de la medición.

La pregunta es: ¿qué valor del coeficiente se puede seleccionar para describir mejor la dependencia? Según el método de mínimos cuadrados, este valor debe ser tal que la suma de las desviaciones al cuadrado de los valores de los valores

fue minimo

La suma de las desviaciones al cuadrado tiene un extremo: el mínimo, lo que nos permite utilizar esta fórmula. Encontremos a partir de esta fórmula el valor del coeficiente. Para ello transformamos su lado izquierdo de la siguiente manera:

La última fórmula nos permite encontrar el valor del coeficiente, que es el que se requería en el problema.

Historia

Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento se utilizaban técnicas privadas que dependían del tipo de ecuaciones y del ingenio de los calculadores, por lo que diferentes calculadores, basándose en los mismos datos de observación, llegaban a conclusiones diferentes. Gauss (1795) fue el primero en utilizar el método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (francés. Méthode des moindres quarrés ). Laplace relacionó el método con la teoría de la probabilidad, y el matemático estadounidense Adrian (1808) consideró sus aplicaciones a la teoría de la probabilidad. El método se generalizó y mejoró gracias a nuevas investigaciones de Encke, Bessel, Hansen y otros.

Usos alternativos de OLS

La idea del método de mínimos cuadrados también se puede utilizar en otros casos que no están directamente relacionados con el análisis de regresión. El caso es que la suma de cuadrados es una de las medidas de proximidad más comunes para vectores (métrica euclidiana en espacios de dimensión finita).

Una aplicación es la “solución” de sistemas de ecuaciones lineales en los que el número de ecuaciones es mayor que el número de variables.

donde la matriz no es cuadrada, sino rectangular de tamaño.

Un sistema de ecuaciones de este tipo, en el caso general, no tiene solución (si el rango es realmente mayor que el número de variables). Por lo tanto, este sistema puede "resolverse" sólo en el sentido de elegir dicho vector para minimizar la "distancia" entre los vectores y. Para hacer esto, puede aplicar el criterio de minimizar la suma de cuadrados de las diferencias entre los lados izquierdo y derecho de las ecuaciones del sistema, es decir. Es fácil demostrar que resolver este problema de minimización conduce a resolver el siguiente sistema de ecuaciones

Si una determinada cantidad física depende de otra cantidad, entonces esta dependencia se puede estudiar midiendo y en diferentes valores de x. Como resultado de las mediciones, se obtienen una serie de valores:

x 1, x 2, ..., xi, ..., x n;

y 1 , y 2 , ..., y yo , ... , y norte .

Con base en los datos de tal experimento, es posible construir una gráfica de la dependencia y = ƒ(x). La curva resultante permite juzgar la forma de la función ƒ(x). Sin embargo, se desconocen los coeficientes constantes que entran en esta función. Se pueden determinar mediante el método de mínimos cuadrados. Los puntos experimentales, por regla general, no se encuentran exactamente sobre la curva. El método de mínimos cuadrados requiere que la suma de los cuadrados de las desviaciones de los puntos experimentales de la curva, es decir 2 era el más pequeño.

En la práctica, este método se utiliza con mayor frecuencia (y de forma más sencilla) en el caso de una relación lineal, es decir, Cuando

y = kx o y = a + bx.

La dependencia lineal está muy extendida en física. E incluso cuando la relación no es lineal, normalmente intentan construir una gráfica para obtener una línea recta. Por ejemplo, si se supone que el índice de refracción del vidrio n está relacionado con la longitud de onda de la luz λ mediante la relación n = a + b/λ 2, entonces en el gráfico se representa la dependencia de n de λ -2.

Considere la dependencia y = kx(una línea recta que pasa por el origen). Compongamos el valor φ la suma de los cuadrados de las desviaciones de nuestros puntos de la línea recta.

El valor de φ siempre es positivo y resulta ser menor cuanto más cerca estén nuestros puntos de la recta. El método de mínimos cuadrados establece que el valor de k debe elegirse de modo que φ tenga un mínimo

o
(19)

El cálculo muestra que el error cuadrático medio al determinar el valor de k es igual a

, (20)
donde n es el número de mediciones.

Consideremos ahora un caso un poco más difícil, cuando los puntos deben satisfacer la fórmula y = a + bx(una línea recta que no pasa por el origen).

La tarea es encontrar los mejores valores de a y b del conjunto de valores disponibles x i, y i.

Compongamos nuevamente la forma cuadrática φ, igual a la suma de las desviaciones al cuadrado de los puntos x i, y i de la línea recta

y encuentre los valores de a y b para los cuales φ tiene un mínimo

;

.

La solución conjunta de estas ecuaciones da

(21)

Los errores cuadráticos medios de determinación de a y b son iguales

(23)

.  (24)

Al procesar los resultados de las mediciones utilizando este método, es conveniente resumir todos los datos en una tabla en la que se calculan preliminarmente todas las cantidades incluidas en las fórmulas (19)(24). Las formas de estas tablas se dan en los ejemplos siguientes.

Ejemplo 1. Se estudió la ecuación básica de la dinámica del movimiento de rotación ε = M/J (una línea recta que pasa por el origen). Para diferentes valores del momento M, se midió la aceleración angular ε de un determinado cuerpo. Se requiere determinar el momento de inercia de este cuerpo. Los resultados de las mediciones del momento de fuerza y ​​la aceleración angular se enumeran en la segunda y tercera columnas. tabla 5.

Tabla 5

Usando la fórmula (19) determinamos:

.

Para determinar la raíz del error cuadrático medio, usamos la fórmula (20)

0.005775kg-1 · metro -2 .

Según la fórmula (18) tenemos

S J = (2,996 0,005775)/0,3337 = 0,05185 kilos m2.

Habiendo fijado la confiabilidad P = 0,95, usando la tabla de coeficientes de Student para n = 5, encontramos t = 2,78 y determinamos el error absoluto ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kilos m2.

Escribamos los resultados en la forma:

J = (3,0 ± 0,2) kilos m2;

Ejemplo 2. Calculemos el coeficiente de temperatura de la resistencia del metal utilizando el método de mínimos cuadrados. La resistencia depende linealmente de la temperatura.

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

El término libre determina la resistencia R 0 a una temperatura de 0 ° C, y el coeficiente de pendiente es el producto del coeficiente de temperatura α y la resistencia R 0 .

Los resultados de las mediciones y cálculos se dan en la tabla ( ver tabla 6).

Tabla 6

Usando las fórmulas (21), (22) determinamos

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Encontremos un error en la definición de α. Dado que , entonces según la fórmula (18) tenemos:

.

Usando las fórmulas (23), (24) tenemos

;

0.014126 Ohm.

Habiendo fijado la confiabilidad en P = 0,95, usando la tabla de coeficientes de Student para n = 6, encontramos t = 2,57 y determinamos el error absoluto Δα = 2,57 0,000132 = 0,000338 grados -1.

α = (23 ± 4) 10-4 granizo-1 en P = 0,95.

Ejemplo 3. Se requiere determinar el radio de curvatura de la lente utilizando los anillos de Newton. Se midieron los radios de los anillos de Newton r m y se determinaron los números de estos anillos m. Los radios de los anillos de Newton están relacionados con el radio de curvatura de la lente R y el número de anillo mediante la ecuación

r 2 metro = metroλR - 2d 0 R,

donde d 0 el espesor del espacio entre la lente y la placa plana paralela (o la deformación de la lente),

λ longitud de onda de la luz incidente.

λ = (600 ± 6) nm;
r2m = y;
metro = x;
λR = b;
-2d 0 R = a,

entonces la ecuación tomará la forma y = a + bx.

Los resultados de las mediciones y cálculos se ingresan en tabla 7.

Tabla 7

• Tutorial

Introducción

Soy matemático y programador. El mayor salto que di en mi carrera fue cuando aprendí a decir: "¡No entiendo nada!" Ahora no me da vergüenza decirle a la luminaria de la ciencia que me está dando una conferencia, que no entiendo lo que él, la luminaria, me dice. Y es muy difícil. Sí, admitir tu ignorancia es difícil y vergonzoso. ¿A quién le gusta admitir que no conoce los conceptos básicos de algo? Debido a mi profesión tengo que asistir a un gran número de presentaciones y conferencias, donde, lo admito, en la gran mayoría de los casos quiero dormir porque no entiendo nada. Pero no lo entiendo porque el gran problema de la situación actual de la ciencia reside en las matemáticas. Se supone que todos los oyentes están familiarizados con absolutamente todas las áreas de las matemáticas (lo cual es absurdo). Admitir que no sabes qué es un derivado (hablaremos de qué es un poco más adelante) es vergonzoso.

Pero he aprendido a decir que no sé qué es la multiplicación. Sí, no sé qué es una subálgebra sobre un álgebra de Lie. Sí, no sé por qué se necesitan las ecuaciones cuadráticas en la vida. Por cierto, si estás seguro de saberlo, ¡tenemos algo de qué hablar! Las matemáticas son una serie de trucos. Los matemáticos intentan confundir e intimidar al público; donde no hay confusión, no hay reputación ni autoridad. Sí, es prestigioso hablar en un lenguaje lo más abstracto posible, lo cual es una completa tontería.

¿Sabes qué es una derivada? Lo más probable es que me cuente sobre el límite de la relación de diferencia. En el primer año de matemáticas y mecánica en la Universidad Estatal de San Petersburgo, Viktor Petrovich Khavin me dijo determinado derivada como el coeficiente del primer término de la serie de Taylor de la función en un punto (este fue un ejercicio separado para determinar la serie de Taylor sin derivadas). Me reí de esta definición durante mucho tiempo hasta que finalmente entendí de qué se trataba. La derivada no es más que una simple medida de qué tan similar es la función que estamos derivando a la función y=x, y=x^2, y=x^3.

Ahora tengo el honor de dar conferencias a estudiantes que asustado matemáticas. Si le tienes miedo a las matemáticas, estamos en el mismo camino. Tan pronto como intentes leer un texto y te parezca demasiado complicado, debes saber que está mal escrito. Afirmo que no hay un solo área de las matemáticas que no pueda discutirse "con los dedos" sin perder precisión.

Tarea para el futuro cercano: les pedí a mis alumnos que comprendieran qué es un regulador cuadrático lineal. No seas tímido, dedica tres minutos de tu vida y sigue el enlace. Si no entiendes nada, entonces estamos en el mismo camino. Yo (un matemático-programador profesional) tampoco entendí nada. Y te aseguro que puedes resolver esto "con tus dedos". De momento no sé qué es, pero os aseguro que podremos descubrirlo.

Entonces, la primera conferencia que les voy a dar a mis alumnos después de que vengan corriendo hacia mí horrorizados y me digan que un regulador lineal-cuadrático es algo terrible que nunca dominarás en tu vida es métodos de mínimos cuadrados. ¿Puedes resolver ecuaciones lineales? Si estás leyendo este texto, lo más probable es que no.

Entonces, dados dos puntos (x0, y0), (x1, y1), por ejemplo, (1,1) y (3,2), la tarea es encontrar la ecuación de la recta que pasa por estos dos puntos:

ilustración

Esta línea debería tener una ecuación como la siguiente:

Aquí alfa y beta nos son desconocidos, pero conocemos dos puntos de esta línea:

Podemos escribir esta ecuación en forma matricial:

Aquí conviene hacer una digresión lírica: ¿qué es una matriz? Una matriz no es más que una matriz bidimensional. Esta es una forma de almacenar datos; no se le deben atribuir más significados. Depende de nosotros exactamente cómo interpretar una determinada matriz. Periódicamente lo interpretaré como una aplicación lineal, periódicamente como una forma cuadrática y, a veces, simplemente como un conjunto de vectores. Todo esto se aclarará en contexto.

Reemplacemos las matrices concretas con su representación simbólica:

Entonces (alfa, beta) se puede encontrar fácilmente:

Más específicamente para nuestros datos anteriores:

Lo que lleva a la siguiente ecuación de la recta que pasa por los puntos (1,1) y (3,2):

Bien, aquí todo está claro. Encontremos la ecuación de la recta que pasa por tres puntos: (x0,y0), (x1,y1) y (x2,y2):

¡Oh-oh-oh, pero tenemos tres ecuaciones para dos incógnitas! Un matemático estándar dirá que no hay solución. ¿Qué dirá el programador? Y primero reescribirá el sistema de ecuaciones anterior de la siguiente forma:

En nuestro caso, los vectores i, j, b son tridimensionales, por lo tanto (en el caso general) no hay solución para este sistema. Cualquier vector (alfa\*i + beta\*j) se encuentra en el plano abarcado por los vectores (i, j). Si b no pertenece a este plano, entonces no hay solución (no se puede lograr la igualdad en la ecuación). ¿Qué hacer? Busquemos un compromiso. Denotemos por e(alfa,beta) exactamente hasta qué punto no hemos logrado la igualdad:

E intentaremos minimizar este error:

¿Por qué cuadrado?

No buscamos sólo el mínimo de la norma, sino el mínimo del cuadrado de la norma. ¿Por qué? El punto mínimo en sí coincide, y el cuadrado da una función suave (una función cuadrática de los argumentos (alfa, beta)), mientras que simplemente la longitud da una función en forma de cono, no diferenciable en el punto mínimo. Hno. Un cuadrado es más conveniente.

Obviamente, el error se minimiza cuando el vector mi ortogonal al plano abarcado por los vectores i Y j.

Ilustración

En otras palabras: buscamos una recta tal que la suma de las longitudes al cuadrado de las distancias desde todos los puntos a esta recta sea mínima:

ACTUALIZACIÓN: Tengo un problema aquí, la distancia a la línea recta debe medirse verticalmente y no mediante proyección ortogonal. El comentarista tiene razón.

Ilustración

En palabras completamente diferentes (cuidadosamente, mal formalizadas, pero debe quedar clara): tomamos todas las líneas posibles entre todos los pares de puntos y buscamos la línea promedio entre todos:

Ilustración

Otra explicación es sencilla: conectamos un resorte entre todos los puntos de datos (aquí tenemos tres) y la línea recta que estamos buscando, y la línea recta del estado de equilibrio es exactamente lo que estamos buscando.

Forma cuadrática mínima

En otras palabras, buscamos un vector x=(alfa, beta) tal que:

Déjame recordarte que este vector x=(alfa, beta) es el mínimo de la función cuadrática ||e(alfa, beta)||^2:

Aquí sería útil recordar que la matriz también se puede interpretar como una forma cuadrática, por ejemplo, la matriz identidad ((1,0),(0,1)) se puede interpretar como una función x^2 + y^ 2:

forma cuadrática

Toda esta gimnasia se conoce con el nombre de regresión lineal.

Ecuación de Laplace con condición de frontera de Dirichlet

La confirmación original está disponible. Para minimizar las dependencias externas, tomé el código de mi software de renderizado, que ya está en Habré. Para resolver un sistema lineal, uso OpenNL, este es un excelente solucionador, que, sin embargo, es muy difícil de instalar: necesitas copiar dos archivos (.h+.c) a la carpeta con tu proyecto. Todo el suavizado se realiza con el siguiente código:

Para (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&cara = caras[i]; para (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Las coordenadas X, Y y Z son separables, las suizo por separado. Es decir, resuelvo tres sistemas de ecuaciones lineales, cada uno con una cantidad de variables igual a la cantidad de vértices de mi modelo. Las primeras n filas de la matriz A tienen solo un 1 por fila, y las primeras n filas del vector b tienen las coordenadas del modelo original. Es decir, ato un resorte entre la nueva posición del vértice y la antigua posición del vértice; los nuevos no deben alejarse demasiado de los antiguos.

Todas las filas posteriores de la matriz A (faces.size()*3 = número de aristas de todos los triángulos en la malla) tienen una aparición de 1 y una aparición de -1, y el vector b tiene cero componentes opuestos. Esto significa que puse un resorte en cada borde de nuestra malla triangular: todos los bordes intentan tener el mismo vértice como punto inicial y final.

Una vez más: todos los vértices son variables y no pueden alejarse mucho de su posición original, pero al mismo tiempo intentan parecerse entre sí.

Aquí está el resultado:

Todo estaría bien, el modelo está realmente suavizado, pero se ha alejado de su borde original. Cambiemos un poco el código:

Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

En nuestra matriz A, para los vértices que están en el borde, no agrego una fila de la categoría v_i = verts[i][d], sino 1000*v_i = 1000*verts[i][d]. ¿Qué cambia? Y esto cambia nuestra forma cuadrática de error. Ahora una sola desviación desde la parte superior hasta el borde costará no una unidad, como antes, sino 1000*1000 unidades. Es decir, colgamos un resorte más fuerte en los vértices extremos, la solución preferirá estirar los demás con más fuerza. Aquí está el resultado:

Duplicamos la fuerza del resorte entre los vértices:
nlCoeficiente(cara[ j ], 2); nlCoeficiente(cara[(j+1)%3], -2);

Es lógico que la superficie se haya vuelto más lisa:

Y ahora incluso cien veces más fuerte:

¿Qué es esto? Imaginemos que hemos sumergido un aro de alambre en agua con jabón. Como resultado, la película de jabón resultante intentará tener la menor curvatura posible, tocando el borde: nuestro anillo de alambre. Esto es exactamente lo que conseguimos arreglando el borde y pidiendo una superficie lisa en el interior. Felicitaciones, acabamos de resolver la ecuación de Laplace con condiciones de contorno de Dirichlet. ¿Suena bien? Pero en realidad, sólo necesitas resolver un sistema de ecuaciones lineales.

ecuación de poisson

Digamos que tengo una imagen como esta:

A todos les parece bien, pero a mí no me gusta la silla.

Cortaré la imagen por la mitad:

Y seleccionaré una silla con mis manos:

Luego, colocaré todo lo que es blanco en la máscara hacia el lado izquierdo de la imagen y, al mismo tiempo, a lo largo de la imagen diré que la diferencia entre dos píxeles vecinos debe ser igual a la diferencia entre dos píxeles vecinos de la derecha. imagen:

Para (int i=0; i

Aquí está el resultado:

Código e imágenes disponibles.

La aproximación de datos experimentales es un método basado en reemplazar los datos obtenidos experimentalmente con una función analítica que pasa o coincide más estrechamente en los puntos nodales con los valores originales (datos obtenidos durante un experimento o experimento). Actualmente, existen dos formas de definir una función analítica:

Construyendo un polinomio de interpolación de n grados que pase directamente a través de todos los puntos una matriz de datos dada. En este caso, la función de aproximación se presenta en forma de: un polinomio de interpolación en forma de Lagrange o un polinomio de interpolación en forma de Newton.

Construyendo un polinomio aproximado de n grados que pase en la proximidad más cercana a los puntos de una matriz de datos dada. Por tanto, la función de aproximación suaviza todo el ruido (o errores) aleatorios que puedan surgir durante el experimento: los valores medidos durante el experimento dependen de factores aleatorios que fluctúan según sus propias leyes aleatorias (errores de medición o del instrumento, inexactitud o errores experimentales). errores). En este caso, la función de aproximación se determina mediante el método de mínimos cuadrados.

método de mínimos cuadrados(en la literatura en inglés Ordinary Least Squares, OLS) es un método matemático basado en la determinación de la función de aproximación, que se construye en la proximidad más cercana a los puntos de una matriz determinada de datos experimentales. La cercanía de las funciones original y aproximada F(x) se determina mediante una medida numérica, a saber: la suma de las desviaciones al cuadrado de los datos experimentales de la curva aproximada F(x) debe ser la más pequeña.

Curva aproximada construida utilizando el método de mínimos cuadrados.

Se utiliza el método de mínimos cuadrados:

Resolver sistemas de ecuaciones sobredeterminados cuando el número de ecuaciones excede el número de incógnitas;

Encontrar una solución en el caso de sistemas de ecuaciones no lineales ordinarios (no sobredeterminados);

Para aproximar valores puntuales con alguna función de aproximación.

La función de aproximación utilizando el método de mínimos cuadrados se determina a partir de la condición de la suma mínima de desviaciones al cuadrado de la función de aproximación calculada a partir de una matriz determinada de datos experimentales. Este criterio del método de mínimos cuadrados se escribe como la siguiente expresión:

Los valores de la función de aproximación calculada en los puntos nodales,

Una matriz dada de datos experimentales en puntos nodales.

El criterio cuadrático tiene una serie de propiedades "buenas", como la diferenciabilidad, lo que proporciona una solución única al problema de aproximación con funciones de aproximación polinomiales.

Dependiendo de las condiciones del problema, la función de aproximación es un polinomio de grado m

El grado de la función de aproximación no depende del número de puntos nodales, pero su dimensión siempre debe ser menor que la dimensión (número de puntos) de una matriz de datos experimental dada.

∙ Si el grado de la función de aproximación es m=1, entonces aproximamos la función tabular con una línea recta (regresión lineal).

∙ Si el grado de la función de aproximación es m=2, entonces aproximamos la función de tabla con una parábola cuadrática (aproximación cuadrática).

∙ Si el grado de la función de aproximación es m=3, entonces aproximamos la función de tabla con una parábola cúbica (aproximación cúbica).

En el caso general, cuando es necesario construir un polinomio aproximado de grado m para los valores dados de la tabla, la condición para el mínimo de la suma de las desviaciones al cuadrado sobre todos los puntos nodales se reescribe de la siguiente forma:

- coeficientes desconocidos del polinomio aproximado de grado m;

El número de valores de tabla especificados.

Una condición necesaria para la existencia de un mínimo de una función es la igualdad a cero de sus derivadas parciales con respecto a variables desconocidas. . Como resultado, obtenemos el siguiente sistema de ecuaciones:

Transformemos el sistema lineal de ecuaciones resultante: abra los corchetes y mueva los términos libres al lado derecho de la expresión. Como resultado, el sistema resultante de expresiones algebraicas lineales se escribirá de la siguiente forma:

Este sistema de expresiones algebraicas lineales se puede reescribir en forma matricial:

Como resultado, se obtuvo un sistema de ecuaciones lineales de dimensión m+1, que consta de m+1 incógnitas. Este sistema se puede resolver utilizando cualquier método para resolver ecuaciones algebraicas lineales (por ejemplo, el método gaussiano). Como resultado de la solución, se encontrarán parámetros desconocidos de la función de aproximación que proporcionan la suma mínima de desviaciones al cuadrado de la función de aproximación de los datos originales, es decir la mejor aproximación cuadrática posible. Debe recordarse que si cambia incluso un valor de los datos de origen, todos los coeficientes cambiarán sus valores, ya que están completamente determinados por los datos de origen.

Aproximación de datos fuente por dependencia lineal.

(regresión lineal)

Como ejemplo, consideremos la técnica para determinar la función de aproximación, que se expresa en forma de dependencia lineal. De acuerdo con el método de mínimos cuadrados, la condición para el mínimo de la suma de las desviaciones al cuadrado se escribe de la siguiente forma:

Coordenadas de nodos de mesa;

Coeficientes desconocidos de la función de aproximación, que se especifica como una dependencia lineal.

Una condición necesaria para la existencia de un mínimo de una función es la igualdad a cero de sus derivadas parciales con respecto a variables desconocidas. Como resultado, obtenemos el siguiente sistema de ecuaciones:

Transformemos el sistema lineal de ecuaciones resultante.

Resolvemos el sistema resultante de ecuaciones lineales. Los coeficientes de la función de aproximación en forma analítica se determinan de la siguiente manera (método de Cramer):

Estos coeficientes aseguran la construcción de una función de aproximación lineal de acuerdo con el criterio de minimizar la suma de cuadrados de la función de aproximación a partir de los valores tabulares dados (datos experimentales).

Algoritmo para implementar el método de mínimos cuadrados.

1. Datos iniciales:

Se especifica una matriz de datos experimentales con el número de mediciones N.

Se especifica el grado del polinomio aproximado (m)

2. Algoritmo de cálculo:

2.1. Se determinan los coeficientes para construir un sistema de ecuaciones con dimensiones.

Coeficientes del sistema de ecuaciones (lado izquierdo de la ecuación)

- índice del número de columna de la matriz cuadrada del sistema de ecuaciones

Términos libres de un sistema de ecuaciones lineales (lado derecho de la ecuación)

- índice del número de fila de la matriz cuadrada del sistema de ecuaciones

2.2. Formación de un sistema de ecuaciones lineales con dimensión.

2.3. Resolver un sistema de ecuaciones lineales para determinar los coeficientes desconocidos de un polinomio aproximado de grado m.

2.4 Determinación de la suma de las desviaciones al cuadrado del polinomio aproximado de los valores originales en todos los puntos nodales.

El valor encontrado de la suma de las desviaciones al cuadrado es el mínimo posible.

Aproximación utilizando otras funciones.

Cabe señalar que al aproximar los datos originales de acuerdo con el método de mínimos cuadrados, a veces se utilizan como función de aproximación la función logarítmica, la función exponencial y la función de potencia.

Aproximación logarítmica

Consideremos el caso en el que la función de aproximación viene dada por una función logarítmica de la forma:

3. Aproximación de funciones mediante el método.

mínimos cuadrados

El método de mínimos cuadrados se utiliza al procesar resultados experimentales para aproximaciones (aproximaciones) datos experimentales fórmula analítica. El tipo específico de fórmula se elige, por regla general, por razones físicas. Tales fórmulas podrían ser:

y otros.

La esencia del método de mínimos cuadrados es la siguiente. Deje que los resultados de la medición se presenten en la tabla:

donde f - función conocida, un 0, un 1,…, un metro - parámetros constantes desconocidos cuyos valores deben encontrarse. En el método de mínimos cuadrados, la aproximación de la función (3.1) a la dependencia experimental se considera mejor si se cumple la condición

eso es cantidades a las desviaciones al cuadrado de la función analítica deseada de la dependencia experimental deben ser mínimas .

Tenga en cuenta que la función q llamado residual.

Desde la discrepancia

entonces tiene un mínimo. Una condición necesaria para el mínimo de una función de varias variables es la igualdad a cero de todas las derivadas parciales de esta función con respecto a los parámetros. Así, encontrar los mejores valores de los parámetros de la función de aproximación (3.1), es decir, sus valores en los que Q = Q (a 0 , a 1 , …, a m ) es mínimo, se reduce a resolver el sistema de ecuaciones:

Al método de mínimos cuadrados se le puede dar la siguiente interpretación geométrica: entre una familia infinita de líneas de un tipo dado, se encuentra una línea para la cual se obtiene la suma de las diferencias al cuadrado de las ordenadas de los puntos experimentales y las ordenadas correspondientes de los puntos encontrados. por la ecuación de esta recta será el más pequeño.

Encontrar los parámetros de una función lineal.

Dejemos que los datos experimentales estén representados por una función lineal:

Se requiere seleccionar los siguientes valores a y B , para lo cual la función

será mínimo. Las condiciones necesarias para el mínimo de la función (3.4) se reducen al sistema de ecuaciones:

Después de las transformaciones, obtenemos un sistema de dos ecuaciones lineales con dos incógnitas:

resolviendo lo cual, encontramos los valores requeridos de los parámetros. a y B.

Encontrar los parámetros de una función cuadrática

Si la función de aproximación es una dependencia cuadrática

entonces sus parámetros a, b, c encontrado a partir de la condición mínima de la función:

Las condiciones para el mínimo de la función (3.6) se reducen al sistema de ecuaciones:

Después de las transformaciones, obtenemos un sistema de tres ecuaciones lineales con tres incógnitas:

en solución de la cual encontramos los valores requeridos de los parámetros a, b y c.

Ejemplo . Deje que el experimento resulte en la siguiente tabla de valores. X y Y:

Se requiere aproximar los datos experimentales con funciones lineales y cuadráticas.

Solución. Encontrar los parámetros de las funciones de aproximación se reduce a resolver sistemas de ecuaciones lineales (3.5) y (3.7). Para solucionar el problema utilizaremos un procesador de hojas de cálculo. Sobresalir.

1. Primero, conectemos las hojas 1 y 2. Ingrese los valores experimentales. x i y y yo en columnas A y B, comenzando desde la segunda línea (colocaremos los encabezados de las columnas en la primera línea). Luego calculamos las sumas de estas columnas y las colocamos en la décima fila.

En las columnas C – G colocar el cálculo y la suma respectivamente

2. Desacoplemos las hojas. Realizaremos más cálculos de forma similar para la dependencia lineal de la Hoja 1 y para la dependencia cuadrática de la Hoja 2.

3. Debajo de la tabla resultante, formaremos una matriz de coeficientes y un vector columna de términos libres. Resolvamos el sistema de ecuaciones lineales usando el siguiente algoritmo:

Para calcular la matriz inversa y multiplicar matrices, usamos Maestro funciones y funciones MOBR Y MUMNIFE.

4. En el bloque de celdas H2: h 9 en base a los coeficientes obtenidos calculamos valor aproximado polinomioy yo cálculo., en el bloque I 2: I 9 – desviaciones D y yo = y yo Exp. - y yo cálculo.,en la columna J – el residual:

Las tablas resultantes y las construidas usando Asistentes de gráficos Los gráficos se muestran en las Figuras 6, 7, 8.

Arroz. 6. Tabla para calcular los coeficientes de una función lineal,

aproximando datos experimentales.

Arroz. 7. Tabla para calcular los coeficientes de una función cuadrática,

aproximandodatos experimentales.

Arroz. 8. Representación gráfica de los resultados de la aproximación.

datos experimentales mediante funciones lineales y cuadráticas.

Respuesta. Los datos experimentales se aproximaron mediante una dependencia lineal. y = 0,07881 X + 0,442262 con residual q = 0,165167 y dependencia cuadrática y = 3,115476 X 2 – 5,2175 X + 2,529631 con residual q = 0,002103 .

Tareas. Aproximar una función dada por una tabla, funciones lineales y cuadráticas.

Tabla 6
№0	X	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8
	y	3,030	3,142	3,358	3,463	3,772	3,251	3,170	3,665
№ 1
		3,314	3,278	3,262	3,292	3,332	3,397	3,487	3,563
№ 2
		1,045	1,162	1,264	1,172	1,070	0,898	0,656	0,344
№ 3
		6,715	6,735	6,750	6,741	6,645	6,639	6,647	6,612
№ 4
		2,325	2,515	2,638	2,700	2,696	2,626	2,491	2,291
№ 5
		1.752	1,762	1,777	1,797	1,821	1,850	1,884	1,944
№ 6
		1,924	1,710	1,525	1,370	1,264	1,190	1,148	1,127
№ 7
		1,025	1,144	1,336	1,419	1,479	1,530	1,568	1,248
№ 8
		5,785	5,685	5,605	5,545	5,505	5,480	5,495	5,510
№ 9
		4,052	4,092	4,152	4,234	4,338	4,468	4,599	Calificación del artículo: (Aún no hay calificaciones) Cargando... Compartir con amigos: Publicaciones relacionadas Uso de volúmenes en la práctica comercial Universidad mei puntajes de aprobación lugares pagados Universidad Social Estatal Rusa ¿Qué es un vaso sanguíneo bloqueado y cómo tratarlo?