Least squares method

A method for minimizing the sum of squares. The simplest example is given x ₁ , x ₂ ,……, x _n

The problem is to determine θ so as to minimize

f(θ) is minimized when .

The following example is a regression line. The measurements of two variables X and Y are plotted as (x ₁ , y ₂ ), (x ₁ , y ₂ ),……, (x _n , y _n ).
Then, the constants m and b in the line y＝mx＋b on the xy plane are expressed as the sum of squares

is set to be the smallest, then we can obtain the regression line of Y with respect to X. This is also a method of minimizing the sum of squares.

Next, the simultaneous linear equations

When the number of equations, N, is greater than the number of unknowns, n, this system of linear equations generally has no solution.

Let us put

The method of least squares is the method of determining x ₁ , x ₂ ,……, x _n so as to minimize f(x ₁ ,……, x _n ). The fact that a system of linear equations (*) has a solution is equivalent to the fact that the minimum value of f is 0. The x ₁ , x ₂ ,……, x n that minimizes f(x 1 ,……, x _n ) are the following system of linear equations:

This equation (**) is called a normal equation.

The least squares method is also used in statistics to estimate parameters. Let _{X 1} , X ₂ ,……, X _n be independent random variables with unknown parameters θ ₁ ,θ ₂ ,……,θ _k , where the mean of each X _i is unknown.

E(X _i )＝ _i (θ ₁ , θ ₂ ,……,θ _k ) i＝1,……,n (X ₁ , X ₂ ,……, X _n ) realizations (x ₁ , x ₂ ,……, x _n ) are given,

The values _​​1 , ₂ , …, _k of θ ₁ , θ ₂ , …, θ _k that minimize the above are taken as the estimates of θ ₁ , θ ₂ , …, θ _k .

[Shigeru Furuya]

Source: Shogakukan Encyclopedia Nipponica About Encyclopedia Nipponica Information | Legend

二乗和を最小にする方法。もっとも簡単な例は、x₁, x₂,……, x_nが与えられたとき

を最小にするようにθを定める問題で、この場合には

のときf(θ)が最小になる。

　次の例は回帰直線である。二つの変量X、Yについての測定結果を
　　(x₁, y₂), (x₁, y₂),……, (x_n, y_n)
とするとき、xy平面上の直線y＝mx＋bに含まれる定数m、bを、二乗和

が最小になるように定めると、YのXに関する回帰直線が得られる。これも二乗和を最小にする方法である。

　次に連立一次方程式

を考えよう。方程式の数Nが未知数の数nより大きいとき、一般にはこの連立一次方程式は解をもたない。このような場合も含めて

と置いて、二乗和

を最小にするようにx₁, x₂,……, x_nを定める方法が最小二乗法である。連立一次方程式（*）が解をもつこととfの最小値が0であることとは同等である。f(x₁,……, x_n)を最小にするx₁, x₂,……, x_nは、次の連立一次方程式

を解いて求められる。この方程式（**）を正規方程式という。

　最小二乗法は統計学において母数を推定する場合にも用いられる。X₁, X₂,……, X_nは独立な確率変数で、各X_iの平均値が未知の母数θ₁,θ₂,……,θ_kを含むものとする。

　E(X_i)＝_i(θ₁,θ₂,……,θ_k) i＝1,……, n(X₁, X₂,……, X_n)の実現値(x₁, x₂,……, x_n)が与えられたとき、二乗和

を最小にするようなθ₁,θ₂,……,θ_kの値₁,₂,……,_kをθ₁,θ₂,……,θ_kの推定値とするのである。

［古屋　茂］

出典　小学館　日本大百科全書(ニッポニカ)日本大百科全書(ニッポニカ)について　情報 | 凡例