Penurunan Rumus Regresi Linier Sederhana

Daftar Isi: Model Regresi Linier Sederhana Estimasi Model Regresi Linier Sederhana Pembuktian Rumus Estimasi Regresi Linier Sederhana Persamaan jumlah kuadrat error Substitusi persamaan estimasi garis regresi ke dalam persamaan jumlah kuadrat error Turunan parsial persamaan jumlah kuadrat error terhadap \(b_0\) Turunan parsial persamaan jumlah kuadrat error terhadap \(b_1\)

Regresi linier sederhana adalah alat analisis statistik yang menjelaskan hubungan satu variabel terikat (dependen) dengan satu variabel bebas (independen) dalam bentuk sebuah fungsi linier.

Model Regresi Linier Sederhana

Model umum regresi linier sederhana adalah:

\[y = \beta_0 + \beta_1 x + \varepsilon\]

Keterangan:

\(y\) adalah variabel dependen

\(x\) adalah variabel independen

\(\beta_0\) adalah intercept (parameter regresi)

\(\beta_1\) adalah slope (parameter regresi)

\(\varepsilon\) adalah nilai data peramalan ke-\(i\)

Estimasi Model Regresi Linier Sederhana

Model regresi linier sederhana dapat diestimasi dengan sebuah garis regresi, yaitu:

\[\hat{y} = b_0 + b_1 x\]

Keterangan:

\(b_1 = \frac{\displaystyle n\sum_{i=1}^n x_iy_i - \left(\sum_{i=1}^n x_i\right) \left(\sum_{i=1}^n y_i\right)}{\displaystyle n\sum_{i=1}^n x_i^2-\left(\sum_{i=1}^n x_i\right)^2}\)

\(b_0 = \bar{y}-b_1\bar{x}\)

Pembuktian Rumus Estimasi Regresi Linier Sederhana

Salah satu metode estimasi yang digunakan untuk mengestimasi parameter regresi linier sederhana adalah Metode Kuadrat Terkecil atau Ordinary Least Squares (OLS).

Proses dari metode ini adalah dengan meminimumkan jumlah kuadrat error atau sum of squared errors (SSE).

Langkah-langkah meminimumkan jumlah kuadrat error adalah sebagai berikut:

1. Persamaan jumlah kuadrat error

Pertama-tama buat persamaan jumlah kuadrat error: \(SSE = \sum_{i = 1}^n e_i^2\) dimana error diperoleh dari \(e = y_i - \hat{y},\) sehingga persamaan jumlah kuadrat error-nya menjadi:

\[SSE = \sum_{i = 1}^n {(y_i - \hat{y}_i)}^2\]

2. Substitusi persamaan estimasi garis regresi ke dalam persamaan jumlah kuadrat error

Garis regresi \(\hat{y}_i = b_0 + b_1x_i\) disubstitusikan ke dalam persamaan jumlah kuadrat error di atas.

\[SSE = \sum_{i=1}^n {(y_i-b_0 - b_1x_i)}^2\]

\(SSE\) minimum diperoleh ketika turunannya bernilai 0. Oleh karena itu, \(SSE\) diturunkan secara parsial terhadap \(b_0\) dan \(b_1,\) kemudian disamakan dengan 0.

3. Turunan parsial persamaan jumlah kuadrat error terhadap \(b_0\)

\[\begin{aligned} \frac{\partial}{\partial b_0}SSE &= 0\\ \frac{\partial}{\partial b_0}\sum_{i=1}^n {(y_i-b_0-b_1x_i)}^2 &= 0\\ \sum_{i=1}^n -2(y_i-b_0-b_1x_i) &= 0\\ \sum_{i=1}^n y_i-nb_0-b_1\sum_{i=1}^n x_i &= 0\\ nb_0 = \sum_{i=1}^n y_i - b_1\sum_{i=1}^n x_i \end{aligned}\]

Ruas kiri dan ruas kanan dibagi dengan \(n,\) sehingga bentuknya menjadi


\[\begin{aligned} \frac{1}{n} nb_0 &= \frac{1}{n}\sum_{i=1}^n y_i - \frac{1}{n}b_1\sum_{i=1}^n x_i\\ b_0 &= \bar{y} - b_1\bar{x} \end{aligned}\]

Terbukti bahwa:

\[\boxed {b_0 = \bar{y}-b_1\bar{x}}\]

4. Turunan parsial persamaan jumlah kuadrat error terhadap \(b_1\)

\[\begin{aligned} \frac{\partial}{\partial b_1} SSE &= 0\\ \frac{\partial}{\partial b_1}\sum_{i=1}^n {(y_i-b_0-b_1x_i)}^2 &= 0\\ \sum_{i=1}^n {-2x_i(y_i-b_0-b_1x_i)} &= 0\\ \sum_{i=1}^n {(x_iy_i-b_0x_i-b_1x_i^2)} &=0 \end{aligned}\]

Substitusikan persamaan \(b_0 = \bar{y}-b_1\bar{x}\) ke dalam persamaan di atas.


\[\begin{aligned} \sum_{i=1}^n {(x_iy_i-(\bar{y}-b_1\bar{x})x_i-b_1x_i^2)} &= 0\\ \sum_{i=1}^n {(x_iy_i-\bar{y}x_i+b_1\bar{x}x_i-b_1x_i^2)} &= 0\\ \sum_{i=1}^n x_iy_i-\bar{y}\sum_{i=1}^n x_i+b_1\bar{x}\sum_{i=1}^n x_i-b_1\sum_{i=1}^n x_i^2 &= 0\\ b_1\sum_{i=1}^n x_i^2-b_1\bar{x}\sum_{i=1}^n x_i = \sum_{i=1}^n x_iy_i-\bar{y}\sum_{i=1}^n x_i \end{aligned}\]

Kalikan ruas kiri dan kanan persamaan di atas dengan \(n.\)


\[nb_1\sum_{i=1}^n x_i^2 - nb_1\bar{x}\sum_{i=1}^n x_i = n\sum_{i=1}^n x_iy_i - n\bar{y}\sum_{i=1}^n x_i\]

Ingat bahwa \(\displaystyle \bar x = \frac {1}{n} \sum_{i=1}^n x_i\) dan \(\displaystyle \bar y = \frac {1}{n} \sum_{i=1}^n y_i,\) sehingga


\[\begin{aligned} nb_1\sum_{i=1}^n x_i^2 - nb_1\left(\frac {1}{n} \sum_{i=1}^n x_i\right)\sum_{i=1}^n x_i &= n\sum_{i=1}^n x_iy_i - n\left(\frac {1}{n} \sum_{i=1}^n y_i\right)\sum_{i=1}^n x_i \\ nb_1\sum_{i=1}^n x_i^2 - b_1\left(\sum_{i=1}^n x_i\right)^2 &= n\sum_{i=1}^n x_iy_i - \left(\sum_{i=1}^n y_i\right) \left(\sum_{i=1}^n x_i\right)\\ b_1 \left\{n\sum_{i=1}^n x_i^2 - \left(\sum_{i=1}^n x_i\right)^2\right\} &= n\sum_{i=1}^n x_iy_i - \left(\sum_{i=1}^n x_i\right)\left(\sum_{i=1}^n y_i\right) \end{aligned}\]

dengan demikian terbukti bahwa rumus \(b_1,\) yaitu


\[\boxed {b_1 = \frac{\displaystyle n\sum_{i=1}^n x_iy_i - \left(\sum_{i=1}^n x_i\right) \left(\sum_{i=1}^n y_i\right)}{\displaystyle n\sum_{i=1}^n x_i^2-\left(\sum_{i=1}^n x_i\right)^2}}\]