Dalam Statistik regresi linear merupakan pendekatan untuk memodelkan hubungan antara suatu (satu atau lebih) variabel dependen dengan satu (regresi linear sederhana) atau lebih variabel independen (regresi linier banyak). Salah satu aplikasi dari regresi linier adalah untuk melakukan prediksi berdasarkan data-data yang telah dimiliki sebelumnya. Dengan asumsi hubungan di antara variabel-variabel tersebut dapat didekati oleh suatu persamaan garis lurus, maka model yang mendekati hubungan antar variabel di data tersebut disebut sebagai model regresi linear.
Regresi Linear Univariate
Pada regresi linear univariate, variabel bebas yang terlibat hanya satu saja. Oleh karena hanya memiliki satu variabel bebas, maka hanya akan terdapat variabel input X dan output Y. Kedua variabel ini akan dimodelkan sebagai sumbu X dan Y pada diagram kartesius. Pada regresi linear tipe ini, model regresi linear ditentukan sebagai berikut.
h
w
(
x
)
=
w
1
x
+
w
0
{\displaystyle h_{w}(x)=w_{1}x+w_{0}}
di mana
w
{\displaystyle w}
E
(
w
)
=
1
2
N
∑
i
=
1
N
(
h
w
(
x
i
)
−
t
i
)
2
{\displaystyle E(w)={\frac {1}{2N}}\sum _{i=1}^{N}(h_{w}(x^{i})-t^{i})^{2}}
Di mana
N
{\displaystyle N}
Regresi Linear Multivariate
Pada regresi linear multivariate, variable bebas yang terlibat tidak hanya satu saja melainkan beberapa variable bebas. Hal ini dikarenakan input yang digunakan lebih dari satu dimensi. Oleh karena itu, diperlukanlah sebuah model regresi linear yang berbeda dari regresi linear univariate. Model regresi linear multivariate dapat ditentukan sebagai berikut.
h
w
(
x
)
=
w
0
+
w
1
x
1
+
w
2
x
2
+
⋯
+
w
m
x
m
{\displaystyle h_{w}(x)=w_{0}+w_{1}x_{1}+w_{2}x_{2}+\dots +w_{m}x_{m}}
h
w
(
x
)
=
w
0
+
∑
i
=
0
m
w
i
x
i
{\displaystyle h_{w}(x)=w_{0}+\sum _{i=0}^{m}w_{i}x_{i}}
Di mana
w
{\displaystyle w}
