MODEL STATISTIKA LINIER

Oleh :

Risma Adirat Fitriana (111810101016)

Rimbi Puspita Dini (111810101037)

Risan Nur Santi (111810101047)

Hajar Nur Rahmawati (111810101050)

1. Sekilas tentang Model Statistika Linier

a. Model Linier
[latexpage]
Inti bab ini adalah model regresi linier dan prinsip dasar pendugaan kuadrat terkecil. Misal $X$ menunjukkan peubah bebas dihubungkan ke $K$ dengan peubah bebas $X_{1},. . .,X_{k}$ oleh fungsi $f$ . Maka, dapat dituliskan dalam persamaan berikut
\begin{equation}Y=f(X_{1},. . .,X_{K})+\epsilon,{}\end{equation}
karena persamaan (1) model regresi non linier maka ketika $f$ linier persamaan (1) menjadi bentuk
\begin{equation}Y=X_{1}\beta_{1},. . .,X_{K}\beta_{K}+\epsilon,{}\end{equation}
yang disebut sebagai model regresi linier.
Apabila himpunan $T$ terdapat pada $Y$ dan $(X_{1},. . .,X_{K})$, dapat dituliskan

\begin{equation} (y,X)=\left(\begin{array}{rrrr} y_{1} & x_{11} & .. & x_{K1}\\ : & : & & :\\ y_{T} & x_{1T} & .. & x_{KT}\end{array}\right )=(y, x_{(1)}, . . ., x_{(K)})=\left(\begin{array}{r} y_{1},x’_{1}\\
: \\ y_{T},x’_{T}\end{array}\right ){}\end{equation}
dimana $y=(y_{1}, . . .,y_{T})’$ adalah vektor dan $x_{i}=(x_{1i}, . . .,x_{Ki})’$ adalah vektor $K$ dan $x_{j}=(x_{j1}, . . .,x_{jT})’$ adalah vektor $T$.

b. Prinsip Kuadrat Terkecil Biasa (OLS)

Misal $B$ himpunan semua vektor $\beta$ yang mungkin. Jika tidak ada keterangan lebih lanjut maka $B=\mathbb{R}^{K}$ ($K$-ruang dimensi Euclid riil). Untuk menentukan vektor $b’=b_{1}, . . .,b_{K}$ dari $B$ yang merupakan jumlah kuadrat sisa terkecil dari $y$ dan $X$, yaitu
\begin{equation} S(\beta)=\sum_{t=1}^{2} e_{1}^{2}=e’e=(y-X\beta)'(y-X\beta)\end{equation}
Nilai terkecil akan selalu ada karena $S(\beta)$ adalah nilai riil, konveks dan dapat diturunkan. Dapat dituliskan sebai berikut
\begin{equation} S(\beta)=y’y+\beta’X’X\beta-2\beta’X’y\end{equation}
dengan diturunkan terhadap $\beta$, turunan pertama dari persamaan (5) menjadi daerah kosong yang disebut sebagai persamaan baku, yaitu
\begin{equation} X’Xb=X’y\end{equation}
Jika $X$ rank penuh dari $K$, maka $X’X$ nonsingular dan solusi dari (6), didapatkan
\begin{equation} b=(X’X)^{-1}X’y\end{equation}
Jika $X$ bukan rank, persamaan (6) mempunyai himpunan solusi
\begin{equation} b=(X’X)^{-1}X’y+(1-(X’X)^{-1}X’X)w\end{equation}
dimana $(X’X)^{-1}$ adalah g-invers dan $w$ vektor tak tentu.
Teorema 1
(i) $\hat{y}=Xb$, penduga empirik dari $y$, mempunyai nilai sama untuk semua solusi $b$ dari $X’Xb=X’y$
(ii) $S(\beta)$, jumlah kuadrat terdefinisi, mencapai minimum untuk semua solusi, yaitu $X’Xb=X’y$.

2. Pembuktian Teorema-Teorema

Teorema 5.2 a

Misalkan $y$ merupakan vektor acak dengan rataan $\mu$ dan matriks kovarians $\sum$, jika $A$ adalah matriks simetris konstan, maka

$E(y’Ay)=tr(A\sum)+\mu’A\mu$

Bukti:
Dari $\sum=E[(-\mu)(y-\mu)’]=E(yy’)$ didapatkan
$E(yy’)=\sum+\mu\mu’$
Karena $y’Ay$ skalar, maka sama dengan tracenya, sehingga
\begin{align*}E(y’Ay)&=E[tr(y’Ay)]\\
&=E[tr(Ayy’)\\
&=tr[E(Ayy’)]\\
&=tr[AE(yy’)]\\
&=tr[A(\sum +\mu\mu’)]\\
&=tr[A\sum +A\mu\mu’]\\
&=tr(A\sum)+tr(\mu A \mu’)\\
&=tr(A\sum)+\mu A \mu’\end{align*}
Perlu diperhatikan bahwa $y’Ay$ bukan fungsi linier dari $y$, maka $E(y’Ay)\neq E(y’)AE(y)$. $\box$

Teorema 8.1 a

Matriks $I-(1/n)J, H_{c} = X_{c}(X’_{c} X_{c})^{-1} X’_{c}, $ dan $ I-(1/n)J- H_{c}$ memiliki sifat sebagai berikut:
(i) $H_{c}[I-(1/n)J] = H_{c}$.
(ii) $H_{c}$ adalah idempoten rank $k$.
(iii) $I-(1/n)J- H_{c}$ adalah idempoten rank $n-k-1$.
(iv) $H_{c}[I-(1/n)J – H_{c}]=O$.

Bukti :
(i) Pada $H_{C}\left[I-(\frac{1}{n})J\right]=H_{C}$ diketahui $\left[I-(\frac{1}{n})J\right]$ adalah centering matrix, maka
\begin{align*}

(j,X_{C})'(j,X_{C})\left(\begin{array}{r} \hat{\alpha} &\hat{\beta_{1}} \end{array}\right )&=(j,X_{C})’y \\

\left(\begin{array}{r} j’ &X_{C}’ \end{array}\right) (j,X_{C}) \left(\begin{array}{r} \bar{y} &(X_{C}’)^{-1}X_{C}’y\end{array}\right )&=\left(\begin{array}{r} j’ &X_{C}’ \end{array}\right )\\

\left(\begin{array}{rr} n & 0’& 0& X’_{C}X_{C}\end{array}\right) \left(\begin{array}{r} \bar{y} &(X_{C}’)^{-1}X_{C}’y\end{array}\right ) &= \left(\begin{array}{r} n\bar{y} &X_{C}’y\end{array}\right ) \\

\left(\begin{array}{r} n\bar{y} &X_{C}’y\end{array}\right ) &= \left(\begin{array}{r} n\bar{y} &X_{C}’y\end{array}\right ) \\

\end{align*} terbukti bahwa ruas kanan dan ruas kiri memiliki nilai yang sama.

(ii) \begin{align*} H_{C}&=X_{C}(X’_{C}X_{C})^{-1}X’_{C}\\
&=X_{C}(X_{C})^{-1}(X_{C})^{-1}X_{C}\\
&=I.I\\
&=1 \end{align*}
Sehingga, terbukti $H_{C}$ idempoten dari rank $K$

(iii) Karena $H_{C}$ idempoten dari rank $K$ maka $[I-(\frac{1}{n}J-H_{C}]$ juga idempoten terhadap rank $(n-k-1)$

(iv) \begin{align*}H_{C}[I-(\frac{1}{n}J-H_{C}]&=H_{C}[I-(\frac{1}{n}J]-H_{C}H_{C}\\
&=H_{C}-H_{C}H_{C}\\
&=H_{C}[I-H_{C}]\\
&=H_{C}[I-X_{C}(X’_{C}X_{C})^{-1}X’_{C}]\\
&=H_{C}[I-X_{C}(X_{C})^{-1}(X_{C})^{-1}X’_{C}]\\
&=H_{C}[I.I]\\
&=0\end{align*}.$\box$

Distribusi SSR/$\sigma^{2}$ dan SSE/$\sigma^{2}$ didapat dari teorema berikut.

Teorema 8.1 b

Jika $y$ adalah $N_{n}(X\beta,\sigma^{2}I)$, maka $SSR/\sigma^{2} =\widehat{\beta}’_{1} X’_{c} X_{c} \widehat{\beta}_{1}/\sigma^{2}$ dan $SSE/\sigma^{2} = [\sum_{c}^{i=1} (y_{i}-\overline{y})^{2}- \widehat{\beta}’_{1} X’_{c} X_{c} \widehat{\beta}_{1}/\sigma^{2}]$ memiliki distribusi sebagai berikut:
(i) SSR$/\sigma^{2}$ memiliki $\textit{X}^{2}(k,\lambda_{1})$ untuk $\lambda_{1}=\mu’A\mu/2\sigma^{2}=\beta’_{1}X’_{C}X_{C}\beta_{1}/2\sigma^{2}$.
(ii) SSE$/\sigma^{2}$ memiliki $\textit{X}^{2}(n-k-1)$

Bukti :
Pembuktian didapat dari (8.2), Teorema 8.1 a (ii) dan (iii) dan Akibat 2 juga Teorema 5.5.$\box$

Kebebasan dari SSR dan SSE ditunjukkan oleh teorema berikut.

Teorema 8.1 c

Jika $y$ adalah $N_{n}(x\beta,\sigma^{2}I)$, maka $SSR$ dan $SSE$ independen, dimana $SSR$ dan $SSE$ yang didefinisikan di (8.1) dan (8.2).

Bukti :
Pembuktian ini dengan didapat dari Teorema 8.1 a(iv) dan Akibat 1 hingga Teorema 5.6b.$\box$

Selanjutnya, dapat ditentukan uji F untuk $H_{0}:\beta_{1}=0$ dibandingkan dengan $H_{1}:\beta_{1}\neq0$.

Teorema 8.1 d

Jika $y$ merupakan $N_{n}(X\beta,\sigma^{2}I)$, distribusi dari

\[F=\frac{SSR/ k\sigma^{2}}{SSE/ [(n-k-1)\sigma^{2}]} = \frac{SSR/ k}{SSE/(n-k-1)}\]

sebagai berikut:

(i) Jika $H_{0} : \beta_{1} = 0$ salah, maka $F$ terdistribusi sebagai $F(k,n-k-1,\lambda_{1})$,
dimana $\lambda_{1}= \widehat{\beta}’_{1} X’_{c} X_{c} \widehat{\beta}_{1}/\sigma^{2}$.

(ii) Jika $H_{0} : \beta_{1} = 0$ benar, maka $\lambda_{1}=0$ dan $F$ terdistribusi sebagai $F(k,n-k-1)$.

Bukti:
(i) Untuk $z=\frac{u/p^{2}}{v/q^{2}}$, diketahui $z$ berdistribusi $F(p,q,\lambda)$ dengan $u$~$x^{2}$ dan $v$~$x^{2}$ karena $\beta_{1}\neq0$ atau $\beta_{1}=\hat{\beta}}$ maka $\lambda_{1}=\hat{\beta_{1}}X’_{C}X_{C}\hat{\beta}\neq0$ maka $F$ berdistribusi $F(k, n-k-1,\lambda_{1})$
(ii) Untuk $\beta_{1}=0$ maka $\lambda_{1}=\hat{\beta_{1}}X’_{C}X_{C}\hat{\beta}=0$ sehingga $F$ berdistribusi $F(k,n-k-1)$ .$\box$
Perlu diperhatikan bahwa $\lambda_{1}=0$ jika dan hanya jika $\beta_{1}=0$, karena $X’_{c}X_{c}$ definit positif.

Penyelesaian Contoh Soal 8.1

Dari data Tabel 7.1, ilustrasi uji dari $H_{0}: \beta_{1}=0$ dimana pada kasus ini $\beta_{1}=(\beta_{1},\beta_{2})’$.Pada contoh 7.3.1(a), didapatkan $X’y=(90,482,872)’$ dan $\hat\beta=(5.3754, 3.0118,-1.2855)’$.

7.1

akan diproses dengan $RStudio$,
masukkan script ini
rs

hasil running pada $RStudio$ sebagai berikut
rs2

dari hasil pengerjaan dengan $RStudio$ didapat nilai-nilai berikut
\begin{align*} SSR&=139.5410\\
SSE &=25.4590\\
Total &=ssr+sse\\
&=165\\
Fhitung &=24.665\\
Ftabel &=F_{0.5,2,9}\\
&=4.26 \end{align*}

Kesimpulan
Dari hasil running program $RStudio$ didapatkan nilai $Fhitung>Ftabel$, yaitu $24.665>4.26$, maka tolak $H_{0}:\beta_{j}=0$ dan disimpulkan bahwa minimal ada satu dari $\beta_{1}$ atau $\beta_{2}$ bukan nol dengan $p-value=0.000223$.$\box$