Regresja liniowa - powtórka

Regresja liniowa

Regresje przeprowadzamy w R za pomocą funkcji lm. Funkcja ta zwraca obiekt, którego metoda print wyświetla wyraz wolny regresji, współczynnik kierunkowy oraz wywołanie funkcji. Jeżeli chcemy się dowiedzieć czegoś więcej, musimy obiekt ten przekazać funkcji summary.

Na początek sprawdźmy, jak wygląda relacja między odpowiedziami na pytania testujące wyjaśnienie estetyczne oraz poziomem zgody na stwierdzenie o tym, że badani czuli się źle ze swoim guilty pleasure.

data$ART = apply(data[,c("ART1", "ART2", "ART3")], 1, mean)
data$IDEAL = apply(data[,c("IDEAL1", "IDEAL2")], 1, mean)
data$PEOPLE = apply(data[,c("PEOPLE1", "PEOPLE2")], 1, mean)
data$SOCIAL = apply(data[,c("SOCIAL1", "SOCIAL2")], 1, mean)
data$INTELLECTUAL = apply(data[,c("INTELLECTUAL1", "INTELLECTUAL2")], 1, mean)
lm(data$FEELBAD ~ data$ART)

## 
## Call:
## lm(formula = data$FEELBAD ~ data$ART)
## 
## Coefficients:
## (Intercept)     data$ART  
##      3.3405       0.2533

Wywołanie funkcji summary na obiekcie zwracanym przez lm

# Funkcja `summary` pozwala nam się dowiedzieć więcej o modelu zwróconym przez funkcję `lm`,
# w szczególności zaś poznać różne jego parametry
summary(lm(data$FEELBAD ~ data$ART))

## 
## Call:
## lm(formula = data$FEELBAD ~ data$ART)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -3.1139 -0.9450  0.1395  0.9706  2.6462 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  3.34047    0.36806   9.076 6.28e-15 ***
## data$ART     0.25334    0.07988   3.171  0.00198 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.445 on 107 degrees of freedom
## Multiple R-squared:  0.08592,    Adjusted R-squared:  0.07738 
## F-statistic: 10.06 on 1 and 107 DF,  p-value: 0.001979

Dodawanie linii regresji

Moglibyśmy ręcznie wydobyć wartości niezbędne do dodania linii regresji, ale możemy skorzystać z faktu, że nasz model możemy bezpośrednio przezkazać funkcji abline. Należy jednak pamiętać o tym, żeby tworząc wykres punktowy używać składni formuły (z ~). Na chwile obecną należy pamiętać, że formuły wyglądają mniej więcej tak: Y~X.

# Ustawiamy parametry graficzne R tak, aby narysować trójpanelowy wykres
par(mfrow = c(1,3))
# Tworzymy pierwszy wykres za pomocą składni formuły
plot(data$FEELBAD ~ data$ART)
# Przypisujemy model do zmiennej `model`
model = lm(data$FEELBAD ~ data$ART)
# Model można przekazać jako argument dla funkcji `abline` i ona będzie wiedziała co i gdzie narysować
abline(model)

# Pozostałę dwa przypadki analogicznie
plot(data$FEELBAD ~ data$IDEAL)
abline(lm(data$FEELBAD ~ data$IDEAL))

plot(data$FEELBAD ~ data$SOCIAL)
abline(lm(data$FEELBAD ~ data$SOCIAL))

Wyraz wolny (intercept)

• definicja: wartość \(\hat{Y}\) kiedy \(X\) przyjmuje wartość 0
• jego interpretacja zależy od tego, czy \(X = 0\) ma jakąkolwiek sensowną interpretacje
• zwykle nie ma sensownej interpretacji i ma tylko tę matematyczną (ogromna i niepraktyczna ekstrapolacja z naszych danych - pomyśl o wadze 0kg!)
• zawsze można wycentrować nasz predyktor wokół średniej - wtedy uzyskujemy sensowną interpretację - \(\hat{Y}\) dla wartości oczekiwanej \(X\)
• wycentrowanie nie ma żadnych skutków dla współczynnika kierunkowego oraz współczynnika korelacji

Współczynnik kierunkowy (slope)

• zmiana \(\hat{Y}\) związana ze zmianą \(X\) o jedną jednostkę
• definicja ta mówi nam że ma on sensowną interpretację (np. jeżeli mówimy o regresji dochodu z liczby lat edukacji, to współczynnik kierunkowy powie nam jaka różnica w dochodzie jest związana z każdym dodatkowym rokiem edukacji)

Standaryzowany współczynnik regresji

• to co współczynnik kierunkowy, tylko że obie zmienne są wystandaryzowane
• możemy policzyć za pomocą lm.beta z pakietu QuantPsyc, ale równie dobrze możemy zrobić to sami mnożąc przez iloraz wariancji

Korelacja a standaryzowany współczynnik regresji

• jeżeli mamy jeden predyktor (tak jak w tych przykładach, których się zajmujemy) to jest to ta sama wartość

Błąd standardowy estymacji - odchylenie standardowe reszt. Wielkość ta informuje o przeciętnej wielkości odchyleń empirycznych wartości zmiennej zależnej od wartości wyliczonych z modelu (teoretycznych). Parametr ten jest ważny w analizie regresji, gdyż stanowi miarę rozproszenia elementów populacji wokół linii regresji. Na jego podstawie możemy ocenić stopień “dopasowania” modelu do danych empirycznych.

Dokładność oszacowania regresji mozna ocenić za pomocą współczynnika \(\phi^2\). Punktem wyjścia jest wariancja Y. Możemy pokazać, że:

\[S^2(Y) = S^2(\hat{Y}) + S^2(U)\]

Równość ta (równość wariancyjna) głosi, że całkowity obszar zmienności zmiennej zaleznej jest sumą zmienności wyjaśnianej regresją i zmienności resztowej (niewyjaśnianej przez regresję).

Współczynnikiem zbieżności \(\phi^2\) lub indeterminacji nazywamy stosunek tej części zmienności badanego zjawiska, która nie jest wyjaśniana przez zmiany zmiennych objaśniających w funkcji regresji do całkowitej zmienności zmiennej objaśnianej.

\[\phi^2 = \frac{S^2(U)}{S^2(Y)}\]

Współczynnikiem determinacji \(R^2\) mierzy jaka część ogólnej zmienności zmiennej zależnej jest wyjasniana przez regresję liniową. Obliczamy go według wzoru:

\[R^2 = \frac{S^2(\hat{Y})}{S^2(Y)} = 1 - \phi^2\]

Interpretacja współczynnika \(R^2\)

• Im większe \(R^2\) tym lepiej. Musimy jednak pamiętac, że dołączenie nowej zmiennej do modelu zawsze spowoduje zwiększenie jego wartości. Dlatego w przypadku kilku predyktorów lepiej używać poprawionego \(R^2\), który uwzględnia, że \(R^2\) obliczony jest z próby i jest “zbyt dobrze” dopasowany.

\[R^{2}_{popr} = R^2 - \frac{1}{n-2}(1-R^2) \]

Założenia regresji

• homogeniczność wariancji w grupach - założenie że wariancja Y dla każdej wartości X jest stała w populacji
• normalność w grupach - założenie, że wartości Y dla każdej wartości X mają rozkład normalny
• (takie meta-założenie) relacja między X a Y jest relacją, którą oddaje funkcja liniowa

Narzędzia diagnostyczne:

• wykres przedstawiajcy na jednej osi wartości dopasowane przez model, a na drugiej residua lub standaryzowane residua
  • dla modelu adekwatnego średnia wartość resuduum nie powinna zależeć od wartości dopasowania (powinniśmy w wyniku dostać pas punktów losowo rozmieszczonych wokół prostej \(y = 0\)
  • jeżeli można dostrzec jakiś wzór w ułożeniu punktów, może to oznaczać, że relacja między zmiennymi nie jest liniowa
  • w szczególności niepokoją nas regularne krzywe
• wykresy kwantylowe dla standaryzowanych residuów
  • powinny wskazywać na normalność
  • nie przejmujemy się za bardzo niewielkimi odchyleniami przy wartościach skrajnych
  • przejmujemy się, jeżeli wykres kwantyl-kwantyl reszt wskazuje na wyraźną skośność tzn. nienormalność
• wykres, na którym dla każdej wartości zmiennej objaśniającej wyznaczono pierwiastek z wartości bezwzględnej jego residuum standaryzowanego
  • nie powinniśmy zaobserwować żadnego trendu, jesli takowy występuje oznacza to, że wariancja błędu nie jest stała
  • powinniśmy zaobserwować równomiernie rozłożone punkty i poziomą linię przebiegającą przez nie
• wykres dźwigni
  • nie ma znaczenia wzór - interesują nas obserwacje odstające
  • przerywane linie reprezentują dystans Cooka - nie chcemy, żeby nasze obserwacje odstające się tam znalazły, bo to by znaczyło, że miały duzy wpływ na nasza regresję
  • wyniki regresji mogą znacznie się zmienić, jesli wykluczymy te obserwacje - czasami warto to zrobć
• wykres pudełkowy/skrzypcowy Y warunkowanej na X
  • mozna użyc, jeśli X ma tylko kilka poziomów
  • pudełka powinny wyglądać w miarę podobnie

Więcej o wykresach diagnostycznych można przeczytać tutaj w języku angielskim i w książkach też:

http://data.library.virginia.edu/diagnostic-plots/