해당 포스팅은 홍두승과 설동훈이 집필한 「사회조사분석」의 내용을 정리한 것으로모든 출처는 아래와 같다.
홍두승, 설동훈(2012).「사회조사분석」.서울: 다산출판사
Ch12. 회귀분석과 경로분석
회귀분석
1) 회귀분석의 기초
▶ 회귀분석:두 개 이상의 변수들 간의 관련성을 찾아내기 위하여 사용하는 분석 기법으로 변수들 간의 관계식을 찾아내고, 그 관계식의 정확도 등을 검토하는 통계적 방법
▶ 단순회귀분석(simple regression analysis):하나의 독립변수 X의 값으로 종속변수 Y의 값을 예측하는 회귀분석의 가장 간단한 형태
▶ 회귀분석에서의 가정
(1) 특정화 과정에서 오차(specification error)가 없다. 즉, X와 Y의 관계는 선형이며, 종속변수를 설명하는 데 적절한 독립변수는 모두 회귀식에 포함되어 있다.
(2) 측정오차(measurement error)가 없다. 즉, X와 Y가 정확하게 측정되어 있다.
(3) 오차에 대한 가정
① 오차의 기댓값은 0이다.
② 동분산성(homoscedasticity)를 가정한다. 즉, 각각의 X값에 대한 Y의 분산은 동일하다.
③ 오차항 간에는 자기상관(autocorrelation)이 없다.
④ 오차항은 독립변수와 선형독립(linearly independent)이다.
⑤ 오차의 항은 정규분포한다.
▶ 최소제곱법(least square method): 오차(편차)합을 최소화하는 식으로 회귀계수를 추정하는 방식
2) 상관관계
▶다른 변수와의 연관은 상관관계(correlation)이라 하며, 상관의 정도는 상관계수(correlation coefficient)로 나타낸다.
▶ 결정계수와 피어슨의 적률상관계수
- 결정계수(coefficient of determination)
*오차의 비례적 감소(PRE)의 원리를 이용한 것
☞ 여기서의 결정계수는 아래와 같다.
☞ 또한 결정계수는 아래와 같은 방법으로도 구할 수 있다.
※ 이 때, rxy를 피어슨의 적률상관계수(Pearson’s product-moment correlation coefficient) 또는 표본상관계수(sample correlation coefficient)라 한다. 즉, 상관계수는 X와 Y의 공분산을 X와 Y각각의 표준편차로 나눈 것으로서 그것은 단순회귀식에서의 기울기, 즉 회귀계수를 표준화한 값과 같다.
