통계공부/개념 및 이론

홍두승, 설동훈(2012). 사회조사분석 - Ch12. 회귀분석과 경로분석(1)

대학원생A씨 2021. 3. 10. 09:00
반응형

해당 포스팅은 홍두승과 설동훈이 집필한 「사회조사분석」의 내용을 정리한 것으로 모든 출처는 아래와 같다.

 

홍두승, 설동훈(2012). 「사회조사분석」. 서울: 다산출판사

Ch12. 회귀분석과 경로분석

회귀분석

1) 회귀분석의 기초

회귀분석: 두 개 이상의 변수들 간의 관련성을 찾아내기 위하여 사용하는 분석 기법으로 변수들 간의 관계식을 찾아내고, 그 관계식의 정확도 등을 검토하는 통계적 방법

단순회귀분석(simple regression analysis): 하나의 독립변수 X의 값으로 종속변수 Y의 값을 예측하는 회귀분석의 가장 간단한 형태

회귀분석에서의 가정

   (1) 특정화 과정에서 오차(specification error)가 없다. , XY의 관계는 선형이며, 종속변수를 설명하는 데 적절한 독립변수는 모두 회귀식에 포함되어 있다.

   (2) 측정오차(measurement error)가 없다. , XY가 정확하게 측정되어 있다.

   (3) 오차에 대한 가정

     ① 오차의 기댓값은 0이다.

     ② 동분산성(homoscedasticity)를 가정한다. , 각각의 X값에 대한 Y의 분산은 동일하다.

     ③ 오차항 간에는 자기상관(autocorrelation)이 없다.

     ④ 오차항은 독립변수와 선형독립(linearly independent)이다.

     ⑤ 오차의 항은 정규분포한다.

최소제곱법(least square method): 오차(편차)합을 최소화하는 식으로 회귀계수를 추정하는 방식

 

 

2) 상관관계

 다른 변수와의 연관은 상관관계(correlation)이라 하며, 상관의 정도는 상관계수(correlation coefficient)로 나타낸다.

결정계수와 피어슨의 적률상관계수

   - 결정계수(coefficient of determination)

*오차의 비례적 감소(PRE)의 원리를 이용한 것
☞ 여기서의 결정계수는 아래와 같다. 

☞ 또한 결정계수는 아래와 같은 방법으로도 구할 수 있다.


※ 이 때, rxy를 피어슨의 적률상관계수(Pearson’s product-moment correlation coefficient) 또는 표본상관계수(sample correlation coefficient)라 한다. 즉, 상관계수는 X와 Y의 공분산을 X와 Y각각의 표준편차로 나눈 것으로서 그것은 단순회귀식에서의 기울기, 즉 회귀계수를 표준화한 값과 같다.

 

반응형