사회통계(9): 변이를 보여주면 금상첨화

[문제] US Census Bureau가 1996년 조사한 자료(32,561 명)가 아래 링크되어 있다. 미국 UCI의 machine learning 데이터베이스에서 가져왔다. 이 데이터의 첫 열은 응답자의 나이(age)이다. 응답자의 나이에 대한 다음 통계값을 구하라. (어떤 통계 소프트웨어를 사용해도 무방하나 가급적 MS Excel을 사용하기 바람.)

평균, 중앙값, IQR, 분산, 표준편차, 박스 플롯, 첨도, 왜도

데이터: Adult.data 

평균, 중앙값(median) 혹은 최빈값(mode) 같은 중앙집중 경향(central tendency)은 데이터 분석의 출발점으로 충분하다. 그러나 만약 관측값들이 중앙집중 경향을 중심으로 어떻게 변화하는지[즉, 변이(variability)]를 보여줄 수 있으면 금상첨화일 것이다.

데이터 분석에서 변이를 나타내는 도구로는 IQR, 분산, 표준편차, 박스 플롯(box plot), 첨도와 왜도가 자주 사용된다. 기초적인 도구들이지만 잘 사용하면 데이터에 관해 상당한 정도의 스토리를 추가할 수 있다.

(1) IQR(Interquartile Range, 사분위수 범위)는 3사분위수와 1사분위수의 차이()이다. 사분위수란 데이터를 정확히 4등분해주는 수들을 말한다. 3사분위수가 상위 25%, 1사분위수가 하위 25%를 구분해주는 수이니, IQR은 데이터의 중앙 50%의 범위이다. IQR은 극단값들의 영향을 줄이기 위한 변이 척도이다.  IQR은 의외로 활용도가 높다. 기억해둘만한 충분한 가치가 있다.

(2) 분산(variance)은 편차 제곱의 평균이다. 편차란 관측값과 평균의 차이를 말한다. 분산은 모든 관측값을 빠짐없이 투입해서 계산되는 변이 척도이다.

모집단 분산의 공식은 이고, 표본 분산의 공식은 이다.

(3) 표준편차(standard deviation)는 분산의 양의 제곱근이다. 모집단의 표준편차 계산공식은  이고, 표본표준편차의 계산식은 이다. 표준편차는 데이터를 표준화하는데 사용된다. 예컨대 z-값(z-score)은 편차를 표준편차로 나눈 값으로 모든 데이터의 상대적 위치를 표준편차의 배수로 나타내고, 두 변수 x와 y의 공분산(covariance)을 x의 표분편차와 y의 표준편차의 곱으로 나누어 표준화하면, 측정 단위로부터 자유로운 상관계수(correlation coefficient)를 얻는다.

(4) 박스 플롯(box plot)은  중앙값, 3사분위수(), 1사분위수(), 내의 최소값, 내의 최대값, 이렇게 다섯 개의 숫자로 표시한다(아래 그림 참조).

박스 플롯은 이상치(outliers)를 발견하는 용도로 자주 사용된다. 박스 플롯의 상한선과 하한선을 벗어난 데이터는 이상치로 간주된다.

(5) 왜도(skewness)와 첨도(kurtosis)는 분포의 비대칭도를 나타낸다. 왜도는 분포가 어느 쪽으로 얼마나 기울져 있는지를 보여주고, 첨도는 분포가 얼마나 중심에 집중되어 있는지를 보여준다.

왜도와 첨도는 모멘트(moment, 적률)라는 모수를 이용하여 구한다. 모멘트는 분포의 모양을 보여주는 모수(parameter)이다. 통계학으로 세상을 이해하는데 있어 가장 중요한 정보는 확률변수의 분포(distribution)이다. 통계적으로 세상에 대해 설명하거나 예측하려면 확률변수가 어떻게 움직이는가를 파악해야 한다. 확률변수의 움직임은 분포로 나타낸다.

어떤 확률변수의, 분포의 중심이 어디에 있는지, 분포가 얼마나 퍼져 있는지, 분포가 어느 쪽으로 치우져 있는지, 분포가 중심에 얼마나 몰려있는지를 알면 우리는 그 확률변수에 대해 상당히 파악한 셈이다. 모멘트는 그러한 분포의 모습을 알려주는 모수이다.

확률변수 X의 1차 모멘트는 기대값 , 곧, 평균 ()으로, 분포의 중심을 보여준다. 2차 모멘트부터는 중심 모멘트(central moment, 중심 적률)라고 부른다. 확률변수 X의 2차 중심 모멘트(혹은 X의 평균에 대한 2차 모멘트라고도 함)는 분산 으로 분포의 변이(흩어짐의 정도)를 보여준다.

X의 3차 중심 모멘트는, 아래와 같이 분포가 어느 쪽으로 기울어져 있는지, 즉, 왜도를 정의하는데 사용되고, X의 4차 중심 모멘트는 분포가 중심에 얼마나 몰려있는지, 즉, 첨도를 정의하는데 사용된다.

(는 3차 중심 모멘트; 는 표준편차의 3승)

(는 3차 중심 모멘트; 는 표준편차의 4승)

왜도와 첨도의 값은 다음과 같이 해석된다. 왜도가 0이면 자료의 분포가 정규분포처럼 좌우 대칭이고, 양수이면 오른쪽 꼬리를 가진 분포이며, 음수이면 왼쪽 꼬리를 가진 분포이다. 첨도가 3이면 정규분포와 봉우리 높이가 같고, 3보다 크면 정규분포보다 높은 봉우리를 가지며, 3보다 작으면 정규분포보다 낮은 봉우리를 가진다.

엑셀의 추가기능인 KESS를 사용해서 [문제]를 풀어 다음과 같은 결과를 얻었다.

나이 평균(38.58)이 중앙값(37)보다 크고 왜도가 양수이니 그림에서처럼 분포가 오른쪽에 꼬리를 가지고 있음을 알 수 있다. 이는 상한선(3분위수+1.5*IQR)을 벗어나는 나이를 가진 응답자 여러 명이 표시된 박스플롯의 그림과도 일치한다.

나이의 평균에 변이 정보들이 추가되니 표본의 분포에 대해 좀 더 알 수가 있다. 여기서 소개된 변이 척도들을 잘 기억해두면 쓸모가 있을 것이다. (윤영민, 2017-08-25)

글쓴이: 만리거사

한양대학교 ERICA 캠퍼스 정보사회학과의 윤영민 교수입니다.

답글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.