(Bayes 학습)(3) 베이즈 정리의 응용성

<Bayes 학습> (1)에서 도출한 아래의 베이즈 정리(Bayes’s Theorem: 이하 Bayes Theorem)는 놀라운 응용성을 갖는다.

                              (1)

베이즈 정리를 보다 일반적으로 사용하기 위해 A를 로, B를 로 바꾸어 아래와 같이 다시 쓰자.

                                   (2)

  • 어떤 불확실한 현상도 가 될 수 있다. 그것은 미지의 모수(unknown parameters)일 수도 있고, 하나의 가설(hypothesis)이나 모형(model)일 수도 있고, 하나의 데이터 점(data point)일 수도 있다.  한 마디로 베이즈 정리는, 어떤 현상에 관하여 우리가 지니고 있는 믿음(prior beliefs)을, 수집된(관찰된) 데이터(data)에 비추어서 그것을 어떻게 갱신하여(update) 새로운 믿음(posterior beliefs)을 갖게 되는가를 말해준다. 즉, 하나의 귀납법적 사유 방식이다. 그것을 다음과 같이 도식화하여 표현할 수 있을 것이다.1  

믿음(prior beliefs)  –> 관찰된 데이터(data) –> 갱신된 믿음(posterior beliefs)

이 도식을 아래와 같이 표현할 수도 있다.

베이즈 정리가 응용될 수 있는 보다 구체적인 사례를 들어보자.

  • 두 그릇의 쿠키가 있다. 그릇 I에는 30개의 바닐라 쿠키와 10개의 초콜렛 쿠키가 들어있고, 그릇 II에는 바닐라 쿠키와 초콜렛 쿠키가 각각 20개씩 들어있다. 만약 당신이 그릇을 쳐다보지 않고  한 그릇으로부터 쿠키 하나를 집었는데 그것이 바닐라 쿠키였다. 그렇다면 그 쿠키가 그릇 I로부터 집었을 확률은 얼마인가?2
  • Let’s Make a Deal이라는 게임쇼는 다음과 같이 진행된다. 사회자 Monty Hall은 출연자에게 세 개의 닫힌 문을 보여주면서, 그중 하나의 문 안에는 자동차가 상품으로 들어있고, 다른 두 문 안에는 땅콩버터나 장식용 손톱 같은 훨씬 덜 값나가는 상품이 들어 있다고 설명한다. 게임은 출연자가 자동차가 들어 있는 문을 알아맞추는 것이다. 만약 출연자가 자동차가 들어 있는 문을 고르면 자동차를 상품으로 받게 된다. 상품은 무작위로 배치되어 있다. 출연자가 문 하나를 고르고 나면, 그 문을 열기 전에 Monty는 나머지 두 문 중 자동차가 들어있지 않은 문을 열어보이면서 출연자에게 기존의 선택을 바꿀 의사가 있는 지 물어본다. 과연 출연자는 자신의 선택을 그대로 유지하는 것이 유리할까요 아니면 다른 문을 선택하는 것이 유리할까요?3
  • 한 철도회사가 자사 소유의 기관차들에 일련번호를 붙였다. 그런데 어느 날 당신이 60이라는 번호가 붙은 기관차를 봤다면, 그 철도회사는 몇 대의 기관차를 갖고 있겠는가?4
  • “벨기에에서 제조된 1유로짜리 동전을 세워서 250회 돌렸더니 앞면이 140회가 나오고, 뒷면이 110회가 나왔다. 이 실험 결과는 그 동전이 한쪽으로 편향되게 만들어졌다는 증거가 될 수 있는가?5
  • 라플라스(Laplace, 1825)의 유명한 질문: “역사의 시작을 5천년 전으로 간주한다면, 인류는 24시간 마다 해가 뜨는 현상을 총 1,826,213번 관찰했다.  이 증거로 볼 때 내일 다시 해가 뜰 확률은 얼마나 되는가?”6
  • 어떤 사람이 word processor에 ‘radom’이라고 입력했다. word processor는 그 단어를 어떻게 읽어야 하나? 그것은 ‘random’이라는 단어의 오기일 수도 있고, ‘radon’이나 혹은 다른 단어의 오기일 수도 있으며, 아니면 사용자의 의도적인 표기이거나 조어일 수도 있다. ‘radom’이 실제 ‘random’의 오기일 확률은 얼마인가?7
  • 2000년 11월 미국 대통령 선거를 앞두고 3월초에 발표된 미국 플로리다주 유권자들의 투표 의사에 관한 한 여론조사에 의하면, 509명의 응답자 중 279명이 조지 부시를 찍겠다고 응답했으며, 230명이 엘 고어를 찍겠다고 응답했다. 이 조사결과에 의하면 적어도 플로리다 주에서는 부시가 고어보다 훨씬 많은 지지를 받는 것으로 보인다. 그런데 과연 그 조사결과를 믿을 수 있을까? 참고로 그 전에 발표된 한 조사기관의 예측에 의하면 2000년 대선에서 플로리다주에서 예상되는 공화당 후보의 지지율이 49.1%이며 표준오차가 2.2%이었다. 이 두 가지 조사결과를 결합하면, 실제 플로리다주에서 공화당 후보인 조지 부시의 지지율이 얼마라고 볼 수 있겠는가?8
  • 라틴 아메리카에서 외국의 위협과 사회혁명의 상관관계에 관한 한 연구에서 다음과 같은 자료가 제시되었다. 각 관찰은 한 국가에서 20년 동안에 발생한 사건이다. 아래 표에서 왼쪽 상단의 칸에 있는 1은 볼리비아의 사례이다. 볼리비아는 1935년에 군사적 패배를 했고, 1952년에 사회혁명을 겪었다. 왼쪽 하단의 칸의 2는 멕시코(1910년 사회혁명)와 니카라구아(1979년 사회혁명)이다. 이 자료를 보고, 라틴 아메리카에서는 군사적 패배를 경험하지 않은 나라보다 군사적 패배를 경험하는 나라가 사회혁명을 겪을 가능성이 더 높다고 결론을 내릴 수 있을까?9
revolution no revolution
Defeated and invaded or lost territory 1 7
Not defeated for 20 years 2 74
  • 임의의 노동자를 반도체 제조공정에 배치했을 때 이 노동자로부터 백혈병이 발생할 확률은 일반인의 백혈병 발병률에 비해 현저하게 높은가? 참고로 2008년 한국 산업안전공단의 조사에 의하면, 반도체 제조업 노동자  139,763명 중 백혈병 암 등록자는 총 16명이었다. 그리고 WHO의 2010년 자료에 의하면 우리 나라의 백혈병 발병률은 10만명 당 2.9명이었다.10

이상의 구체적인 사례들에서 보듯이 베이즈 정리는 온갖 종류의 추론이나 추정, 의사결정, 혹은 가설 검증에 응용될 수 있다. 빈도주의 통계학으로 분석할 수 있는 현상은 모두 베이즈 통계로 분석이 가능하며, 빈도주의 통계학으로 하기 어려운 현상들도 베이즈 통계에 의해 가능한 경우가 많다고 말 할 수 있을 것이다.

베이즈 추론은 세상을 이해하는 하나의 관점 혹은 하나의 인식 과정이라고 간주되어야 할 것으로 생각된다. (윤영민, 2016/03/04)

(주석)

  1. Simon Jackman. 2009. Bayesian Analysis for the Social Sciences. Wiley. p. 29
  2. Allen B. Downey. 2012. Think Bayes. Green Tea Press. p. 3
  3. Downey. p.8
  4. Downey. p.23
  5. Downey. p.33
  6. Jackman. p.57
  7. Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, and Donald B. Rubin. Bayesian Data Analysis, 3rd edition. CRC Press.  p.9
  8. Jackman. p.54
  9. Jackman. p.73
  10. 박종희. 2014. “베이지안 사회과학 방법론이란 무엇인가?” 평화연구 22(1). pp.490-492

상상력은 어디에서 오는가?

Pythagorean-Theorem

직각삼각형에서 빗변의 길이를 제곱한 값과 나머지 두 변의 길이를 각각 제곱하여 더한 값이 일치한다.

중학교 수학 시간에 학생들이 배우는 수학적 경이 중 하나는 피타고라스 정리이다. 그런데 과연 몇 명의 학생이나 그것이 얼마나 위대한 수학적, 과학적, 역사적, 문화적, 그리고 철학적 발견인가를 들으면서 그 정리를 배울까?

내 기억에 따르면, 선생님의 간략한 설명과 함께 우리는 증명을 따라하고, 연습문제와 응용문제를 풀고 또 풀었다. 그래서 우리는 모두 피타고라스 정리를 기억한다. 그 정도면 입시 대비로서 충분하고, 언젠가 간단한 계산에 써먹을 수도 있을 것이었다(물론 나는 지난 40년이 넘은 세월 동안 실생활에서 그 정리를 사용한 기억이 없다). 우리에게 피타고라스 정리는 도형의 면적이나 길이를 구하는 공식에 불과했다(당연한 일인가?). 그리고 온갖 시험에서 우리에게 주어진 경쟁은 그 정리를 이용해서 몇 번이나 ‘꼬인’ 문제를 풀 수 있느냐는 것이었다. 어려운 응용문제를 풀수록 ‘수재’도 되고 ‘천재’도 되었다. 우리는 피타고라스 정리가 피타고라스를 포함한 천재 수학자들이 밝혀낸 ‘우주의 법칙’, ‘자연의 법칙’, ‘진리’, 심지어 ‘신의 섭리’의 일부라는 말을 들은 적이 없다. 그 위대한 진리를 배우면서 우리는 어떤 감동도 느낄 수 없었다.  그냥 그것은 우리가 잘 외우고 써먹어야 할 수많은 수학 공식 중 하나일 뿐이었다.

어디 피타고라스 정리만 그랬겠는가? 누구도 그 정리를 건드려보거나 뒤집어보지 않았다. 피타고라스와 그 정리에 대한 경외심 때문이 아니라 무관심과 무감각 때문이었다. ‘시험’, ‘입시’ 대비 말고 우리가 수학에 관심을 가질 동기가 없었다. 놀랍지 않다. 우리는 중학교 이후 진리 접근으로서의 수학, 논리로서의 수학, 그리고 놀이로서의 수학을 배우지 못했다.

그러니 우리 중 누구도 다음을 묻지 않았다. 만약 가 성립한다면, 도 성립하지 않을까? 는? 는? 그리고 는? 피타고라스 정리를 면적과 길이를 구하는 공식으로 외우는 학생들, 시험 대비용 지식으로만 받아들이는 학생들, 그리고 그 위대한 정리를 아무런 감흥없이 기계적으로 전달하는 선생님으로 채워진 교실에서 그러한 상상은 나오지 않는다.  그리고 그러한 문화에서 페르마(Fermat)나 오일러(Euler)나, 그리고 와일즈(Wiles)가 나올 가능성은 희박하다.

페르마의 정리를 증명하는 일은 300년이 넘는 세월을 기다려야 할 정도로 어렵지만, 을 가지고 로 바꿔보는 시도는 초등학생에게도 어렵지 않게 가능할 것이다. 그리고 그것은 아이들에게 새로운 세계에 들어서는 순간이 될 수도 있을 것이다.

우리 사회에는 유연하고 창의적인 사람들이 절실히 필요하다. 그런데 우리 사회의 학교와 가정은 아이들을 그러한 발상이 가능한 자유롭고 여유로운 환경에 버려두지 않는다. 선생님과 부모에게 주어진 가장 중요한 미션, 그리고 학생들이 내면화한 최고의 목표는 일단 ‘명문’ 대학교에 들어가는 것이기 때문이다.

“쓸데 없는 상상하지 말고 문제 하나라도 더 풀어!” 학습에서 가장 소중한 지적 호기심이 선생님의 그 한 마디에 철없는 태도, 비현실적인 행동으로 전락해 버리고 만다. 학생들의 호기심을 불러일으켜야할 선생님이 학생들의 호기심을 억누르는 반지성적 현장이 되는 것이다.

고등학교 때까지는 입시와 진도의 강박이, 그리고 대학에서는 취업의 강박지적 자극이 없는 학교, 반지성적인 학교를 만들고 있다. 그 때문에 상상은 우리에게 낯선 문화가 되었다. 수학적 상상력, 과학적 상상력, 사회적 상상력, 그리고 문학적 상상력이 낯선 사회가 된 것이다. 이는 대학에서 상상력을 길러주기 위한 과목을 몇 개 개설한다고 해결될 문제가 아니다. 우리 교육 문화에 깊이 내재한 지적 자극의 부재반지성적 경향을 극복해야 한다.  그것들이야말로 우리 아이들의, 그리고 우리 사회 전체의 상상력을 앗아가고 있는 진정한 원인이기 때문이다. <페르마의 마지막 정리>(1998, 사이먼 싱 지금/박경철 역)를 읽고.

즉각적 실천이 필요하다

chartoftheday_4903_renewables_account_for_over_half_of_sweden_s_energy_n 아내가 미세먼지에 대한 자료를 부탁해서 몇 가지 찾아서 보내주었다. 오늘은 외국어체험센터에 중학생들이 교육받으러 온다는데, 미세먼지에 대해 수업하겠다는 것이다. 미세먼지의 정의, 미세먼지의 영향, 미세먼지의 발생요인, 그리고 미세먼지의 가장 큰 발생요인 중 하나인 화석연료의 의존성에 관한 자료를 찾아주었다.

우리나라의 신재생 에너지 비율이 1% 정도인데, 스웨덴은 50%가 넘는다. 대기오염을 예방하기 위해 화력발전의 비중을 줄여야 하고, 국민의 안전을 위해 핵발전의 비중도 줄여야 한다. 그럴려면 한편으로 에너지 사용을 자제하고, 다른 한편으로 태양광, 풍력, 조력, 지열 등과 같은 재생에너지의 사용을 늘여야 한다. 다행히 우리 나라는 풍부한 재생에너지 자원을 갖고 있다. 풀기 어려운 문제이다. 얽히고 섥힌 이해 관계 때문이다.

(Bayes 학습)(2) ‘확률변수’의 확장

베이즈 정리에 대해 논의하기 전에 확률변수(random variable)에 대해 생각해보자. 베이즈 추론에서 관찰 데이터뿐 아니라 모수(population parameter)도 확률변수로 간주될 수 있다는 말이 기존 (빈도주의) 통계학의 관점에서는 잘 납득이 가지 않는다. 모수는 우리가 알고싶고, 그래서 추론하려고 하는 진리값(예컨대 )인데, 그것이 어떻게 확률변수로 간주될 수 있다는 말인가?

통계학을 배운 지 오래 된 사람들은 아마도 수학적인 변수(mathematical variables)확률변수가 잘 구분되지 않을 것이다. 수학적인 변수는 흔히 로 표현되며, 값이 특정되어 있지 않아 여러 가지 값을 가질 수 있는 문자이다. 그것은 방정식에서는 미지수를 가리키며, 사회과학 이론에서는 변할 수 있는(즉, 여러 개의 값을 가질 수 있는) 개념(혹은 그것이 가리키는 사회현상)을 가리킨다.  그런 의미에서 변수 상수(constant)의 반대 개념이다.

확률변수는 어떤 (통계적) 실험(experiment) 혹은 확률과정(random process)의 결과에 숫자가 부여되는 함수(function)이다. 그리고 이산 확률변수(discrete random variable)는 각 값(value)에 대응하는 확률(probability)을 가지며, 연속 확률변수(continuous random variable)는 확률밀도(probability function)를 갖는다. 고등학교 수학교과서에는 확률변수가 아래와 같이 정의되어 있다.

“한 시행에서 표본공간을 정의구역으로 하는 실수함수(즉 공변역이 실수의 집합인 함수)를 확률변수라 한다.”

예를 들어, 한 동전을 2회 던져서 나오는 앞면의 수(혹은 뒷면의 수)는 확률변수이다. 앞면을 H, 뒷면을 T라고 하면, 표본공간 는,

이다. 앞면의 수를 라고 하면, 의 값은 원소 TT, TH, HT, HH에 대해 0, 1, 1, 2와 같이 대응한다. 그리고가 0일 확률 은 1/4이며, 은 2/4이고, 는 1/4이다. 여기서 앞면의 수 는 확률변수이며, 그 확률변수는 동전 던지기라는 확률 과정에 의해 생성된다. 통상 수학적 변수는 소문자 로 표시되지만 확률변수는 대문자 로 표시된다.

확률변수도 변수의 한 유형이다. 그러나 수학적 변수와는 두 가지 점에서 구분된다. 하나는 확률변수가 어떤 실험이나 확률과정의 결과라는 점이고, 다른 하나는 확률변수의 각 값은 확률 혹은 확률밀도를 갖는다는 사실이다. 확률변수의 각 값과 그에 대응하는 확률을 표나 그래프로 나타내는 것이 확률분포(probability distribution)이다. 확률변수와 달리 수학적 변수는 확률분포를 갖지 않는다.

따라서 확률변수와 확률분포에 관해 생각할 때는, 첫째, 우리가 관심을 갖는 확률변수가 무엇인가, 둘째, 그 확률변수의 값을 생성시키는 확률과정(혹은 통계적 실험)은 무엇인가, 셋째, 그 확률과정의 표본공간(sample space)은 무엇인가, 넷째, 생성된 확률변수는 어떤 값들을 갖는가, 그리고 다섯째, 각각의 확률변수 값에는 어떤 확률(혹은 확률밀도)이 대응하는가(즉, 확률분포는 어떤 모습인가)를 분명히 파악하고 시작해야 한다.

베이즈 추론은 바로 그러한 확률변수와 확률분포의 파악에서부터 출발해야 한다. 왜냐하면, 베이즈 추론은 사전정보(prior)라고 불리는 확률분포를 상정하고, 관찰한 데이터에서 얻은 정보(우도함수, likelihood function)를 가지고 그 확률분포를 갱신하여(update) 사후 (확률) 분포(posterior distribution)를 추정하는 과정이며, 베이즈 추론의 시작과 끝은 (확률) 분포라고 할 수 있기 때문이다. (윤영민, 2016/03/02)

복수초

SAMSUNG CSC
복수초

아직 영하의 추위가 계속 되고 있는데 복수초(草)가 피었다. 작년 겨울에 마을 이웃 김 목수 부인이 몇 무더기를 선물로 주었다.

한 해 동안 지켜 보니 복수초는 해가 환히 빛나는 대낮에 꽃잎을 폈다가 어두워지면 오무라졌다. 흐린 날에는 한낮에도 꽃이 활짝 벌어지지 않았다. 그리고 6월쯤 되어 날이 더워지면서 녹아서 사라져 버렸다. 그들의 존재를 한참 잊고 있었는데 2월이 되니 다시 저렇게 피어났다. 이 야생화는 햇빛은 좋아하면서도 더위는 싫어하는 까다로운 성격인 모양이다.

새해 들어 정원에 처음 피어난 꽃이라 그런 지 아주 반갑고 정겹다. (윤영민, 2016/03/01)

(Bayes 학습)(1) ‘확률’을 새롭게 인식하며

고등학교 수학 교과서에 따르면 어떤 “사건이 일어날 확실성을 수량적으로 나타낸 것”이 확률(probability)이다. 근원 사건이 같은 정도로 일어난다고 가정할 때, 어떤 사건의 확률 P(A)은 사건 A가 일어나는 경우의 수()를 일어날 수 있는 모든 경우의 수(N)로 나눈 값이다. 이것을 수학적 확률이라고 한다.  (참고로 근원 사건이란 더 이상 분해되지 않는 사건을 말한다.)

P(A) = {N_A \over N} .

두 개의 주사위를 동시에 던질 때, 눈의 합이 5로 되는 확률을 예로 들 수 있을 것이다. 전자의 경우를 보면, 표본공간(sample space) N은 6*6 = 36이고, 눈의 합이 5가 되는 사건(event)은 (1,4), (2,3), (3,2), (4,1)의 4 가지이므로 구하는 (수학적) 확률은 4/36 = 1/9이다.

그러나, 현실은 동전이나 주사위 던지기가 아니다. 근원 사건이 같은 정도로 일어난다는 가정이 성립되지 않을 수도 있고(예: 혈액형 유형별 발생 확률), 표본공간 N의 크기가 알 수 없거나 무제한 일 수도 있을 것이다. 그런 경우 수학적 확률을 구하기 어렵거나 심지어 불가능할 것이다. 그럴 때 우리는 통계적 확률로 수학적 확률을 대신한다.

시행의 횟수 n이 커짐에 따라 사건 A가 일어나는 상대빈도(relative frequency) 이 일정한 값 p와 거의 같다고 간주할 수 있을 때, 그 p를 통계적 확률이라고 말한다.

\lim_{n \to \infty}{n_a \over n}=p

상대빈도와 확률 사이에 이러한 관계를 성립시켜주는 것은 대수의 법칙(the law of large numbers)이다. 대수의 법칙에 따르면 통계적 확률과 수학적 확률이 일치한다. 따라서 수학적 확률을 알 수 없을 때 통계적 확률을 대신하고, 상대빈도로 통계적 확률을 근사할 수 있다.

예컨대 100원짜리 동전을 던져서 앞면이 나올 통계적 확률을 구하기 위해서는 실제로 동전을 한 1천번 정도 던져보아야 한다. 만약 정말로 1천번을 던져서 앞면의 수가 501번이 나왔다면 통계적 확률이 1/2이라고 말할 수 있다.

여기까지가 중고등학교에서 배운 확률의 정의이다. 이 확률의 정의를 가지면 현실의 문제를 다루는 데 충분할까?

사실 현실에서 상식적으로 확률을 그런 의미로 사용하는 경우는 드물다. “우리 아이가 A 대학에 붙을 확률이 얼마나 될까요?” “북한이 남한에 대해 미사일 공격을 가해 올 확률이 얼마나 될 거라고 생각하세요?” “내일 오전에 비가 내릴 확률이 얼마나 될까요?” “소풍 가는 날 맑은 날씨일 확률이 얼마나 될까요?” “더민주당이 총선 이후 다시 제1야당이 될 확률이 얼마나 될까요?” “안철수 의원이 새정치국민연합을 탈당할 확률이 얼마나 될까요?” “백혈병 환자의 5년 이상 생존율이 얼마나 되나요?” “말기 폐암 환자가 1년 이상 생존할 확률이 얼마나 되나요?” “저 백혈병 환자가 1년 이상 생존할 확률이 얼마나 될까요?” “에이즈 검사 결과가 양성으로 나온 저 남자가 실제로 에이즈에 감염되었을 확률은 얼마나 되나요?” “그녀가 사업에 성공할 확률이 얼마나 될까요?” 이 사례들은 모두 정당한 확률적 의문이다.

즉, 이 사례들에서 보듯이 현실에서 사람들은 확률을, 반복적이지 않은 사건의 객관적인 발생 가능성을 가리키는데 사용하기도 하고, 또 어떤 사건의 발생 가능성에 대한 주관적인 믿음의 정도(degree of belief)나 지식의 상태(state of knowledge)를 가리키는데 사용하기도 한다.

수학적 확률이나 상대빈도(relative frequency)는 반복적으로 많은 횟수가 발생하는 사건의 객관적인 발생 가능성을 숫자로 나타내는 데 유용함이 분명하다. 그러나 희소한 사건의 발생 가능성, 혹은 반복적이지 않은 사건의 발생 가능성은 어떻게 숫자로 표현할까? 혹은 어떤 사건의 발생 가능성에 대한 전문가의 확신을 추정이나 예측에 반영할 수 있는 길은 없을까?

베이즈 추론(Bayesian inference)은 그러한 상상에 유용한 접근 방법이 될 수 있다. 관찰값이 주어졌을 때, 그것으로부터 관찰이 불가능한 모수(parameters)의 값을 추정하거나, 또는 관찰값이 주어졌을 때, 그것으로부터 미래에 혹은 다른 사례에서 동일한 현상이 나타날 가능성을 예측하는데 대단히 유용할 수 있다.

베이즈 추론은 “관찰값이 주어졌을 때”, 다시 말해 어떤 특정한 조건이 주어졌을 때, 모수를 추정하거나 미지의 수를 예측하기 때문에 근본적으로 조건부 확률(conditional probability)이다. 조건부 확률을 복습하면서 베이즈 정리를 도출해 보자.

사건 A가 일어났을 때의 사건 B의 조건부 확률 P(B|A)는

 , P(A) ≠ 0

으로 표시된다. 여기서 양변에 P(A)를 곱하면,

가 된다. 이것은 바로 확률의 곱셈정리이다.

그런데 집합의 교환법칙에 따르면,  이므로,

가 된다. 여기서 양변을 P(A)로 나누면,

   , P(A) ≠ 0

베이즈 정리(Bayes Theorem)가 도출되었다. 말로 풀어보면, 사건 A가 일어났을 때 사건 B가 일어날 조건부 확률 P(B|A)은 사건 B가 일어날 확률 P(B)에, 사건 B가 일어났을 때 사건 A가 일어날 조건부 확률 P(A|B)를 곱한 값을 사건 A가 일어날 확률 P(A)로 나눈 값과 같다. 베이즈 추론은 이 베이즈 정리에서 출발한다. 이 정리가 그렇게 중요할 줄은 고등학교 때는 물론이고, 대학 수학 시간이나 대학원 통계학 시간에도 상상하지 못했다. 다음에는 베이즈 정리를 좀 깊이 이해해 보자. (윤영민, 2016/02/29)

끝낼 수 없는 도전

SAMSUNG CSC
데이터사이언스 워크숍

필암문화원에서 어제(토요일) 오후 4시부터 오늘 오후 2시까지 마라톤 워크숍을 가졌다. 대구에서 온 전채남 박사와 김희대 박사, 서울에서 온 나의 대학원 학생들(유자현, 정성호, 구경모), 그리고 막내와 내가 참여했다. 나는 베이즈 통계 부분을 리드하고 막내는 파이썬 프로그래밍 파트를 리드했다.

두 명씩 서로 도와가면서 학습하는 페어 프로그래밍(pair programming) 방식으로 진행했다. 참가자들이 준비를 잘 해온 덕분에 상당히 많은 내용을 소화할 수 있었다.

워크숍의 목표는 지난 겨울방학 동안에 공부한 베이지안 통계(Bayesian statistics)와 파이썬(Python)(프로그래밍 언어)을 총복습하는 것이었다. 빈도주의(frequentism)라고 불리는 기존의 확률과 통계 분석에만 익숙한 사람들이 베이즈주의(Bayesianism)에 입문하기가 쉽지 않다. 확률에 대한 개념이 다르고, 분석 과정도 다르며, 수학과 컴퓨터 지식도 더 많이 요구된다. 또한 SAS와 같은 통계패키지를 사용하면 굳이 프로그래밍 언어를 배우는 수고를 하지 않아도 베이지안 통계분석을 실행할 수 있지만. 프로그래밍을 하면서 배우는 것이 베이지안 통계를 더욱 철저히 배울 수 있고, 나아가 인공지능(artificial intelligence)과 기계학습(machine learning)을 공부하는데도 도움이 되리라 생각되어 어려운 길을 택했다.

베이즈 통계를 사용하려면 몇 가지 핵심적 개념과 원리, 분석과정, 분석도구를 제대로 이해해야 한다. 간략히 제시하면 다음과 같다.

  • 베이즈 통계에서는 확률(probability)이란 특정 상황의 불확실성을 평가하는 데 있어 개인이 갖는 믿음의 정도(degree of belief)(혹은 확신의 정도(degree of confidence))를 말한다.
  • 베이즈 통계에서는 모든 표본값(sampling statistics)과 모수(parameters)가 확률변수(random variable)이다(일 수 있다).
  • 따라서 베이즈 통계의 알파와 오메가는 확률분포(probability distribution)이다.
  • 베이즈 통계의 출발은 조건부 확률(conditional probability)이다.
  • 베이즈 통계의 핵심은 베이즈 정리(Bayes Theorem)이다.
  • 베이즈 통계를 이해하고 실행하려면 수학에서 순열과 조합, 미적분, 집합, 그리고 특히 행렬대수(matrix algebra)를 알아야 한다.
  • 베이즈 추론에는 수학적 해 대신에 통계적 근사치를 사용한다.
  • 베이즈 추론에는 컴퓨터 시뮬레이션이 적용된다.
  • 컴퓨터 시뮬레이션을 하는 데는 MCMC(Markov Chain Monte Carlo) 방법이 사용된다. MCMC를 이해하려면 특히 마르코프 연쇄랜덤 워크(random walk) 이론을 잘 파악해야 한다.
  • MCMC 방법을 사용하여 사전 분포(prior distribution)로부터 수만 개 혹은 수십만 개의 수를 생성하여 모수를 근사(approximate)한다.
  • 베이즈 추론 과정은 크게 네 부분으로 구성된다. (1) 사전정보(prior)(사전 분포) 추정(편의상 우도함수와 같은 계열의 함수를 채택하는 방법을 쓴다 <– 공액함수(conjugate prior)라고 불린다),  (2) 데이터의 우도 함수(likelihood function) 추정. (3) 우도함수를 가지고 사전분포를 갱신(update)하여 사후 함수를 구한다. (4) 절차의 적절성을 평가한다. 특히 시뮬레이션의 수렴(convergence)에 대해 평가해야 한다.
  • 평가 결과가 만족스럽지 않을 경우 확률모형을 수정하거나 절차를 개선하여 다시 추론 과정을 밟는다.

두 달 후에 가질 2차 워크숍에서는 MCMC와 평가를 보다 깊이 있게 이해하고, 파이썬을 사용해서 모수 추정 뿐 아니라 예측이나 가설 검증도 해 보아야 겠다.

정년도 몇 년 남지 않았는데, 과연 이렇게 낯선 공부를 해야할까 하는 생각이 들기도 한다. 하지만 이 시대에 인공지능을 이해하지 못하면서 사회적 불평등, 일, 직업, 그리고 인간의 행복에 대해 사회학적으로 발언하고 개입할 수 있겠는가. 사회학자이기를 그만 두지 않은 한 도전을 멈출 수 없을 것이다. (윤영민, 2016/02/29)

장미가 아름다운 이유

SAMSUNG CSC2014년 6월 26일

장미동산이 겨울잠에서 깨어난다. 지금부터 12월까지 장미와 많은 시간을 보내게 될 것이다. 전정을 하고, 좋은 묘목을 구하고, 묘목을 심고, 지지대를 만들어주고, 거름을 주고, 물을 주고, 약을 주고….그리고 꽃과 대화를 나눈다.

장미를 건강하고 아름답게 키우려면 잠시도 방심할 수 없다. 어쩌면 장미가 아름다운 이유는 주인의 엄청난 애정과 보살핌 때문일 것이다.

SAMSUNG CSC2015년 5월 21일

따뜻한 남도에서는 5월부터 11월까지 정원에 장미꽃이 핀다. 물론 5월의 장미가 가장 건강하고 아름답기는 하지만 눈과 서리 속이라고 장미가 예쁘지 않은 것은 아니다.

장미의 강적은 습기와 진딧물이다. 장미 잎은 항상 건조한 상태를 유지해야 한다. 그래서 비가 자주 내리는 장마철을 온전히 나기가 쉽지 않다. 또한 벌레들이 장미를 무척 좋아한다. 특히 진딧물이 그렇다. 진딧물을 철저히 잡아주지 않으면 꽃봉우리조차 성하지 못하게 된다.

과연 그렇게 많은 공을 들여가면서 키워야할만큼 장미가 매력적인 꽃인가? 내게는 그렇다. 릴케에게도 그랬을 것이다. 꽃을 사랑하는 누구에게라도 그렇지 않을까. (윤영민, 2016/02/21)

“부유하다”와 “잘살다”가 구분되었으면

wellbeing1

우리 말에서 “잘살다” = “부유하게 살다”이다. “그집은 아주 잘살아!”라는 말은 “그집은 아주 부자다”, “그집은 아주 부유하다”라는 의미이다.

우리 사회가 진정으로 살기좋은 나라가 되기 위해서는 그러한 언어 사용에 변화가 일어나야 한다. “잘살다”가 “부유하다”와 분화되지 않으면 새로운 시대 지향에 대한 사회적 합의를 도출하는데 혼란이 끊이지 않을 것이다.

“잘하다”가 “훌륭하다” 혹은 “멋지다”는 의미인 것처럼 “잘살다”를 “행복하게 살다”, “현명하게 살다”와 같은 의미에 국한시켜서 사용할 것을 제안한다. 영어에서는 “부유하다”를 표현할 때 richness, affluence, wealth라는 단어를 사용하고, “행복하게 산다”, “현명하게 산다”를 표현할 때는 well-being이라는 단어를 사용한다.

물론 서구사회에서도 well-being이라는 단어가 비교적 신조어일 것이다. 스펠링이 아직 wellbeing이라고 굳어지지 못하고 well-being과 혼용되는 것을 보면 그렇게 짐작된다. 그것은 서구 국가들에서도 경제적으로 풍요로워지면서 진정으로 잘 사는 것이 무엇인지에 대한 성찰과 함께 새롭게 등장한 어휘일 것이다.

지난 반 세기 이상 경제가 급속히 성장하면서 우리나라는 J.K. Galbraith가 말한 “풍요로운 사회”에 진입했다. 부유한 나라가 된 것이다! 구매력 기준으로 우리 나라의 1인당 국민소득은 약 3만5천달러로 일본, 프랑스, 이탈리아, 뉴질랜드 등 소위 선진국가들과 어깨를 나란히 하고 있다. 물론 대다수의 국민들은 그 사실을 별로 느끼지도 흔쾌히 인정하지도 못하겠지만 말이다.

인식 전환의 핵심은 삶의 지향이 “부자되기”가 아니라 “행복해지기”가 되어야 한다는 것이다. 나는 “행복“을 영어의 well-being에 해당되는 단어로, 그리고 “잘살다”행복을 추구하며 지혜롭게 산다”는 의미의 동사로 사용하기를 제안하다.
wellbeing-wheel

풍요로움 혹은 재산(돈)은 행복을 위한 경제적 조건에 불과하며, 어느 정도 이상으로 소득이 증가하면 소득은 행복을 증가시키는데 별로 기여하지 못한다(Easterlin paradox). 행복(well-being)은 경제적 조건 외에 사회적 관계, 신체적 여건, 심리적 상태, 환경적 여건, 직업 등 여러가지 요인들에 의해 좌우된다(그림 참조).

지난 반세기 동안 가난에서 벗어나 부자가 되기 위해 밤낮으로 노력하면서 우리는 부자가 되면 당연히 행복해질 줄 알았다. 그런데 그것은 진실이 아니었다! 오늘날 우리 사회의 여러가지 지표가 그것을 증명한다. OECD 국가들 중 자살률 1위, 자살증가율 1위, 노인 빈곤율 1위 등등. 우리 사회는 부유하지만 가장 불행한 나라가 된 것이다.

이제 우리 사회는 어떻게 사는 것이 잘 사는 것인지, 어떻게 해야 행복해 질 수 있는지에 대한 근본적인 물음을 제기해야 한다. 그리고 행복에 이르는 지름길을 찾아가야 한다. 그 전환을 더 이상 미뤄서는 안 될 것이다. (윤영민, 2016/2/20)

여의도 효과

IFC몰 지상 입구

서울은 맥박을 고동치게 한다. 특히 여의도에 가면 도전 의식이 꿈틀거리며 살아난다. 국회의사당, 방송국, 금융가….

2시간 30분이면 내 육체가 전통의 필암마을에서 여의도의 초현대식 IFC빌딩에 들어간다. 돌아올 때도 마찬가지이다. 나는 21세기 환경에서 2시간 30분만에 16세기 환경으로 돌아온다.

그 때마다 나는 문화인류학에서 말하는 데페이스망(Depaysement)을 경험한다. 전혀 다른 환경에 놓임으로써 자신이 속한 세계를 새롭게 바라보게 되는 것이다. 남태평양의 외딴 섬에 가서 원시부족과 함께 지내던 인류학자가 런던에 돌아오면서 경험하던 것과 유사한 정신현상을 나는 여의도를 방문하고 돌아올 때마다 경험하고 있다. 그것을 여의도 효과라고 불러도 좋을 듯하다.

그렇다고 다시 서울로 돌아가서 살고싶은 생각은 추호도 없다. 도시와 인공환경보다 농촌과 자연환경이 내게는 훨씬 더 편안하고 훨씬 더 생산적이다. 가끔 내가 21세기에 살고 있다는 사실을 잊지 않을 정도로만 서울을 다녀오면 충분하다. (윤영민, 2016/2/19)