사회통계를 위한 미적분 복습

미적분을 알면 지금 시대에 맞는 사회통계를 배우기가 좋다. 크게 어려운 정도는 아니고 고등학교 수준보다 약간 더 알면 충분하다. 함께 미적분의 기초를 복습하자.

x의 함수 y가 있을 때 x의 미세한(혹은 순간적) 변화가 y에 초래하는 영향을 함수의 변화율로 알아보는 것이 미적분이다.

미분(differential)

예를 들어 정지상태에 있던 물체가 t초 동안에 낙하는 거리를 s(m)라고 하면, 인 관계가 있다고 한다(정영진, 1985).

(1) t = 2(초)에서 (는 매우 짧은 시간을 가리킴) 동안에 낙하한 거리와 평균속도를 구하는 방법을 생각하라.

(2) t = 2(초)인 순간의 속도를 나타내는 방법을 생각하라.

함수 에 있어서 x가 에서 로 변하면 함수의 값은 에서 까지 변한다.

로 놓으면 x가 (x의 증분)만큼 변함에 따라서 y가 (y의 증분) 만큼 변함을 가리킨다.

x의 증분에 대한 y의 증분의 비

을 x가 에서 로 변할때 함수 의 평균 변화율이라 한다.

2초 후의 순간 속도는 평균속도 에서 일 때의 극한값이다.

함수 에서의 미분계수(변화율)는 다음과 같이 정의된다.

미분계수의 기하학적 의미는 함수 곡선에 대한 접선의 기울기이다.

그런데, 을 변수 로 바꾸어 놓으면 미분계수 는 함수 가 된다. 이 함수를 함수 의 도함수라고한다.도함수를

등으로 나타낸다.

의 도함수를 구하는 일을 x로 미분한다(differentiation)고 한다. 의 도함수는 아래와 같다.

미분계수나 도함수를 구하는데 극한의 계산을 하는 것이 번거로우므로, 다음과 같은 공식을 사용하여 미분한다.

(1) (c는 상수)

(2) (복호동순)

(3)

(4) (c는 상수)일 때,

(5) (n은 자연수)일 때,

(6)

예제) 다음 함수를 미분하라.

(1) (2) (3)  

해제) (1)

(2)

(3)

적분(integral)

적분은 미분의 역연산이다. 함수 가 주어졌을 때,

와 같이 되는 함수 의 부정적분이라 하고, 기호

로 나타낸다. 의 부정적분을 구하는 일을 를 x로 적분한다(integration)고 한다. 참고로 적분구간이 정해져 있지 않은 적분을 부정적분, 적분구간이 정해져 있는 적분을 정적분이라고 한다.

부정적분은 다음과 같이 정의된다.

일 때, 임의의 상수 C에 대하여

(C는 적분상수)

부정적분을 구하는데는 다음 적분공식이 사용된다.

(1)

(2) (n은 자연수)

(3) (c는 상수)

(4) (복호동순)

함수 가 구간 에서 연속일 때, 극한값을 정적분이라고 한다.

이 정적분을 구하는 일을, 를 a에서 b까지 적분한다고 한다. 이 정적분의 정의를 이용하여 곡선 아래의 면적을 구할 수 있다.

Integral - Simple English Wikipedia, the free encyclopedia

구간 에서 연속인 곡선

와 x 축, 사이에 끼인 부분의 면적

적분의 기본 정리

a, b 를 가 연속인 구간에 속하는 임의의 두 수라고 하고, 일 때,

예제) (1) (2)

해제) (1) 이므로

와 같이 되므로 정적분에서는 적분상수를 고려할 필요가 없다. 따라서 다음과 같이 푼다.

(2)

정적분의 성질

(1) 에서 일 때

(2) 

(3)

(4)

 

이중적분(double integral)

이중적분은 변수가 하나(e.g. X)인 함수에서 둘(e.g. X, Y)인 함수로의 논리적 연장일 뿐 여전히 적분이다. 기하학적으로 말하자면 적분은 곡선 아래의 면적을 구하는 일이지만 이중적분은 곡면 아래의 부피를 구하는 일이다. 선이 면이 되는 것이다.  아래 그림은 이 차이를 잘 보여준다. 왼쪽 그림은 함수 f(x)의 x에 대한 적분을 나타내고, 오른쪽 그림은 함수 f(x, y)의 x와 y에 대한 적분을 나타낸다.

Double and Triple Integrals - YouTube

이중적분은 적분에서 다음과 같이 몇 가지가 달라진다.

(1) 한 변수 함수의 적분에서 두 변수 함수의 적분으로 바뀐다().

(2) 적분 기호가 두 개로 바뀐다().

(3) 적분의 범위가 길이 구간 ( )에서 영역(R)으로 바뀐다.

(4) 넓이를 가지고 하는 정의에서 부피를 가지고 하는 정의로 바뀐다.

아래 그림에서 영역 R은 다음과 같이 표시된다.

5.1 Double Integrals over Rectangular Regions - Calculus Volume 3 | OpenStax

그리고 에서 일 때, 영역 R 위에서 에 의해 만들어지는 입체의 부피(위 그림 참조)는

가 된다.

실제 계산은 x(안쪽 변수)에 대해 먼저 적분하고, 그렇게 해서 얻은 적분값을 다시 y(바깥쪽 변수)에 대해 적분하면 된다. 예컨대

를 풀어보자. 여기서는 y가 안쪽 변수이니 y에 대해서 적분을 먼저하고 그렇게 해서 구한 값에 대해 x에 대해 적분한다.

이상으로 결합확률분포 계산에 필요한 미적분법을 간략히 복습했다.

데이터과학을 위한 수학 복습(4)

이번에는 미분과 시그마(∑)를 복습하자. 데이터과학에서 미분은 아주 중요하다. 최대값이나 최솟값을 구하는 도구로 사용되기 때문이다. 미분(derivative)이란 어느 순간에 발생하는 변화량이다. 그 변화량이 기울기이다. 미분은 다음과 같이 표시된다.

함수 가 있을 때, 미분의 정의는,

함수 에 대해 미분한다는 의미는, 가 아주 조금 변했을 때 가 얼마나 변했는지를 구한다는 것이다. 1차방정식의 기울기는 다음과 같이 구할 수 있다.

식 (1)과 (2)는 기본적으로 동일한 의미이다. 단지 식 (2)에서 를 0에 가까운 값을 가지게 하면 식(1)과 같이 된다.

과 같이 함수가 상수인 경우, 미분값은 항상 0이다.

그래프로 그려보면, 함수가 상수이면 어느 장소든 기울기가 0이다.

가 상수일 때, 에 대한 간단한 미분 함수는 다음과 같이 정의된다.

예컨대,  를 에 대해 미분하면, 를 에 대해 미분하면, 이다.

함수의 최솟값, 최대값을 찾는 문제에서 미분이 주로 많이 이용된다. 다음과 같은 2차 함수가 있다고하자.

최솟값은 미분함수가 0이 되도록 방정식을 풀면 된다.

그래프에서 보면 함수곡선이 y축과 만나는 점인 (0,1)의 x값이다.

편미분(partial derivative, , 델타): 어떤 함수가 여러 개의 변수를 가질 때 각 변수에 대해 수행하는 미분을 편미분이라고 한다. 편미분의 표시는 다음과 같다.

와 같이 변수가 두 개인 다음 방정식을 보자.

이 식을 에 대해서 편미분하면, 과 4는 과 관계가 없으므로 상수항 취급을 받는다. 따라서 편미분 결과는 다음과 같다.

에 대해서 편미분하면 같은 원리로,

편미분은 중다회귀분석, 딥러닝, 신경망에 사용된다. 미분에 대해 몇 가지 사항을 추가하면,

합성함수의 미분은 연쇄법칙(chain rule)을 따른다. 가 에 대해 미분 가능할 때, 의 도함수는

이를 말로 표현하면, 전체를 미분한 다음 속의 식을 미분하여 곱한다는 것이다. 한 예로 에 대하여 미분해보자.

로 둔다. 그러면 이 된다. 이 때 이므로 이다. 그런데 이므로

이다. 결국 전체식을 미분한 값[]에다 속의 식을 미분한 값[]을 곱한 값이다.

또 하나 기억해 둘만한 식은  이다. 상수가 곱해진 함수의 편미분은 함수를 편미분한 값에 그 상수를 곱한 것과 같다.

데이터과학에서 가장 자주 사용되는 수학 도구는 시그마(∑)이다. 시그마의 성질을 몇 가지만 기억해두자.

이 중 마지막 식만 말로 바꾸면, 시그마(합)의 편미분은 편미분의 시그마(합)이다(Partial derivative of a sum is just the sum of the partial derivatives).

미분과 시그마를 선형회귀에 적용해보자.

회귀식에 의한 예측은 . 오차는 관측값과 회귀방정식에 의한예측값과의 차이 . 최소제곱법에 의하면, 오차제곱의 합(Sum of Squares of Errors, SSE)을 최소화하는 계수(b, a)를 구해야 한다. 그럴려면, SSE을 각 회귀계수(와 절편)에 대하여 미분한 값이 0이 되어야 한다.

먼저 절편 b에 대해 편미분하면,

여기에 시그마의 편미분은 편미분의 시그마라는 공식, 합성함수의 미분은 전체식의 미분 곱하기 속의 식의 미분이라는 공식 등이 적용되었다. 이 식을 정리하면 아래와 같다.

다음 에 대해 편미분하면,

이 식을 정리하면,

(4)와 (5)를 정규방정식(normal equation)이라고 한다. 데이터를 가지고 이 연립방정식을 풀어서 절편과 기울기를 구한다.

이상으로 미분과 시그마에 대한 복습을 마친다. 데이터과학을 수행하다 보면 여기서 복습한 내용보다 더 복잡한 수식이 필요하곤 하지만 그때 그때 인터넷 등을 참고하면 이해할 수 있을 것이다.