기업경제학연습 제8회
오늘의 일정
- 로지트 모델(Logit Model)과 프로빗 모델(Probit Model)
참고 문헌:
森田果『실증분석입문』일본평론사, 2014년
니시야마 게이히코・신야 모토츠기・가와구치 다이지・오쿠이 료(奥井亮) 『계량경제학』유이카쿠(有斐閣), 2019년
J.M.Wooldridge.2020.Introductory Econometrics. A Modern Approach. Cengage.
로지트/프로빗 모델
- 로지트/프로빗 모형은 설명변수가 1과 0으로 표시되는 '질적 변수'일 때 사용되는 분석 기법
- 피설명변수가 연속변수가 아니기 때문에 OLS 등을 사용할 수 없다.
- 처리군에 들어갈 확률을 고려하기 위해서는 로지트/프로빗 모형이 필요하다.
피설명 변수가 '질적 변수'인 경우의 분석
- '질적 변수'로 가장 빈번하게 사용되는 것은 ( 0 , 1 )만을 취하는 값을 피설명변수로 하는 경우
M&A를 할 것인가 ( = 1 )
M&A를 하지 않는지 ( = 0 )
사외이사를 도입하고 있는지 ( = 1 )
사외이사를 도입하지 않은지 ( = 0 )
선형 확률 모형
- 피설명변수(목적변수)로 질적 변수(=더미변수)를 사용하는 반면, 추정모델로는 선형모델(OLS)을 사용한다.
- 피설명변수는 ( 0 또는 1 )
- 예: 'M&A를 한다' = 1, 'M&A를 하지 않는다' = 0
- 설명변수 : 토빈 q
- M&A를 한다(M&A를 하지 않는다) = β₀ + β₁ × q + 오차항
- 피설명변수가 1과 0만을 취하기 때문에, 이 모형은 'M&A를 할 확률'을 구하는 것으로 해석할 수 있다.
선형 확률 모델
- M&A 실행 확률 = 0.345 + 0.021 × q
- 예: q가 1인 기업의 경우
0.345 + 0.021 × 1＝0.366 ( 36.6% )
→ 즉, 실행 확률이 36.6%가 되는 것이다.
- 예: q가 1인 기업의 경우
- 이 모델의 문제점은 선형적이기 때문에 확률로 0보다 작은 값이나 1보다 큰 값을 얻을 수 있다는 점
선형 확률 모델의 문제점
- 많은 경우 확률분포의 누적분포함수는 직선이 아닌 곡선이 된다.
→ 선형 확률모델은 곡선을 무리하게 선형으로 회귀하는 것이기 때문에 계수 추정값에 편향이 발생할 수 있다. - 선형 모형은 정의상 설명변수가 한 단위 변화했을 때의 확률 변화가 항상 일정하다고 가정한다.
로짓 및 프로빗 모델
- 설명변수가 어떤 값이든 피설명변수가 0에서 1의 범위에 들어맞도록 누적분포함수 F를 이용한 변형을 수행합니다.
→ 지금, y = β₀ + β₁x + u
라는 선형 회귀모형을 누적분포함수 G를 이용하여
y = G ( β₀ + β₁x + u )
로 공식화하여 y가 반드시 0과 1 사이에 들어가도록 한다.
로지트 모델(Logit model)
- G로 로지스틱 분포를 이용하는 모델
G ( y ) = exp ( y ) / { 1 + exp ( y ) } - 로지트 모델을 선택하는 이유로 계산이 쉽다는 점이 있었으나, 현재는 다른 방식과 별 차이가 없다.
프로빗 모델(Probit model)
- G로 표준정규분포를 이용하는 모델
예시
- 피설명변수 : 주택담보대출 신청이 거절될 확률
- 설명변수 : 신청자의 월 소득(I)에 대한 월 상환액(P)의 비율(P/I 비율)의 관계를 살펴보는 모형
Pr ( deny = 1 | x = P / I ) = G ( β₀ + β₁ P / I )
Pr = 확률
거부 = 1
| = 조건부 확률
로짓 프로빗 모형의 계수 기울기
- 비선형 모델이기 때문에 계수 해석 시 '설명변수가 1 증가하면 확률변수가 β₁ 증가한다'고 볼 수 없다.
- 설명변수 x의 Δx 단위 변화가 확률 확률변수에 미치는 영향 계산 방법
1) 설명변수가 x일 때의 확률 계산
2) 설명변수가 x + Δx일 때의 확률을 계산한다.
3) 1의 결과와 2의 결과의 차이를 계산한다.
→ 한계효과(marginal effect)라고 부른다.
추정 방법
- 비선형 모델(로짓/프로빗 포함)에서 매개변수 추정 방법은 MLE(Maximum Likelihood Estimation : 최대우도법)
"어떤 모형과 파라미터(β)가 사용하는 샘플 데이터를 가장 잘 설명할 수 있는가"
⇔ OLS : 오차항의 제곱의 총합의 최소화
'어떤 파라미터(β)가 예측치에서 벗어나는 정도를 가장 작게 하는가'
MLE의 개념
- 관찰된 데이터의 조합이 일어날 확률을 우도함수(likelihood function)라는 함수로 표현
- 여기서 추정값은 우도함수를 최대화하는 매개변수
- 최대우도법이란 '관찰된 데이터의 분포 패턴에 가장 가까운(적합도가 높은) 이론 분포를 구하는 방법'
MLE의 개념
- 지금 모집단에 대해 σ = 1으로 정규분포라는 것은 알고 있지만, μ를 모르기 때문에 이를 추정하고 싶다.
- 모집단에서 5개의 표본을 무작위로 추출한다.
Y = { 1.364 , 0.235 , -0.846 , -0.285 , -1.646 }
- OLS는 '어떤 μ가 가장 작은 편차가 될 것인가'를 고려하여 파라미터를 추정한다.
- MLE는 '어떤 μ가 이러한 샘플 Y를 생성할 가능성(likelihood)이 가장 큰가'를 생각한다.
μ = -2 인 경우의 분포
σ = 1
MLE의 개념
- μ = - 2 인 경우의 분포를 가정하면, 모집단에서 표본을 추출했을 때,
'1.364일 확률' '0.235일 확률'...을 계산할 수 있다.
→ Y = { 1.364 , 0.235 , -0.846 , -0.285 , -1.646 }
를 동시에 얻을 확률은,
( 1.364일 확률 ) × ( 0.235일 확률 ) × ( -0.846일 확률 ) × ( -0.285일 확률 ) × ( -1.646일 확률 )
μ를 변화시켰을 때의 분포 변화
MLE의 개념
- μ = 1.5 인 경우, μ = 0 인 경우, μ = 2 인 경우, 각각의 확률 분포를 그림에 나타낸다.
→ 이 μ의 값 중에서 어느 것이 가장 가능성이 높은 값인지 구한다.
MLE의 적합도 지표
- OLS의 결정계수와 유사한 개념으로 유사결정계수(pseudo R₂)가 많이 사용됩니다.
pseudo R₂ = 1 - { ( 제약이 없는 모델의 대수우도 ) / ( 제약이 있는 모델의 대수우도 ) }
= 1 - { ln 𝐿ᵤ / ln 𝐿₀ }
- 제약이 없는 모델 : 설명변수에 제약이 없는 모델로 대수우도 ln Lᵤ
- 제약이 있는 모델 : 상수항을 제외한 모든 설명변수가 전혀 영향을 미치지 않는다는 제약을 둔 모델으로 대수우도를 ln L₀
MLE의 적합도 지표
- 분자의 '제약 없는 모델의 대수우도'는 분석가가 사용한 모형 하에서 관찰된 데이터의 조합이 발생할 확률
- 분모의 '제약 모델의 대수우도'는 상수항을 제외한 모든 계수를 0으로 가정한 모델
(즉, 분석가가 사용한 모델은 전혀 의미가 없는 모델)에서 관찰된 데이터의 조합이 일어날 확률
MLE의 적합도 지표
- 모든 변수를 포함하는 제약 없는 모델이 상수항만 포함하는 제약 모델보다 적합도가 떨어지지 않는다.
ln Lᵤ ≥ ln 𝐿₀
단, 대수우도는 항상 음의 값을 가지므로, 절대값으로 보면
| ln Lᵤ | ≤ | ln 𝐿₀ | - 예를 들어, 나중에 나오는 수치 예시에서는
ln Lᵤ = -526.4914, ln 𝐿₀ = -601.6117
→ 절대값은 | ln Lᵤ = 526.4914 | , | ln 𝐿₀ = 601.6117 | - 즉, (무제약 모델의 대수적 우도) / (제약조건이 있는 모델의 대수적 우도)
ln Lᵤ / ln 𝐿₀ = -526.4914 / -601.6117 < 1
MLE의 적합도 지표
pseudo R₂ = 1 - ( ln Lᵤ / ln L₀ )
- ( 제약이 없는 모델의 대수우도 ) / ( 제약이 있는 모델의 대수우도 ) 는 반드시 0과 1 사이를 취한다.
- 모든 계수가 0이라면,
( 무제약 모델의 대수우도 ) = ( 제약 모델의 대수우도 ) 이므로 ln Lᵤ / ln L₀ = 1 이 된다,
→ pseudo R₂ = 0 - 추정된 계수를 이용한 설명력이 높을수록 ln Lᵤ 는 상승하여 음의 영역에서 더 0에 가까워진다.
→ pseudo R₂ 는 0에 가까워진다.
R을 이용한 프로비트 로짓 모델
- 프로비트 로짓 모델의 예를 보여주기 위해 다음 데이터를 사용합니다.
library ( AER )
data ( SwissLabor )
- AER 패키지의 SwissLabor라는 데이터를 사용한다.
- 이 데이터는 1981년 스위스에서 수집된 노동시장 관련 데이터입니다.
사용 데이터
- Participation：노동력에 참여했습니까? ( 1 or 0 )
- income：노동 외 소득의 로그
- age：연령(년을 10으로 나눈 값)
- education ：공식 교육을 받은 기간
- youngkids ：어린 자녀 수(7세 미만)
- oldkids ： 나이가 많은 자녀 수(7세 이상)
- foreign: 해당 개인이 외국인(예, 스위스인이 아님)?
R을 이용한 프로비트 모델
- 프로비트 모델
probit1 < -
glm ( participation ~ income + age + education + youngkids + oldkids + foreign ,
data = SwissLabor , family = binomial ( link = " probit " ) )
summary ( probit1 )
# participation => y = 1 or 0
- 사용하는 함수는 glm
- 프로비트의 경우,
family = binomial ( link = " probit " )
로 지정한다.
R을 이용한 프로비트 모델
결과는 다음과 같다.
Log Likelihood => 대수우도
R을 이용한 프로비트 모델
- psuedo R2 계산하기
1) 제약 조건이 없는 모델의 대수우도(Log-likelihood)는
logLik ( probit1 ) # Log-likelihood
2) 제약조건이 있는 모델의 대수우도(Log-likelihood)는
probit1_null <- glm ( participation ~ 1 , data = SwissLabor ,
family = binomial ( link = " probit " ) )
logLik ( probit1_null )
psuedo R2는
1 - logLik ( probit1 ) / logLik ( probit1_null )
= 0.1248651
R을 이용한 프로빗 모델
- 각 계수의 영향력 크기를 비교하기 위해 Partial effect를 살펴본다.
→ 이를 위해서는 " mfx "라는 패키지가 필요
#install.packages ( " mfx " )
library ( mfx )
- 다음과 같이 한계효과를 추정한다.
probitmfx ( participation ~ income + age + education + youngkids + oldkids + foreign ,
data = SwissLabor , atmean = FALSE )
R을 이용한 프로비트 모델
- psuedo R2 계산하기
→ " pscl " 패키지를 사용한다.
pR2 ( probit1 ) # psuedo R2
로 fitting null model for pseudo-r2
| llh | llhNull | G2 | McFadden | r2ML | r2CU |
| -526.4913560 | -601.6116830 | 150.2406540 | 0.1248651 | 0.1582686 | 0.2114810 |
R을 사용한 로지트 모델
- 로지트 모델의 경우
logit1 < -
glm ( participation ~ income + age + education + youngkids + oldkids + foreign ,
data = SwissLabor , family = binomial ( link = " logit " ) )
summary ( logit1 )
로짓의 경우,
family = binomial ( link = " logit " ) )
또는
family = binomial
R을 이용한 로지트 모델
- 각 계수의 영향력의 크기를 비교하기 위해 Partial effect를 살펴본다.
→ 이를 위해서는 " mfx "라는 패키지가 필요합니다.
# install.packages ( " mfx " )
library ( mfx )
- 다음과 같이 한계효과를 추정한다.
logitmfx ( participation ~ income + age + education + youngki ds + oldkids + foreign ,
data = SwissLabor , atmean = FALSE )
| 프로빗의 한계 효과 | 로짓의 한계 효과 |
다음
- 매칭 (1)
'WBS - 2023 Fall > 기업경제학 연습' 카테고리의 다른 글
| (기업경제 #11) 불연속 회귀의 개념 (0) | 2023.12.21 |
|---|---|
| (기업경제 #10) 성향 점수를 사용하지 않는 매칭 | 복원 매칭과 비복원 매칭 (0) | 2023.12.14 |
| (기업경제 #9) Matching (0) | 2023.12.06 |
| (기업경제 #7) DID | Difference-in-Difference (차이의 차이 분석) (0) | 2023.11.16 |
| (기업경제 #6) 패널 분석 (Panel data analysis) (0) | 2023.11.09 |
| (기업경제 #5) 더미 변수를 이용한 분석 (0) | 2023.11.02 |
| (기업경제 #4) 이상치 처리 | 선형 회귀 모델(2) (0) | 2023.10.26 |
| (기업경제 #3) 선형회귀 Model (0) | 2023.10.19 |
