AI 언더라이팅과 편향

차별하지 말라고 가르쳤는데, 알고리즘은 왜 다시 차별을 배우는가

10화에서 자동심사(AU)의 설명 가능성 문제를 다뤘다면, 18화는 그보다 한 단계 더 깊은 질문을 던진다 — AI 언더라이팅 모델은 왜 인종, 성별 같은 변수를 애초에 입력하지 않아도 차별적인 결과를 만들어내는가. 답은 기계학습의 근본적 작동 방식에 있다. 모델은 과거 데이터에서 패턴을 학습하도록 설계됐는데, 그 과거 데이터 자체가 이미 사회의 불평등을 반영하고 있다면 모델은 "정확하게" 그 불평등을 재현하도록 학습된다. 10화에서 언급한 대리 변수(우편번호, 신용점수) 문제는 이 현상의 한 사례일 뿐이다 — 더 근본적인 문제는 모델이 수백 개 변수의 조합을 통해, 인간이 의도적으로 설계하지 않아도 스스로 차별적 패턴을 재발견한다는 것이다.

이 문제를 실증적으로 가장 잘 보여준 것이 미국 자동차보험 업계의 요율 산정 논쟁이다. 여러 주에서 보험사들이 신용점수를 보험료 산정에 반영했는데, 연구 결과 신용점수가 실제 사고 위험과는 통계적 상관관계가 있었지만, 동시에 인종별로 신용점수 분포가 크게 다르다는 사실도 함께 드러났다. 즉 모델 입장에서는 신용점수가 위험을 예측하는 데 "유효한" 변수였지만, 그 유효성의 이면에는 신용점수 자체가 이미 인종 간 소득 격차와 금융 접근성 격차를 반영하고 있다는 사실이 숨어 있었다. 이런 사례들이 쌓이면서 미국 여러 주는 보험 요율 산정에서 신용점수 사용을 제한하거나 금지하는 법을 도입했다 — 통계적 유효성과 사회적 공정성이 충돌할 때 어느 쪽을 우선할지에 대한 사회적 합의가 규제로 나타난 것이다.

언더라이팅 모델의 편향을 검증하는 방법론도 이 시리즈에서 다룬 개념들과 맞닿아 있다. 대표적인 검증 기법이 "이질적 영향 분석(disparate impact analysis)"이다 — 모델이 특정 보호 집단(인종, 성별, 연령)에 대해 다른 집단보다 유의미하게 불리한 결과를 내는지를 통계적으로 검증하는 방법이다. 이 검증에서 흥미로운 점은, 모델이 완벽하게 "공정"해 보이는 방법이 여러 개 존재하고 그 정의들이 서로 충돌한다는 것이다. 특정 집단에 대해 승인율을 동일하게 맞추는 공정성과, 승인받은 사람들의 실제 위험 예측 정확도를 집단 간 동일하게 맞추는 공정성은 수학적으로 동시에 만족시킬 수 없는 경우가 많다는 것이 컴퓨터과학 분야의 공정성 연구에서 정식으로 증명돼 있다. 즉 "편향 없는 AI 언더라이팅"이라는 목표는 기술적 완성이 아니라, 여러 공정성 기준 중 무엇을 우선할지에 대한 가치 판단의 문제로 귀결된다.

한국은 아직 미국만큼 AI 언더라이팅 모델의 공정성 규제가 정교하게 발달하지 않았지만, 개인정보보호법과 신용정보법의 자동화된 의사결정에 대한 설명요구권 조항이 유사한 역할의 초기 형태로 작동하고 있다. 신청자가 자동 거절이나 할증 결정에 대해 그 근거를 요구할 권리를 갖는다는 것은, 10화에서 본 설명 가능성 문제를 규제 차원에서 강제하려는 시도다. 다음 화에서는 이렇게 각 나라가 서로 다른 속도와 방식으로 언더라이팅을 규제해온 배경을 종합해, 미국·일본·한국 세 시장의 언더라이팅 철학이 근본적으로 어떻게 다른지를 비교한다.