AI 언더라이팅과 편향
알고리즘도 차별을 배우는가
차별하지 말라고 가르쳤는데, 알고리즘은 왜 다시 차별을 배우는가
10화에서 자동심사(AU)의 설명 가능성 문제를 다뤘다면, 19화는 그보다 한 단계 더 깊은 질문을 던진다 — AI 언더라이팅 모델은 왜 인종, 성별 같은 변수를 애초에 입력하지 않아도 차별적인 결과를 만들어내는가. 답은 기계학습의 근본적 작동 방식에 있다. 모델은 과거 데이터에서 패턴을 학습하도록 설계됐는데, 그 과거 데이터 자체가 이미 사회의 불평등을 반영하고 있다면 모델은 "정확하게" 그 불평등을 재현하도록 학습된다. 10화에서 언급한 대리 변수(우편번호, 신용점수) 문제는 이 현상의 한 사례일 뿐이다 — 더 근본적인 문제는 모델이 수백 개 변수의 조합을 통해, 인간이 의도적으로 설계하지 않아도 스스로 차별적 패턴을 재발견한다는 것이다.
대리 변수는 왜 지워지지 않는가
편향을 막는 가장 소박한 방법은 "인종·성별 변수를 빼면 된다"는 것이다. 이 접근이 실패하는 이유를 기술적으로 정확히 말하면, 보호 속성이 다른 변수들 안에 통계적으로 스며들어 있기 때문이다(정보 누출, information leakage). 우편번호는 미국의 오랜 주거 분리 역사 때문에 인종과 강하게 상관되고, 직업·학력·구매 이력·심지어 스마트폰 기종까지도 소득과 인구집단의 대리 지표가 된다. 모델은 이 수백 개 변수를 비선형적으로 조합해, 삭제된 보호 속성을 사실상 재구성해낸다. 즉 변수를 "빼는" 것으로는 편향이 사라지지 않고, 오히려 어디서 편향이 새어 들어오는지를 보이지 않게 만들 뿐이다. 공정성 문제를 "입력 변수 관리"가 아니라 "출력 결과 감사"의 문제로 다뤄야 하는 이유가 여기에 있다.
이 재구성이 가능한 이유는 현대 언더라이팅 모델이 선형 회귀가 아니라 수백 개 변수의 고차 상호작용을 학습하는 비선형 구조이기 때문이다. 인종을 직접 지운 자리에, 모델은 "우편번호 × 직업 × 구매 패턴"이라는 조합으로 인종과 거의 같은 정보를 담은 합성 변수를 내부에 만들어낸다. 이것을 인간 설계자는 볼 수도 없다. 그래서 "보호 변수를 입력에서 제외했다"는 사실은 공정성의 증명이 되기는커녕, 감사자가 편향의 경로를 추적하지 못하게 만드는 알리바이가 되기 쉽다. 변수 제거로 편향을 없앴다고 믿는 순간이 오히려 가장 위험한 순간이라는 역설이 여기 있다.
신용점수 논쟁: 통계적 유효성과 사회적 공정성의 충돌
이 문제를 실증적으로 가장 잘 보여준 것이 미국 자동차보험 업계의 요율 산정 논쟁이다. 여러 주에서 보험사들이 신용점수를 보험료 산정에 반영했는데, 연구 결과 신용점수가 실제 사고 위험과는 통계적 상관관계가 있었지만, 동시에 인종별로 신용점수 분포가 크게 다르다는 사실도 함께 드러났다. 즉 모델 입장에서는 신용점수가 위험을 예측하는 데 "유효한" 변수였지만, 그 유효성의 이면에는 신용점수 자체가 이미 인종 간 소득 격차와 금융 접근성 격차를 반영하고 있다는 사실이 숨어 있었다. 이런 사례들이 쌓이면서 미국 여러 주는 보험 요율 산정에서 신용점수 사용을 제한하거나 금지하는 법을 도입했다 — 통계적 유효성과 사회적 공정성이 충돌할 때 어느 쪽을 우선할지에 대한 사회적 합의가 규제로 나타난 것이다.
여기서 핵심은 "상관관계가 실재한다"는 사실이 곧 "그 변수를 써도 된다"를 의미하지 않는다는 점이다. 신용점수와 사고율의 상관은 대개 인과가 아니라, 재정적 스트레스·거주 안정성·금융 접근성이라는 더 근본적인 사회경제적 조건이 두 변수 모두에 영향을 준 결과일 가능성이 높다. 언더라이팅이 이런 상관을 그대로 가격에 반영하면, 이미 불리한 집단에 더 높은 보험료를 매겨 불평등을 재생산하는 피드백 루프가 생긴다. 규제가 개입하는 지점이 바로 이 지점이다.
이질적 영향과 공정성의 수학적 불가능성
언더라이팅 모델의 편향을 검증하는 방법론도 이 시리즈에서 다룬 개념들과 맞닿아 있다. 대표적인 검증 기법이 "이질적 영향 분석(disparate impact analysis)"이다 — 모델이 특정 보호 집단(인종, 성별, 연령)에 대해 다른 집단보다 유의미하게 불리한 결과를 내는지를 통계적으로 검증하는 방법이다. 이 검증에서 흥미로운 점은, 모델이 완벽하게 "공정"해 보이는 방법이 여러 개 존재하고 그 정의들이 서로 충돌한다는 것이다.
특정 집단에 대해 승인율을 동일하게 맞추는 공정성과, 승인받은 사람들의 실제 위험 예측 정확도를 집단 간 동일하게 맞추는 공정성은 수학적으로 동시에 만족시킬 수 없는 경우가 많다는 것이 컴퓨터과학 분야의 공정성 연구에서 정식으로 증명돼 있다. 기저 위험률이 집단마다 다를 때, 집단 간 오탐률(false positive)과 미탐률(false negative)을 동시에 같게 맞추는 것은 원리적으로 불가능하다는 것이다. 즉 "편향 없는 AI 언더라이팅"이라는 목표는 기술적 완성이 아니라, 여러 공정성 기준 중 무엇을 우선할지에 대한 가치 판단의 문제로 귀결된다. 엔지니어가 손실함수를 짜는 순간, 그는 이미 어떤 공정성을 포기할지를 정치적으로 선택하고 있는 셈이다.
이 불가능성은 실무에서 미묘한 형태로 나타난다. 예컨대 규제 당국이 "집단 간 승인율을 맞추라"고 요구하면, 모델은 기저 위험이 다른 집단들에 같은 문턱을 적용하기 위해 어떤 집단 안에서는 실제보다 낮은 위험으로, 다른 집단에서는 높은 위험으로 개인을 평가하게 된다. 그러면 이번엔 "같은 위험을 가진 두 사람이 소속 집단 때문에 다른 대우를 받는다"는 개인 차원의 불공정이 발생한다. 집단 공정성을 맞추면 개인 공정성이 깨지고, 개인 공정성을 고수하면 집단 격차가 남는다. 이 상충은 알고리즘의 결함이 아니라 서로 다른 정의를 동시에 만족시킬 수 없다는 수학적 사실이며, 그래서 이 문제의 해법은 더 좋은 알고리즘이 아니라 "어느 공정성을 우선할지"를 명시적으로 정하는 정책적 결단이 될 수밖에 없다.
편향은 데이터가 아니라 파이프라인 전체에서 생긴다
편향의 원천을 데이터 하나로 좁게 보면 대응도 좁아진다. 실제로 편향은 (1) 과거 인수·지급 데이터에 이미 새겨진 역사적 차별, (2) 특정 집단의 표본이 적어 학습이 부실해지는 표본 편향, (3) 무엇을 "좋은 결과"로 정의하느냐는 레이블 설계, (4) 모델을 운영하며 발생한 결정이 다시 학습 데이터가 되는 피드백 루프까지, 파이프라인 전 단계에서 발생한다. 특히 (4)는 위험하다 — 특정 집단을 반복적으로 거절한 이력이 데이터로 쌓이면, 그 집단에 대한 "진짜 위험"을 관측할 기회 자체가 사라져 모델의 편향이 스스로를 강화한다. 그래서 성숙한 규제는 사후 결과 감사뿐 아니라, 거절된 신청자에 대한 반사실적(counterfactual) 점검까지 요구하는 방향으로 나아가고 있다.
이 피드백 루프에는 "선택적 레이블(selective labels)"이라는 통계적 함정이 숨어 있다. 모델이 거절한 신청자는 계약이 성립하지 않았으므로, 그들이 실제로 청구를 냈을지에 대한 데이터가 영원히 생기지 않는다. 즉 모델은 자기가 승인한 사람들의 결과만 보고 학습하며, 자신의 과거 판단이 틀렸을 가능성을 검증할 데이터를 스스로 차단한다. 그 결과 모델은 "내 판단이 옳았다"는 확증만 반복적으로 강화하는 폐쇄 회로에 갇힌다. 이 문제 때문에 정교한 감사는 승인·거절 결과의 통계만 보는 것을 넘어, 의도적으로 일부 저확신 구간에서 무작위 승인을 섞어 반사실적 데이터를 확보하거나, 거절군의 위험을 외부 데이터로 보정하는 방식까지 검토한다.
AI는 새로운 위험이 아니라 오래된 위험의 가속기다
AI 언더라이팅을 "전례 없는 신종 위험"으로 프레이밍하면 대응의 초점이 흐려진다. 대리 변수를 통한 간접 차별, 과거 데이터의 편향 계승, 통계적 유효성과 공정성의 충돌 — 이 문제들은 사실 수기 언더라이팅 시대에도 존재했다. 인간 언더라이터도 우편번호를 보고 무의식적 판단을 내렸고, 과거 관행을 답습했다. AI가 바꾼 것은 문제의 종류가 아니라 규모와 속도다. 한 사람의 편향은 그의 담당 건에 그쳤지만, 하나의 모델은 회사 전체의 모든 심사에 동일한 편향을 일관되게, 초 단위로 적용한다.
역설적으로 이 획일성은 감사 가능성이라는 기회이기도 하다. 수천 명 언더라이터의 머릿속 편향은 측정할 수 없지만, 하나의 모델은 코드와 출력 통계로 존재하므로 이질적 영향 분석의 대상으로 삼을 수 있다. 즉 AI는 편향을 더 위험하게 만드는 동시에, 편향을 처음으로 체계적으로 측정·감사 가능한 대상으로 끌어냈다. 규제의 방향이 "AI 금지"가 아니라 "결과 감사 의무화"로 수렴하는 것도 이 때문이다 — 문제의 본질은 알고리즘이 아니라 그것이 학습한 사회이므로, 알고리즘을 없애도 편향은 인간 판단으로 되돌아갈 뿐이다.
감사의 실무적 딜레마 — 보려면 봐야 할 것을 수집해야 한다
결과 감사를 의무화하는 방향에는 그 자체의 역설이 숨어 있다. 모델이 특정 인종·성별 집단에 불리한 결과를 내는지 검증하려면, 역설적으로 바로 그 보호 속성 데이터를 어딘가에 보유하고 있어야 한다. 인종을 입력에서 빼는 것과 인종별 결과를 감사하는 것은 상충한다 — 감사하려면 보호 속성을 알아야 하지만, 그 속성을 회사가 보유하는 것 자체가 오·남용의 위험을 키우고 개인정보 규제와 충돌한다. 미국에서 이 딜레마가 오래 논쟁된 이유도 여기에 있다. 심사 결정에는 인종을 쓰지 않으면서 편향 감사에는 인종을 써야 한다는 이중 요구를, 어떤 조직적·기술적 장벽으로 분리할 것인가가 핵심 과제가 된다.
이 분리를 위해 감사 데이터를 심사 파이프라인과 물리적으로 격리하거나, 보호 속성을 직접 저장하는 대신 통계적으로 추정해 집단 단위 결과만 측정하는 방식이 검토된다. 그러나 추정에 의존하면 감사의 정확도가 떨어지고, 직접 보유하면 남용 위험이 커지는 또 다른 상충이 생긴다. 결국 편향 감사는 "무엇을 수집하지 않을 것인가"와 "무엇을 측정할 것인가" 사이의 정교한 제도 설계 문제이며, 기술만으로는 풀리지 않고 데이터 거버넌스와 법적 안전장치가 함께 설계돼야 작동한다.
한국의 초기 대응: 설명요구권이라는 우회로
한국은 아직 미국만큼 AI 언더라이팅 모델의 공정성 규제가 정교하게 발달하지 않았지만, 개인정보보호법과 신용정보법의 자동화된 의사결정에 대한 설명요구권 조항이 유사한 역할의 초기 형태로 작동하고 있다. 신청자가 자동 거절이나 할증 결정에 대해 그 근거를 요구할 권리를 갖는다는 것은, 10화에서 본 설명 가능성 문제를 규제 차원에서 강제하려는 시도다.
다만 이 접근은 미국식 이질적 영향 검증과는 결이 다르다. 설명요구권은 "개인이 자기 결정의 근거를 알 권리"에 초점을 맞추는 개인 구제형 장치인 반면, 이질적 영향 분석은 "모델이 집단 전체에 미치는 통계적 결과"를 감사하는 집단 구제형 장치다. 개인이 아무리 근거를 설명받아도, 모델 전체가 특정 집단에 구조적으로 불리한지는 개인 단위 설명만으로는 드러나지 않는다. 한국이 앞으로 마주할 과제는 이 두 접근을 어떻게 접합할 것인가다. 다음 화에서는 이렇게 각 나라가 서로 다른 속도와 방식으로 언더라이팅을 규제해온 배경을 종합해, 미국·일본·한국 세 시장의 언더라이팅 철학이 근본적으로 어떻게 다른지를 비교한다.
원문: 신독 「AI 언더라이팅과 편향」 https://sindok.ai/research/column/underwriting-ai-bias · 처음 게시 2026-07-06 · 마지막 수정 2026-10-22 — 출처를 밝힌 인용은 환영합니다. 글 전체를 옮겨 게시하는 것은 이용약관에 따라 허용하지 않습니다.