차별의 패턴을 재생산할 수 있어
인공지능((AI)이 기계적학습을 통해 기존 사회의 편향을 표준으로 받아들여 무비판적으로 재생산할 위험성에 대한 대책이 필요하다는 연구결과가 나왔다.
캐나다 맥길대학교 데소텔스 경영학부 교수, 수전 실비 미국 매사추세츠공과대학 슬론 경영대학원 교수 등이 지난 4월3일 ‘런던정치경제대학(LSE) 비즈니스 리뷰’에 올린 ‘인공지능과 공학에서 능력주의에 대한 편향과 믿음’이란 글에서 이렇게 주장했다. 이들 연구자는 미국 국립과학재단(NSF)의 지원을 받아 ‘미래의 길 ‑ 공학에서 다양한 리더십 개발’ 프로젝트를 수행하고 있는데, 이 글은 여기에서 발견한 사실들에 근거한 것이다.
“어떤 선택을 하기로 결정하기 위한 (인간에 기반한) 기존 패턴이 공정하고 정확하게 이뤄진 것이라고 가정한다면, 인공지능은 해당 결정과정에서 효율적인 도우미가 될 수 있다. 하지만 인공지능이 훈련받은 인간 기반의 선택과정에 어떤 결함과 편향이 있다면, 인공지능은 이를 발견해 교정할 수 없을 뿐더러, 현실적으로 이런 결함을 부호화해서 영구화시킬 것이다. 이런 식으로 인공지능은 차별의 패턴을 재생산한다.”
예를 들어 현재 인공지능은 고용, 승진, 대학 입학 등에서 결정을 돕기 위해 개발되고 있고 채택되고 있다. 신입사원 채용 관련 결정을 돕는 과정에서 인공지능은 구직 신청자의 이력서, 이미 고용된 근로자를 기술하는 정보를 포함해 방대한 ‘데이터 세트’ 알고리즘을 통해 학습한다. 이때 학습은 일종의 분석모형에 해당하는 ‘트레이닝 세트’(training set)를 통해 이뤄진다. 인공지능은 기업에 필요한 사람이 누구인지를 예측하기 위해 이미 알려진 결과나 결정, 손에 넣을 수 있는 일련의 변수들로 이뤄진 트레이닝 세트를 이용하는 법을 배운다. 이를 통해 인공지능은 이력서에 기초해 기업이 가장 고용할 것 같은 신청자를 골라낼 수 있다.
그대로 재생산하지 않을 정도로 비판적 능력을 가질 수 있을까?
사진: www.autoelectronics.co.kr
문제는 인공지능이 학습하는, 기존에 이뤄진 인간의 채용행위에 일정한 편향이나 결함이 있을 경우라고 연구자들은 지적한다. 인공지능은 기존 사건과 사례 패턴의 학습을 통해 ‘능력주의에 따른 결정’을 부호화하고 이에 입각해 이력서를 검토하며 사람을 골라내는데 이 학습된 능력주의에 결함이나 편향이 있을 수 있다는 것이다. 인공지능은 이런 편향이나 결함을 발견해 교정하는 것이 아니라 학습 이후에는 이를 부호화해서 무비판적으로 재생산한다는 얘기다.
이들 연구자는 인공지능에 의한 기존 편향의 이런 무비판적 재생산과 ‘공학에서 여성 출신 엔지니어의 과소대표’를 비교한다. 공학 경력을 쌓으려는 남성과 여성에 관한 자신들의 종단 분석(longitudinal analysis)에서 대부분의 연구들이 학교친구나 교수, 동료 인턴, 감독자 등에 의해 성적인 차별과 배제에 대한 직접적 경험을 한다. 그럼에도 공학계의 직업은 힘든 작업과 성취를 정확하게 인정하고 이를 보상하는 능력주의에 기반하고 있다는 믿음을 계속해서 나타낸다.
이유는 엔지니어의 다양한 비공식 사회화 과정을 통해 ‘최선의 생각과 최선의 작업이 승리한다’는 능력주의라는 믿음이 내면화하면서 재생산된다는 데 있다. 비공식 사회화 과정에서 남성과 여성 엔지니어 모두 ‘공학 능력은 성별로 불균등하게 분포될 수 있다’는 생각을 똑같이 내면화한다는 것이다. 이와 비슷하게 인공지능도 학습과 훈련 과정에서 기존 데이터에 스며있는 제한성(편향과 결함)을 극복할 수 없다는 것이다.
연구자들은 인공지능이 내놓는 편향된 결과는 ‘잘못된 인공지능’의 증거가 아니라 ‘현상이 곧 표준’이라고 가정하는 무비판적 훈련의 당연한 결과로 볼 것을 주문한다. 문제 해결을 위해서는 공학에서 성 차별 해소와 마찬가지로 현상에 대해 비판적이고, 기존의 편향을 확인․상쇄하는 작업이 매우 중요하다고 강조한다. 이것이 갖는 함의는 넓게는 인공지능의 적용 영역을 어디까지로 할 것인지에 대한 고민과 관련된다. 좁게는 인공지능이 ‘트레이닝 세트’를 통해 얻어진 예측을 확인(validation)하는 ‘테스트 세트’(test set)를 비판적으로 설계할 필요성을 제기한다.
