“인공지능, 편견 있다” 객관성과 거리 멀어…알고리즘·데이터에 한계

아마존은 금년 4월 인공지능(AI) 시스템으로 직원들의 업무 효율을 추적해 태만한 직원에게는 경고하고 목표 미달자는 해고했다. 또 같은 달, 스리랑카 정부가 얼굴인식 AI의 오류로 브라운대학(Brown University)의 한 학생을 스리랑카 폭파 사건의 용의자로 오인하는 일이 벌어졌다.

이러한 사건들은 사람들이 점점 더 AI에 의존해 의사결정을 할 때, 특히 AI 시스템을 사법, 금융, 고용과 같은 분야에 도입할 때 나타날 수 있는 잠재적 위험을 보여준다. 이와 관련해 뉴욕대학의 ‘AI Now 연구소’ 공동 설립자인 케이트 크로퍼드(Kate Crawford)는 “내가 가장 우려하는 것은 우리가 문제를 해결하는 데 사용하려고 하는 시스템은 결국 이러한 문제를 심화할 수 있다는 것이다”라고 했다.

AI는 왜 착오를 일으키는가?

과거에 사람들이 AI를 믿었던 이유 중 하나는 AI가 인간처럼 감정이나 피로에 영향을 받지 않고 곧바로 문제를 분석해 정확하게 판단할 수 있기 때문이었다. 그러나 AI에도 ‘편견(AI bias)’이 있을 수 있다는 증거가 많다. 따라서 우리가 생각하는 것처럼 항상 객관적이거나 진실하지는 않다. 한 조사에 따르면, 일부 미국 법원에서 채택하고 있는 재범 위험 평가 소프트웨어인 콤파스(COMPAS)는 비(非)미국인을 평가할 때는 미국인들보다 재범 확률을 높게 평가하는 오류를 범할 수 있다. 또한 법 집행 부서의 얼굴인식 시스템은 여성과 청소년, 소수 민족에 대해서는 잘못 판단할 확률이 비교적 높다. 이를 ‘AI 편향’ 또는 ‘알고리즘 착오’라고 한다.

‘AI 편향’은 데이터 부족에서 온다

AI의 정확도는 훈련을 통해서 확보할 수 있다. 만약 훈련 과정에서 복잡한 실제(real) 세계를 반영할 만큼 충분한 데이터가 제공되지 못하면 AI에 편향이 생길 수 있다. ‘Edge Case Research’ 공동 설립자이자 CEO인 와그너(Michael Wagner)는 자율주행차를 훈련할 때 감지 센서가 인간의 영상을 수천 내지 수백만 개를 분석했음에도 AI는 여전히 휠체어를 탄 사람이나 형광 조끼를 입은 건축 인부를 무시하는 오류를 범했다고 지적하면서, 이는 이런 사례가 데이터베이스에서 소수이기 때문이라고 했다.

와그너는 제품의 신뢰도는 알려진 편향뿐만 아니라 알려지지 않은 새로운 편향을 면밀히 찾고 테스트를 거침으로써 높일 수 있지만, 이러한 편향은 제품이 널리 사용될 때까지 발견하지 못할 수도 있다고 생각한다.

그는 “기계가 학습하는 것은 인간의 학습과 상당히 다르다”면서 “이를테면 컴퓨터는 전봇대와 같은 수직 물체 가까이에 서있는 사람을 놓칠 수 있다”고 했다.

AI는 ‘사고 능력’이 없다

AI 프로그램은 인간의 편견을 ‘학습’할 수도 있다. AI를 훈련할 때, 그것들은 대량의 데이터에서 보이지 않는 패턴을 찾아 정보를 분석하는 데 의존한다. 이러한 정보에 인간의 편견이 숨겨져 있을 때 AI는 이러한 편견을 복제한다. 그러나 AI는 진짜 인간과는 달리 편견에 직면할 때 사고할 능력이 없다. 구글 최고의사결정과학자(Chief Decision Scientist) 차시 코지르코프(Cassie Kozyrkov)는 ‘AI는 데이터를 수집하고 패턴을 구현하는 도구일 뿐이며, 영원히 스스로 생각하지 않을 것’이라고 했다.

AI는 추상적 가치를 정의할 수 없다

인간이 AI로 하여금 공평, 정의, 신뢰 등의 추상적인 가치에 관해 의사결정을 하게 할 때 추상적 의미를 수학 용어로 표현할 수 없어 AI의 판단이 인류의 기대에 어긋나게 된다.

예를 들어, 한 은행이 대출 신청인의 신용도를 평가하려고 할 경우, ‘신용’은 모호한 개념이므로 이를 측량하기 위해서는 수치로 변환하는 ‘계량화’ 과정을 거쳐야 한다. 만약 대출 모형이 노인들이 비교적 위약 가능성이 높고 나이에 따라 대출 금액을 줄였다는 것을 발견하면 노인들을 일방적으로 차별할 수 있다.

AI 금융 플랫폼인 앱젠(AppZen)의 공동 설립자인 베르마(Kunal Verma)도 신규 대출 신청자가 대출금을 연체하는 사람이 많은 지역에 거주할 경우, AI 시스템이 ‘신용평가 지수가 낮다’고 판단할 수 있다고 했다.

AI는 만능이 아니다

기업에 AI 기술이 도입되면 실직 사태가 벌어질 수 있다는 연구 결과가 많이 나왔다.  옥스퍼드경제연구원(Oxford Economics)은 2019년 6월 한 보고서에서, 2030년에 이르면 전 세계 제조업 분야의 일자리 가운데 8.5%(약 2000만 개)를 로봇이 대체할 것으로 전망했다. 따라서 상당수 업종의 전문 인력이 실직할 것을 우려하고 있다.

이와 함께 많은 사람이 알고리즘이 처리할 수 없는 문제를 AI 판단에 맡기려는 시도를 우려하고 있다. 예를 들어 아마존은 AI의 도움으로 구직자 순위를 매기려고 했으나, 이 시스템이 남성 구직자를 선호하는 경향이 있음을 발견하고 이 계획을 포기해야 했다.

맥킨지글로벌연구소(MGI)는 예측할 수 없거나, 극히 전문적인 지식과 기능을 요구하거나, 이해 관계자와 상호 연동하는 작업 등은 컴퓨터가 감당하기 어렵다는 사실을 발견했다. 우리가 억지로 이런 종류의 임무를 컴퓨터에 맡겨 처리하게 하면 여러 가지 오류가 생길 수 있다.

사법이나 법 집행 같은, 공정성을 따져야 하는 업무나 생사가 걸린 문제를 짧은 기간에 판단해야 하는 일을 AI 알고리즘이 책임질 수 있을까? 개과천선한 사람들이 하는 몇몇 노력을 알고리즘이 정당하게 계산해낼 수 있을까?

어쩌면 우리는 ‘인공지능은 만능이 아니라 도구일 뿐이며, 결국 우리를 대신해서 사고할 수 없다는 것’을 기억해야 할지도 모른다.