뉴욕시, AI 평가시스템에 대한 편향성 감사 의무화
감사 지침 불분명, 기준 부족 호소

(사진=셔터스톡. 편집=AI타임스)
(사진=셔터스톡. 편집=AI타임스)

미국 뉴욕시의 기업들은 내년 1월부터 채용을 비롯한 인사 분야에서 활용하는 AI 시스템에 대해 편향성이 없는지를 의무적으로 감사해야 한다. 그러나 이들은 어떻게 감사를 실시해야 할지에 대해 구체적인 규정이 없어 난처해하고 있다고 월스트리트저널(WSJ)이 22일 보도했다. [관련기사]

뉴욕시는 지난 2020년 채용이나 인사에 대한 AI의 '편향 위험'에 관한 문제 제기를 받아들여 이런 시스템에 대한 감사 활동을 의무화하는 법을 제정했다. 이 법은 AI 시스템이 인종과 성별 등에 대한 편견을 가지고 있지 않는지를 기업들이 평가하도록 하고 이를 따르지 않으면 벌금을 물리는 내용으로, 내년 1월 발효를 앞두고 있다. 

그러나 AI 시스템에 대한 감사는 명확한 지침이 없는 상태다. 법률 회사인 BNH의 앤드류 버트 매니징 파트너는 “AI 감사를 구성하는 요소가 무엇인지 명확하지 않다는 우려가 있다”면서 "인사 등에 이런 AI시스템을 사용하는 기업은 꽤 혼란스러울 수 있다”고 WSJ에 말했다. 뉴욕시 대변인은 소비자 및 근로자보호부가 이 법을 시행하기 위한 규칙을 연구하고 있지만, 언제 발표할 지는 정해지지 않았다고 말했다. 

미국 인적자원관리협회(SHRM)가 올 초 발표한 연구 결과에 따르면 미국 기업 4곳 중 한 곳은 AI나 자동화 프로그램으로 인사관리를 하고 있다. 종업원 5000명 이상인 기업 중에서는 42%에 달한다. 미국 상공회의소는 AI 감사와 관련해 기업들은 불투명성과 기준 부족을 우려하고 있다고 밝혔다. 조단 크렌쇼 상공회의소 기술센터 부소장은 AI 감사 의무화 조치가 중소기업에 미칠 영향이 더 우려된다고 말했다.

(그림=셔터스톡)
(그림=셔터스톡)

하지만 AI시스템을 채용이나 인사평정 등의 평가에 이용할 때 물의를 빚은 사례는 많다. 지난 2018년 아마존은 AI 채용시스템을 개발했으나, 남성이 여성보다 좋은 평점을 받는 결과가 계속 나오자 결국 이를 폐기했다.

편향은 아마존 직원의 데이터를 토대로 프로그램을 만든 데에서 비롯됐다. 남성이 압도적으로 많은 개발자의 데이터가 학습된 결과 AI는 이력서에 ‘여성’이라는 단어가 들어간 경우 일관적으로 낮은 평점을 줬다.

AI의 이런 편향 가능성 때문에 뉴욕시민 자유연합 등의 시민단체들은 편견 감사에 대한 표준이 부족하다고 지적하면서도 처벌은 더 강력하게 하라는 요구를 하고 있다. 이들 단체는 편향된 도구를 판매하는 회사가 잠재적으로 처벌을 받아야 한다고 주장한다고 WSJ은 전했다.

면접 자동화 소프트웨어를 제공하는 회사인 하이어밸류의 린제이 줄로아가 최고 과학자는 "사람의 마음과는 달리 알고리즘은 조사를 할 수 있다"고 WSJ에 전했다. 그는 기업들이 유의하지 않는다면 AI는 “무시무시할 정도로 광범위하게 편향될 수 있다”며 엄격한 AI시스템이 도입돼야 한다고 강조했다.

하이어밸류는 고객들이 안심할 수 있도록 정기적으로 면접 알고리즘에 대해 편향 감사를 실시한다. 2020년 감사결과에서 소수 인종 출신 면접자들이 AI의 질문에 “모른다(I don’t know)”라는 식의 짧은 답변을 하는 경향이 나타나자, 이런 반응이 문제가 되지 않도록 소프트웨어가 짧은 답변을 처리하는 방식을 바꿨다.

WSJ은 뉴욕시 당국이 처음부터 완벽을 추구하지는 않을 것이라며 법 시행과정에서 보완해 나갈 것으로 전망했다. 또 대기업은 법적 규제보다 평판이 나빠지는 것을 더 우려하기 때문에 AI 평가 시스템의 공정성을 더욱 신경 쓸 것으로 예상했다.

정병일 위원 jbi@aitimes.com

키워드 관련기사
  • 다양해지는 AI 면접...인크루트, 대인관계 능력 측정하는 기술 개발
  • “인간 닮은 AI, 편견도 닮아”…편향 부추기는 AI
  • [위드AI] ①AI가 사람을 평가해 채용한다...AI 면접이 가진 명과 암