Artificial discrimination (KOR)

Home > Think English > Bilingual News

print dictionary print

Artificial discrimination (KOR)

KIM BYOUNG-PIL
The author is a professor of business and technology management at KAIST.

I’ve often read news stories about powerful politicians pressuring companies to hire their children. Some claim that artificial intelligence (AI) should be used in the hiring process to counter this sort of abuse. There are many positive aspects of using AI in the hiring process but there are also issues that need to be addressed.

Last fall, Amazon scrapped plans to introduce AI into the hiring process. Experts confirmed that AI gave lower scores to female applicants regardless of their work-related competency. Hiring managers in the IT industry had been biased against female applicants and the AI learned the bias. If AI learns from us, existing discrimination will be repeated.

Another frequently cited example is in applications for loan reviews and differentiated interest rate. A few years ago, a bank gave lower credit scores and applied higher interest rates to low-educated people and was warned by the Board of Audit and Inspection. The financial institute may argue that it had to consider various factors to precisely estimate the possibility of overdue. Yet denying or imposing higher interest rates due to educational background cannot be considered “fair.” Nevertheless, if AI uses big data to give credit scores, discrimination could return.

But what can we do to prevent AI discrimination? There are various arguments, and one of the most feasible among them is to require AI to document the basis of its decisions. If AI deems an applicant unfit, it has to explain itself. If someone appeals, the AI’s decision needs to be justifiable.

In reality, that involves technological challenges and could burden AI development. There is also the argument that government regulation hinders technological development. Just like any other policy, discussion and deliberation is necessary.

Regulating the private sector is controversial, but at least when using AI in the public sector, the risk of discrimination requires attention. The government recently announced plans to use AI to recommend civil servants for appropriate positions and the Supreme Court. But can we say AI is fair and trustworthy?

Another option is to have external experts verify whether the AI is working fairly. The Canadian government is considering introducing a system to evaluate AI’s impact. We must remember that the social acceptance of AI will increase when the government leads efforts to enhance its reliability.

사람 차별하는 인공지능? 김병필 KAIST 기술경영학부 교수
유력 정치인이 자녀를 좋은 직장에 입사시키기 위해 외압을 가했다는 보도가 종종 눈에 뜨인다. 그럴 때면 채용 과정에 인공지능을 활용해야 한다는 주장이 제기된다. 적어도 인공지능은 정치적 외압으로부터 자유로울 것이고 학연이나 지연도 없을 것이니, 기업의 인사 담당자보다 더 ‘공정’할 수 있겠다. 이처럼 채용 과정에 인공지능을 활용하는 것은 긍정적 측면도 많겠지만, 꼭 짚어봐야 할 문제가 있다.
작년 가을 미국 아마존 사는 직원 채용 절차에 인공지능을 도입하려던 계획을 폐기했다. 전문가들이 확인한 결과, 그 인공지능이 직무 능력과 무관하게 여성 지원자에게 낮은 점수를 매기고 있었기 때문이었다. IT 업계의 채용 담당자들이 이제껏 여성 지원자들에 대해 불리한 평가를 내려 왔는데, 인공지능은 그 편견까지도 학습했던 것이다. 이렇듯 인공지능이 사람의 판단을 대신하게 된다면 기존 차별이 반복되고 고착화될 위험이 있다.
다른 사례로 종종 언급되는 것이 대출 심사 및 금리의 차등 적용 문제다. 몇 년 전 한 은행이 저학력자에게 낮은 신용평가점수를 부여하고 더 높은 금리를 적용하다가 감사원의 지적을 받은 바 있다. 금융기관 입장에서는 더욱 정밀하게 연체 가능성을 측정하기 위해서 여러 요소를 고려해야 한다고 주장할 수 있겠다. 하지만 학력이 낮다는 이유로 대출 심사에서 탈락시키거나 더 높은 금리를 부담하게 하는 것을 ‘공정’하다고 생각하기 어렵다. 그럼에도 인공지능이 빅데이터를 활용해서 신용평가 점수를 매기게 되면 학력과 같은 차별적 변수들이 무분별하게 활용되는 문제가 생길 수 있다.
그러면 인공지능에 의한 차별을 막기 위해서 어떻게 해야 할까? 여러 주장들이 제기되고 있지만 그중 유력한 것은 인공지능의 판단 근거를 기록으로 남기도록 규제해야 한다는 것이다. 이러한 입장에 따르면 인공지능이 지원자를 채용에 부적합하다고 판단했다면, 어떤 점이 무슨 기준에 못 미쳤기 때문인지 이유를 밝혀야 한다. 나중에 차별을 당했다고 주장하는 사람이 이의를 제기한다면, 인공지능에 의한 판단이 합리적인 것이었다고 정당화할 수 있어야 하고, 만약 그러지 못하면 차별에 대한 책임을 지우자는 주장이다.
하지만 이러한 규제는 아직까지 기술상 난점이 있고 인공지능 개발 업체나 이를 도입하려는 사업자에게 적지 않은 부담이 될 수 있다. “정부 규제가 기술의 발전과 응용을 저해하고 있다”는 반론이 제기될 가능성도 있다. 결국 다른 여느 정책과 마찬가지로 공적 논의와 숙고가 필요하다.
민간 영역을 규제할 것인지는 논란의 여지가 있지만, 적어도 공공 영역에서 인공지능을 도입할 때에는 차별 위험성에 각별히 관심을 기울일 필요가 있다. 정부는 최근 공무원을 적합한 직위에 추천해주는 인공지능을 도입하겠다고 하고, 대법원은 개인회생·파산 사건에 인공지능 재판연구관을 활용한다고도 한다. 우리는 이러한 인공지능이 공정하다고 신뢰할 수 있을까? 정부가 도입하는 인공지능이 국민의 신뢰를 얻으려면 인공지능의 판단 과정의 투명성을 높이고 판단 근거도 기록으로 남겨야 할 것이다.
외부 전문가에 의해 인공지능이 공정하게 작동하는지 여부를 검증받는 것도 가능한 방안이다. 캐나다 정부가 인공지능 영향평가 제도의 도입을 고려하고 있다고 하니 참고할 법도 하다. 정부가 앞장서서 인공지능의 신뢰성을 높이고자 노력할 때 인공지능의 사회적 수용도도 더욱 높아질 수 있다는 점을 기억하면 좋겠다.
Log in to Twitter or Facebook account to connect
with the Korea JoongAng Daily
help-image Social comment?
s
lock icon

To write comments, please log in to one of the accounts.

Standards Board Policy (0/250자)