Could AI solve the trolley question? (KOR)

KIM SEUNG-JUNG
The author is a professor of archaeology at the University of Toronto.

Last week, a major car accident killed nine people as a car drove backwards around City Hall Station in Seoul. The driver’s claim of a sudden unintended acceleration is controversial. According to data from the Korea Transportation Safety Authority, an average of 30 sudden acceleration cases take place annually, but none have been recognized since 2017.

As we enter the artificial intelligence (AI) era, we will likely see a situation where self-driving cars become commonplace thanks to technological advances toward the direction of minimizing human errors. Driverless vehicles have already been tested in many parts of the world, including Korea, and they are put to practical use in a limited way. The chance of traffic accidents will soon be significantly reduced, but if an accident occurs, there is no legal ground on who should be held accountable. Moreover, controversy has already erupted over how to program a self-driving AI to prepare for a moment of urgent judgment.

The complex dilemma of whom to protect first — passengers or pedestrians — and whom to choose when deciding the possibility of sacrifice based on the gender and age of pedestrians is a harsh reality faced by AI development engineers. The famous “Trolley Dilemma” is no longer just an ethical experiment.

In addition, solutions to such dilemmas may vary depending on countries and cultural backgrounds. Germany’s “Ethics Guidelines for Self-Driving Vehicles” and guidelines published in Korea stipulate that people should not be discriminated on the grounds of gender, age, race, disability and so on. But this will not be easy to enforce.

AI ultimately doesn’t know what it doesn’t know. It just answers questions. Technological solutions cannot be the perfect answer. The idea of creating a safer society by eliminating valuable human efforts may itself be the problem.

테크놀로지와 도덕
김승중 고고학자/토론토대 교수

지난 주 서울 시청역 부근에서 역주행 대형 교통사고로 9명이 사망한 참사가 있었다. 운전자가 주장하는 급발진 여부가 논쟁 대상이 되고 있다. 한국교통안전공단의 자료에 의하면 연평균 30건의 급발진 신고가 접수됐지만 2017년부터 지금까지 인정된 사례는 한건도 없다.

우리는 인공지능(AI) 시대로 접어들면서 인간의 오류를 최소화하는 방향으로 기술발전을 촉진해 곧 자율주행자동차가 보편화하는 상황을 보게 될 확률이 높다. 이미 우리나라를 비롯한 세계 곳곳에서 무인차량을 시험했고, 제한된 범위 내에서 실용화하기도 한다. 교통사고 위험을 상당히 줄일 것이라는 평가가 보편적으로 인정되고 있지만, 사고가 나면 누구에게 책임을 물어야 할지는 법률적으로 정해져 있지 않다. 더구나 급한 상황판단을 해야 할 경우에 대비해 자율주행을 관할하는 소프트웨어를 어떻게 만들어야 할지에 대한 윤리적 문제도 논란이 된다.

승객과 보행자 중 누구를 우선 보호해야 하는가를 비롯해, 보행자의 성별과 나이에 따라 희생 가능성을 계산해 판단을 내려야 할 때 누구를 택해야 하는가 등등의 복잡한 딜레마는 AI 개발 엔지니어들이 맞닥뜨린 현실이다. 그 유명한 ‘트롤리 딜레마(Trolley Dilemma)’가 더 이상 단순한 윤리 사고 실험 문제가 아닌 것이다.

게다가 이런 딜레마의 해결책은 나라마다, 문화배경에 따라 다를 수 있다. 최근 발표된 독일의 ‘자율주행차 윤리 가이드라인’이나 잇따라 한국에서 발표된 가이드라인은 ‘성별·나이·인종·장애 등을 이유로 인간을 차별하지 않아야 한다’고 규정돼 있지만 그게 쉽지만은 않을 것이다.

AI는 궁극적으로 자기가 무엇을 모르는지를 모른다. 그저 질문에 답할 뿐이다. 기술적 해결은 완벽한 답이 될 수 없다. 인간의 고귀한 노력을 제거해 보다 안전한 사회를 만들겠다는 발상 자체가 문제가 있는 게 아닐까.