How to Regulate Artificial Intelligence
기업가 일론 머스크는 최근 미 주지사들에게 “너무 늦기 전에 인공지능(AI) 규제 방안을 마련해야 한다”고 촉구했다. 그는 AI가 ‘인류에 대한 존재적 위협’이 될 것이라고 경고했다. 머스크는 현실의 AI를 공상과학 소설과 혼동하는 듯 불안을 야기하고 있긴 하다. 그러나 무기와 일자리·개인정보 측면에서 AI가 몰고 올 부작용에 대해선 충분히 우려할 만하다고 나를 비롯한 AI 많은 과학자가 생각한다. 인류가 위험을 무릅쓰고 AI를 계속 발전시켜 나가야 하느냐 하는 의문도 필연적으로 제기된다.
I believe the answer is yes. But shouldn’t we take steps to at least slow down progress on A.I., in the interest of caution? The problem is that if we do so, then nations like China will overtake us. The A.I. horse has left the barn, and our best bet is to attempt to steer it. A.I. should not be weaponized, and any A.I. must have an impregnable “off switch.” Beyond that, we should regulate the tangible impact of A.I. systems (for example, the safety of autonomous vehicles) rather than trying to define and rein in the amorphous and rapidly developing field of A.I.
일단 AI는 계속 발전해야 한다. 하지만 신중을 기하기 위해 AI의 발전 속도를 늦추는 것은 필요하다. 물론 그렇게 했다간 중국을 비롯한 여러 나라가 미국을 추월해 버릴 염려도 있다. AI라는 첨단 열차는 이미 역을 떠났다. 이제는 방향을 제대로 잡아주는 것이 최선이다. 우선 AI를 결코 무기화해선 안 된다. 또 AI가 아무리 날고 긴다 해도 인간에겐 무적의 무기, ‘스위치 끄기’가 있다. 정해진 방향 없이 빠르게 발전하는 AI 산업을 굳이 규제하고 고삐를 죄는 방식은 실패하기 십상이다. 그보다 자율주행차 안전시스템 도입 같은 AI 시스템에 실질적인 영향을 줄 수 있는 조치에 집중해야 한다.
I propose three rules for artificial intelligence systems that are inspired by, yet develop further, the “three laws of robotics” that the writer Isaac Asimov introduced in 1942: A robot may not injure a human being or, through inaction, allow a human being to come to harm; a robot must obey the orders given it by human beings, except when such orders would conflict with the previous law; and a robot must protect its own existence as long as such protection does not conflict with the previous two laws.
탁월한 공상과학(SF) 소설 작가인 아이작 아시모프가 1942년 내놓은 ‘로봇 3원칙’을 한 단계 발전시킨 ‘AI 시스템 3원칙’을 나는 제안한다. 우선 아시모프의 로봇 3원칙은 다음과 같다. 첫째로 로봇은 인간을 다치게 해선 안 되며, 인간이 해를 입는 걸 방관해서도 안 된다. 둘째로 법칙 1에 위배되지 않는 한 로봇은 인간의 명령에 복종한다. 셋째로 법칙 1과 2에 위배되지 않는 한 로봇은 스스로를 보호해야 한다.
These three laws are elegant but ambiguous: What, exactly, constitutes harm when it comes to A.I.? I suggest a more concrete basis for avoiding A.I. harm, based on three rules of my own.
얼핏 듣기엔 그럴싸하지만 이 3원칙에는 애매한 측면이 있다. 무엇보다 AI가 방관해선 안 될 인간 ‘피해’가 과연 무엇인지 불분명하다. 따라서 AI가 인간에게 해를 주는 걸 피하기 위해 좀 더 구체적인 3원칙을 제시해 보겠다.
First, an A.I. system must be subject to the full gamut of laws that apply to its human operator. This rule would cover private, corporate and government systems. We don’t want A.I. to engage in cyberbullying, stock manipulation or terrorist threats; we don’t want the F.B.I. to release A.I. systems that entrap people into committing crimes. We don’t want autonomous vehicles that drive through red lights, or worse, A.I. weapons that violate international treaties. Our common law should be amended so that we can’t claim that our A.I. system did something that we couldn’t understand or anticipate. Simply put, “My A.I. did it” should not excuse illegal behavior.
첫째로 AI 시스템 역시 이를 작동시키는 인간에게 적용되는 각종 규제를 동일하게 받아야 한다. 이 원칙은 가정과 기업·정부의 AI 시스템 모두에 적용된다. 우리는 AI를 통해 사이버폭력이나 주가조작·테러범죄가 일어나는 걸 원치 않는다. 미연방수사국(FBI)이 AI 시스템을 이용해 함정수사를 하거나 자율주행 자동차가 정지신호를 무시하고 달리는 것, 또 AI 무기가 국제법을 무시하고 공격을 가하는 것도 원치 않는다. 인간이 책임져야 할 범죄를 AI 시스템에 전가할 수 없도록 법을 개정할 필요가 있다. 쉽게 말해 “내가 아니라 AI가 한 짓이에요”란 주장은 불법행
위의 변명이 될 수 없다.
My second rule is that an A.I. system must clearly disclose that it is not human. As we have seen in the case of bots — computer programs that can engage in increasingly sophisticated dialogue with real people — society needs assurances that A.I. systems are clearly labeled as such. In 2016, a bot known as Jill Watson, which served as a teaching assistant for an online course at Georgia Tech, fooled students into thinking it was human. A more serious example is the widespread use of pro-Trump political bots on social media in the days leading up to the 2016 elections, according to researchers at Oxford.
My rule would ensure that people know when a bot is impersonating someone. We have already seen, for example, @DeepDrumpf — a bot that humorously impersonated Donald Trump on Twitter. A.I. systems don’t just produce fake tweets; they also produce fake news videos. Researchers at the University of Washington recently released a fake video of former President Barack Obama in which he convincingly appeared to be speaking words that had been grafted onto video of him talking about something entirely different.
둘째로 AI는 자신이 인간이 아님을 명백히 알려야 한다. 사람과 대화할 수준으로 진화하고 있는 컴퓨터 로봇 프로그램에서 드러났듯이 AI 시스템은 사람과 상호작용할 때 자신이 사람이 아님을 공개적으로 밝힐 필요성이 있다. 지난해 미 조지아공대가 온라인 강의 조교 역할을 맡긴 로봇 ‘질 왓슨’을 사람으로 착각한 학생이 많았다. 로봇이 사람 행세를 할 경우 사람이 아니라 로봇임을 알리는 규정을 만들어야 한다. 트위터에서 도널드 트럼프를 흉내 내며 유머 트윗을 날리는 로봇 ‘@DeepDrumpf’가 좋은 예다. 이제 AI 시스템은 단순히 가짜 트윗만 올리는 것이 아니라 가짜 뉴스 동영상을 만들어 배포할 수도 있다. 워싱턴대 연구진은 최근 버락 오바마 전 대통령의 가짜 동영상을 공개했다. 오바마의 진짜 동영상을 가져와 실제와 완전히 다른 이야기를 하는 것처럼 그의 목소리를 덧씌운 가짜 동영상이었는데, 정말 감쪽같았다.
My third rule is that an A.I. system cannot retain or disclose confidential information without explicit approval from the source of that information. Because of their exceptional ability to automatically elicit, record and analyze information, A.I. systems are in a prime position to acquire confidential information. Think of all the conversations that Amazon Echo — a “smart speaker” present in an increasing number of homes — is privy to, or the information that your child may inadvertently divulge to a toy such as an A.I. Barbie. Even seemingly innocuous housecleaning robots create maps of your home. That is information you want to make sure you control.
셋째로 AI 시스템은 원래 개발자의 동의 없이 기밀 정보를 공개하거나 보유할 수 없다. 정보를 자동적으로 추출∙기록∙분석할 수 있는 능력을 갖춘 덕에 AI 시스템은 기밀 정보를 입수하는 데 능하다. 많은 가정에서 쓰는 ‘스마트 스피커’인 아마존 에코와 우리가 나누는 모든 대화가 정보로 축적된다고 생각해 보자. 아이들이 AI 바비 인형 등을 상대로 가족에 대해 무심코 흘린 말이 모두 저장돼 수집된다면? 정보 유출과 아무 상관없어 보이는 청소로봇이라도 우리 집 구조를 상세한 지도로 만들 수 있다. 이런 개인정보는 함부로 공개될 수 없도록 만들어야 한다.
My three A.I. rules are, I believe, sound but far from complete. I introduce them here as a starting point for discussion. Whether or not you agree with Mr. Musk’s view about A.I.’s rate of progress and its ultimate impact on humanity (I don’t), it is clear that A.I. is coming. Society needs to get ready.
이런 AI 3원칙이 결코 완전하다고 볼 순 없다. 앞으로 논의돼야 할 AI 규제의 출발점일 뿐이다. AI의 발전 속도와 그것이 인류에 미칠 영향에 대한 머스크의 주장에 동의하든, 안 하든(나는 동의하지 않는다) AI가 우리 곁에 진정 가까이 다가온 것만은 분명하다. 이제 준비해야 할 때다.
오렌 에지오니 AI 앨런연구소 대표
The New York Times Opinion
SEPT. 1, 2017
with the Korea JoongAng Daily
To write comments, please log in to one of the accounts.
Standards Board Policy (0/250자)