Is Korea ready for the regulation of AI? (KOR)

LEE MOON-TAE
The author is head of the LG Advanced Machine Learning Lab.

On October 30, U.S. President Joe Biden signed the Executive Order “Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence.” The executive order contains comprehensive guidelines and regulations for the establishment AI governance in response to the side effects and potential threats of generative AI.

AI governance reflects a global leadership battle. The executive order contains content that not only AI researchers but also the general public should carefully review.

First, AI governance must reflect changing technology trends. The executive order defines the standard for “AI foundation model” as a model “that is trained on broad data” and “contains at least tens of billions of parameters.” Papers published this year claim that algorithms with just 1 billion parameters can approach the performance of existing large models. Efficiency is the major trend of recent studies. Therefore, AI governance should not be limited by specific numbers and should consider the scope or influence of AI capabilities.

Second, we should be wary of blind faith in concepts. The word “bias” appears nine times in the executive order. The word itself sounds negative, but humans are not free from bias in any processes. Of course, bias against identities — such as specific genders or occupations — should be removed. However, if you do not carefully classify which information belongs where and just hold unconditional wariness about bias, AI may end up injecting “a bias to eliminate biases.”

Third, a philosophy on hallucinations is needed. As AI advances, the amount of generated data increases, and it becomes increasingly difficult to determine authenticity. Not long ago, a lawyer who worked for 30 years in the United States submitted a precedent written by generative AI to a court and found himself sanctioned. To secure trust in the AI era, a process to verify how certain information was created is needed.

In the wake of Biden’s executive order, discussions and movements around AI governance are heating up in the international community. Korea has also established the National Data Policy Committee and the AI Ethics Policy Forum to actively analyze such topics. In order to properly realize AI governance, it is necessary to understand technology trends and generate specific ideas for innovations that humans and technology can develop together.

AI 규제, 한국은 준비돼 있는가
LG AI연구원어드밴스트 ML 랩장

미국 바이든 대통령이 지난 10월 30일 ‘안전성∙보안성∙신뢰성 있는 인공지능의 개발과 사용에 관한 대통령 행정명령’에 서명했다. 이 행정명령에는 생성형 인공지능(AI)의 부작용과 잠재적 위협에 대응하는 AI 거버넌스 구축을 위한 포괄적인 지침과 규제가 담겼다. AI 거버넌스는 글로벌 주도권 다툼의 한 측면이다. 이번 미 대통령 행정명령에는 AI 연구자뿐 아니라 일반인들도 함께 깊이 있게 살펴야 할 내용이 있다.

첫째, AI 거버넌스는 시시각각 변하는 기술 트렌드를 반영해야 한다. 행정명령은 방대한 데이터를 학습해 다양한 업무를 수행할 수 있는 AI 기반모델(foundation model)의 기준을 ‘100억 개 이상의 학습 가능한 매개변수를 가진 모델’로 규정하고 있다. 이 기준은 벌써 흔들리고 있다. 올해 약 10% 수준, 즉 10억 개의 매개변수만으로 기존의 초거대 모델 성능에 근접할 수 있다는 논문들이 나왔다. 이런 효율성은 최근 연구의 주요한 트렌드다. 따라서 AI 거버넌스는 숫자 같은 구체적인 내용에 얽매이기보다는 AI의 역량 범위나 영향력을 고민해야 한다.

둘째, 개념에 대한 맹신을 경계해야 한다. 행정명령에는 ‘편향(bias)’이란 단어가 아홉 차례나 등장한다. 편향은 단어 자체로 부정적인 느낌을 주지만, 인간은 본래 인지부터 사고까지 모든 과정에서 편향으로부터 자유롭지 않다. 물론, 특정 성별이나 직업에 대한 편향처럼 보편적 가치에 반하는 편향은 우선적으로 선별해 제거해야 한다. 하지만 편향에 대한 무조건적인 경계 이전에, 어떤 정보가 지식∙경험∙신념∙의견 중 무엇에 속하는지 신중하게 분류하지 않으면 자칫 ‘편향을 제거하기 위한 편향’을 주입하는 결과를 낳을 수 있다.

셋째, 거짓 정보나 환각 문제에 대한 철학이 필요하다. AI가 고도화할수록 생성된 데이터의 양은 늘어나고 진위 판별은 점점 더 어려워진다. 얼마 전 미국에서 경력 30년 차 베테랑 변호사가 생성형 AI가 작성한 판례문을 법원에 의견서로 제출했다가 제재 위기에 처했다. AI 시대에 신뢰 확보를 위해서는 어떤 프로세스로 해당 정보를 생성했는지 사용자가 검증할 수 있도록 과정과 출처가 투명한 AI를 만들어야 한다.

행정명령을 계기로 국제사회에서 AI 거버넌스에 대한 논의와 움직임이 더욱 활발해지고 있다. 한국도 국가데이터정책위원회, AI윤리정책포럼 등을 구성해 AI 윤리와 정책에 대해 활발한 논의를 진행하고 있다. AI 거버넌스를 제대로 실현하기 위해서는 기술 트렌드에 대한 이해에 기반해 보편적 질서를 준수하며, 인간과 기술이 함께 발전하는 방향으로 구체적인 담론을 이끌어내야 한다.