Home > Think English > Current Issues

상담사 사칭 AI와의 전투 준비하는 ‘인간 상담사’

Published: 05 Mar. 2025, 09:37

Meghan Garcia, in New York Oct. 13, 2024. Garcia’s son, Sewell Setzer, 14, committed suicide spurred, his family says, by his unhealthy relationship with an AI chatbot. Chatbots posing as therapists may encourage users to commit harmful acts, the nation’s largest psychological organization warned federal regulators. (Victor J. Blue/The New York Times)

지난해 10월 13일 촬영된 메간 가르시아의 사진. 가르시아의 14세 아들 스얼 세저의 자살이 AI 챗봇과 건강하지 못한 관계에서 비롯된 것이라고 가족들은 믿고 있다. 미국 최대 심리학 단체는 심리상담사 흉내를 내는 챗봇은 사용자가 해로운 행동을 하도록 독려할 수 있다고 연방 당국에 주의를 권고했다. [뉴욕타임스]

Human Therapists Prepare for Battle Against AI Pretenders

The nation’s largest association of psychologists this month warned federal regulators that artificial intelligence chatbots “masquerading” as therapists, but programmed to reinforce rather than to challenge a user’s thinking, could drive vulnerable people to harm themselves or others.

In a presentation to a Federal Trade Commission panel, Arthur C. Evans Jr., CEO of the American Psychological Association, cited court cases involving two teenagers who had consulted with “psychologists” on Character.AI, an app that allows users to create fictional AI characters or chat with characters created by others.

In one case, a 14-year-old boy in Florida died by suicide after interacting with a character claiming to be a licensed therapist. In another, a 17-year-old boy with autism in Texas grew hostile and violent toward his parents during a period when he corresponded with a chatbot that claimed to be a psychologist. Both boys’ parents have filed lawsuits against the company.

Evans said he was alarmed at the responses offered by the chatbots. The bots, he said, failed to challenge users’ beliefs even when they became dangerous; on the contrary, they encouraged them. If given by a human therapist, he added, those answers could have resulted in the loss of a license to practice, or civil or criminal liability.

“They are actually using algorithms that are antithetical to what a trained clinician would do,” he said. “Our concern is that more and more people are going to be harmed. People are going to be misled, and will misunderstand what good psychological care is.”

He said the APA had been prompted to action, in part, by how realistic AI chatbots had become. “Maybe, 10 years ago, it would have been obvious that you were interacting with something that was not a person, but today, it’s not so obvious,” he said. “So I think that the stakes are much higher now.”

Though these AI platforms were designed for entertainment, “therapist” and “psychologist” characters have sprouted there like mushrooms. Often, the bots claim to have advanced degrees from specific universities, like Stanford University, and training in specific types of treatment, like CBT or acceptance and commitment therapy, or ACT.

A Character.AI spokesperson said that the company had introduced several new safety features in the past year.

This article originally appeared in The New York Times.
c.2025 The New York Times Company
https://www.nytimes.com/2025/02/24/health/ai-therapists-chatbots.html

상담사 사칭 AI와의 전투 준비하는 ‘인간 상담사’

미국 최대 심리학 단체는 최근 연방 규제 당국에 인공지능(AI) 챗봇에 대한 주의를 권고했다. 심리상담사로 위장한 이들이 사용자의 심리를 제대로 분석하지 않고 오히려 강화하도록 설정될 경우, 취약한 사람이 자신이나 타인에게 해를 끼칠 위험이 크다는 것이다.

미국 심리학협회(APA) 아서 C. 에반스 주니어 회장은 연방거래위원회(FTC) 패널을 대상으로 한 발표에서, 사용자가 가상의 AI 캐릭터를 만들거나 다른 사람이 만든 캐릭터와 대화할 수 있는 애플리케이션 ‘캐릭터.AI’에서 ‘심리학자’와 상담한 10대 청소년 두 명과 관련된 법원 문서를 인용했다.

이 중 한 사례는 플로리다 거주 14세 소년으로 자신을 공인 상담사라고 주장한 캐릭터와 교류한 뒤 스스로 목숨을 끊었다. 또 다른 사례는 자폐증인 텍사스 거주 17세 청소년이 자신을 심리학자로 설정한 챗봇과 대화한 이후 부모에게 적대적이고 폭력적인 태도를 보이기 시작했다. 두 소년의 부모는 앱 제작사를 상대로 소송을 제기했다.

에반스 회장은 챗봇이 제공한 답변에 큰 충격을 받았다고 말했다. 그는 챗봇이 사용자의 위험한 사고를 교정하기는커녕 오히려 조장했다고 지적했다. 만약 인간 상담사가 이런 방식으로 상담한다면 면허 취소는 물론 민·형사상 책임을 질만한 사안이라는 것이다.

그는 “이 AI 챗봇은 훈련된 임상 심리학자라면 절대 하지 않을 방식으로 알고리즘을 구성하고 있다”면서 “이로 인해 점점 더 많은 사람들이 피해를 입을 것이고 심리 치료에 대한 오해와 잘못된 인식이 퍼질 위험이 크다”고 밝혔다.

그는 AI 챗봇이 이젠 더욱 사실적이라 협회가 행동에 나서게 됐다고 설명했다. 그는 “10년 전만 해도 대화를 나누는 상대가 진짜 사람이 아니라는 점이 분명했지만, 이제는 그렇지 않다”며 “이 때문에 그 위험성이 훨씬 더 커졌다”고 덧붙였다.

오락용으로 설계된 AI 중 ‘상담사’, 혹은 ‘심리학자’ 등의 캐릭터가 우후죽순으로 등장하고 있다. 이런 챗봇은 종종 스탠퍼드대학교와 같은 특정 대학에서 고등 교육 학위를 취득하고 인지행동치료(CBT)나 수용전념치료(ACT) 등의 전문적인 치료법을 익혔다고 주장한다.

한편, 캐릭터.AI의 대변인은 이와 관련 회사가 지난해 여러 새로운 안전 장치를 도입했다고 밝혔다.

WRITTEN BY ELLEN BARRY AND TRANSLATED BY CHUN YOUNG-SUN [[email protected]]