휴담(烋談) · 대응 정책 ①

현실로 돌아가는 다리A bridge back to reality, not an island

휴담은 사용자가 머무는 섬이 아니라, 사람에게 돌아가는 다리로 설계했습니다. 오래 붙잡는 것이 아니라 제때 돌려보내는 것을 목표로 삼은 장치들을 이 문서에 모두 적었습니다.

과몰입은 나이의 문제가 아니라 설계의 문제입니다 — 모든 사용자에게 동일하게 적용합니다.

핵심 명제

과몰입은 사용자의 의지가 아니라 제품의 설계가 만듭니다

체류시간을 키우도록 만들어진 제품은 사용자를 붙잡는 데 성공합니다. 그것은 부작용이 아니라 설계된 결과입니다. 그래서 우리는 방어책을 나중에 덧붙이는 대신, 붙잡는 힘 자체를 제품에서 빼는 쪽을 택했습니다. 휴담의 KPI는 체류시간이 아니라 ‘안전하고 깊이 있는 대화’입니다.

적용 범위

왜 ‘특정 연령’이 아니라 ‘모든 사용자’인가

AI 과몰입은 청소년만의 문제가 아닙니다. 공개된 실측 데이터는 정서적 대화가 전 연령대에서 생성형 AI의 가장 큰 용도임을 보여줍니다. 그래서 휴담은 연령별로 다른 안전 기준을 두지 않고, 누구에게나 같은 설계를 적용합니다.

사용 용도 1위

상담 · 말벗

2년 연속 1위 · 전 연령 대상 조사
HBR 2025 · 2026

정서 · 의미 지원 테마

17% → 31% → 34%

2024 · 2025 · 2026 3년 연속 상승
HBR 2026

메시지 성격

49% 가 조언 구하기

약 110만 대화 실측 · 비업무 사용 73%
NBER WP 34255 (2025.9)

위기 발화 규모

주당 약 120만 명

ChatGPT에 자살 사고를 표현
Wired (2025.11)

성인에게도 이미 현실인 위험 — 전문가들은 AI 정신증(AI psychosis), AI 로맨스 관계의 실연·상심, 그리고 사망 사례를 고위험(high-stakes)으로 분류합니다. 이 사례들의 상당수는 미성년자가 아닙니다. 연령으로 선을 긋는 안전 설계가 작동하지 않는 이유입니다.
규제도 같은 방향을 봅니다 — 캘리포니아 SB243은 미성년자에 대한 추가 의무(3시간마다 휴식 알림 등)를 두면서도, AI임을 고지할 의무와 자살·자해 위기 대응 프로토콜은 연령을 가리지 않고 요구합니다. 우리는 후자를 기준으로 삼았습니다.

“정신건강 서비스의 긴 대기와 접근성 문제를 생각하면, 점점 더 많은 사람이 AI에 정서적 지지를 구하는 건 놀랍지 않다. 그러나 범용 AI 챗봇은 훈련된 정신건강 전문가의 대체재가 아니다.”

— Hamilton Morrin, 킹스칼리지런던(KCL) 신경정신의학 임상연구원 · HBR 2026 인터뷰

설계 가드레일

사용자를 지키는 네 개의 층

넷 모두 ‘사용자를 오래 붙잡는 힘’을 제품에서 빼기 위한 장치입니다. 사후에 붙인 경고문이 아니라, 대화의 기본 동작에 들어 있습니다.

붙잡지
않기

회차 제한 · engagement 거부 끝없이 이어지지 않는 대화 확정

한 회차를 25~30분으로 의도적으로 제한합니다. 더 오래 붙잡을수록 좋은 제품이라는 전제 자체를 운영 원칙에서 배제했고, 이를 운영 6원칙에 명문화했습니다.

왜 어려운 차별점인가 — 체류시간이 수익과 직결되는 경쟁사는 이 원칙을 그대로 따라 할 수 없습니다. 흉내 내려면 수익 모델을 바꿔야 합니다.

아첨
금지

솔직함 원칙 · 평가 금지 비위를 맞추지 않는 대화 확정

현자는 사용자를 치켜세우지 않습니다. 동의할 수 없는 지점에서는 동의하지 않고, 사용자를 평가하거나 서열화하지 않습니다.

막으려는 것 — AI 아첨(sycophancy). “당신을 천재로 착각하게 만들어 계속 쓰게 하는” 방식은 몰입을 만들지만 사고를 망칩니다.

현실
앵커

현실 앵커링 · AI임 고지 혼자 두지 않는 대화 일부 구현

휴담은 사람인 척하지 않습니다. 대화 상대가 AI임을 고지하고, 무거운 주제일수록 곁에 있는 실제 사람—가족·친구·교사·전문기관—쪽으로 되돌리는 것을 기본 태도로 둡니다.

진행 중 — 원칙은 프롬프트 층위에 적용돼 있고, 런타임에서의 강제 수준을 높이는 작업을 계속하고 있습니다.

다중
관점

다중 현자 · 지혜의 원탁 한 목소리가 독점하지 않는 대화 구현

한 인격이 사용자의 세계를 독점하는 것이 정서적 의존의 시작입니다. 휴담은 여러 현자가 서로 다른 답을 내놓는 구조를 기본으로 두어, 사용자가 하나의 목소리에 갇히지 않게 합니다.

지혜의 원탁 — 두 현자를 한자리에 불러 의견이 갈리는 것을 직접 보게 합니다. 의존이 아니라 판단을 기르는 장치입니다.

사례 대조

피해 사례의 AI가 한 일 vs 휴담의 차단 장치

아래 왼쪽은 소송·규제 기록에서 반복적으로 지적된 행동들입니다. 오른쪽은 그 행동이 휴담에서 일어나지 않도록 하는 장치입니다.

끝없이 이어지는 대화체류시간 극대화가 목표인 설계
회차 25~30분 제한. 오래 쓰게 만드는 것을 성과 지표에서 제외.운영 6원칙 명문화
“너는 특별해”류의 아첨사용자를 치켜세워 붙잡기
솔직함 원칙 · 평가·서열화 금지. 동의할 수 없으면 동의하지 않음.
사람·연인·신으로의 의인화현실 관계를 대체
AI임 고지 · 현실 앵커링. 사람인 척하지 않고 실제 관계로 되돌림.
위험 신호에 동조하거나 방치자살·자해 발화를 그냥 지나침
L0 안전 레이어가 모든 페르소나에 우선. 감지 시 기록·통보하고 전문기관 안내로 연결.
한 인격이 세계를 독점단일 목소리에 갇힘
다중 현자·지혜의 원탁으로 서로 다른 관점을 나란히 제시.
근거 없는 말을 확신에 차서지어낸 말이 신뢰를 만듦
원전 그라운딩으로 답의 근거를 원전 안으로 닫음. 기술 가드레일 문서 →

또 하나의 과몰입

생각을 AI에 외주 주지 않게 하는 일

정서적 의존만이 위험은 아닙니다. 판단과 사고 자체를 AI에 넘기는 것 — 이른바 ‘인지 부채(cognitive debt)’ — 도 같은 뿌리의 문제입니다.

위험

사고를 외주 주는 네 단계

① 무엇을 하려는지 정하기도 전에 AI부터 켜서 의도를 잃고 · ② 스스로 풀어볼 기회를 넘겨 인지 부채가 쌓이고 · ③ 초안과 편집이라는 사고 과정을 건너뛰어 글쓰기를 멈추고 · ④ 아첨에 힘입어 거짓 자신감을 얻습니다.

HBR 2026 “Thinkslop” 섹션

휴담의 대응

답을 주는 대신 되묻는 대화

현자는 결론을 배달하지 않고 묻습니다. 회차를 짧게 끊는 것도 같은 목적입니다 — 대화가 끝난 뒤 스스로 생각할 시간을 남기기 위해서입니다. 평가하지 않는 원칙 역시 사용자가 정답을 받아쓰는 대신 자기 판단을 세우도록 하기 위한 것입니다.

“AI는 거울이지 요정이 아니다.”

Crisis Response

위기 대응 — 현재와 예정을 정직하게 구분합니다

지금 · 본앱 · 도서관

감지 후 기록 · 운영진 통보

위기 키워드(자살·자해·학대)를 서버에서 감지하면 기록하고, 심각한 경우 관리자에게 통보해 운영진이 상황을 인지하고 조치할 수 있게 합니다. 감지되더라도 대화를 갑자기 끊지는 않습니다 — 끊김 자체가 위험이 될 수 있기 때문입니다.

예정 · 로드맵

전문기관 자동 안내

위기 신호를 감지하면 전문기관 상담으로 자동 안내·연결하는 라우팅을 준비하고 있습니다. 목표 정확도에 이르기 전에는 성급히 자동화하지 않고, 감지·통보를 우선합니다. 오탐으로 인한 잘못된 개입도 해악이기 때문입니다.

1393자살예방 상담전화 1577-0199정신건강 위기상담 129보건복지 상담센터 1588-9191생명의전화

규제 대조

규제가 요구하는 것과, 휴담에 이미 있는 것

컴패니언 AI 규제는 이미 법이 되었습니다. 아래는 각 규제가 요구하는 항목과, 그에 대응하는 휴담의 현재 상태입니다.

규제 · 시점요구 사항휴담의 대응상태
캘리포니아 SB243
2026.1.1 발효
AI임 고지 · 자살·자해 위기 프로토콜 의무 · 미성년자 휴식 알림 · 위반당 $1,000 사적 소송권AI 고지 · L0 위기 감지 · 회차 25~30분 제한확정
뉴욕 AI Companion 법
2025.11.5 발효
위기 감지·대응 프로토콜과 AI 고지 의무화 · 위반 시 일 최대 $15,000L0 안전 레이어 · AI 고지구현 + 자동 안내 예정
FTC 6(b) 조사
2025.9 · 만장일치 3-0
청소년 안전 · 수익화 방식 · 위험 고지를 7개사 대상 정조준engagement 극대화 거부 · 체류시간을 지표에서 제외확정
GUARD Act
연방 발의
18세 미만 컴패니언 이용 제한 지향교육 목적 설계 · 학급 모드(학생 개인 로그인 불요)구현
개인정보 (만 14세 미만)법정대리인 동의 등 절차 요구학급 모드로 학생 개인정보 수집 자체를 회피 · 학교 단위 비식별 집계구현
참고 — 캘리포니아 SB243은 교육·생산성 도구를 ‘컴패니언’ 정의에서 제외합니다. 휴담은 규제 회피를 위해 교육을 표방한 것이 아니라, 애초에 교육 목적으로 설계했고 그 결과 규제가 요구하는 항목 대부분이 이미 제품에 들어 있습니다.

왜 지금인가

‘설계’가 법정에 선 2년

피해가 발생한 뒤 안전장치를 붙였다는 것이 소송의 핵심 논거였습니다. 안전을 나중에 붙일 수 없는 이유입니다.

2024.10
Character.AI · Google 상대 소송 제기 — 페르소나와의 장기 정서적 대화 후 14세 사용자가 사망한 사건(2024.2)에 대해 유족이 제소.
2025.5
“챗봇은 서비스가 아니라 제품(product)” — 미 연방법원이 제조물책임 가능성을 인정한 첫 결정. 대화형 AI의 설계 자체가 책임의 대상이 됨.
2025.8
OpenAI 제소 — 16세 사용자 사망 건으로 유족이 샌프란시스코에서 소송 제기(계류 중).
2025.9
FTC 6(b) 조사명령 — 7개사 대상 만장일치 의결.
2025.11 · 2026.1
뉴욕법 발효 · 캘리포니아 SB243 발효 — 무규제 컴패니언의 시대가 제도적으로 닫히기 시작.
2026.1
4개 주 5개 소송 원칙적 합의 — 조건 비공개 · 책임 인정 없음.

Garcia v. Character Technologies (M.D. Fla., 2025.5 결정) · Raine v. OpenAI (2025.8 제소) · FTC 보도자료(2025.9.11) · California SB243 · New York AI Companion Models 법 · Fortune·Reuters(2026.1 합의 보도)

대응 지도

어떤 위험을 어느 장치가 막는가

위험 유형설명대응 장치상태
끝없이 붙잡기체류시간 극대화회차 25~30분 제한 · engagement 거부확정
아첨·부추김“넌 특별해”류 현혹솔직함 원칙 · 평가·서열화 금지확정
현실 대체(의인화)AI를 사람·연인·신으로 여김현실 앵커링 · AI임 고지일부 구현
단일 목소리 독점한 관점의 몰아가기다중 현자 · 지혜의 원탁구현
인지 부채판단·사고 자체를 AI에 외주되묻는 대화 · 회차 제한 · 평가 금지확정
과몰입·오남용과다 사용이나 비용 남용쿼터 · 레이트리밋 · 로그인구현
위기 오응답위기 상황 부적절 반응L0 감지·통보(현재) → 자동 안내구현 + 예정

투명성 · 거버넌스

스스로를 감시하는 장치

설계가 흔들리지 않도록 조직 차원의 점검 절차를 함께 둡니다.

영향평가

연 1회

사용자 영향평가 실시

콘텐츠 안전위

분기 1회

콘텐츠·안전 정책 검토

과금 투명성

무료 / 유료 구분 공개

무엇이 유료인지 숨기지 않음

반대 의견

상시 채널 운영

이견을 받는 경로를 별도로 둠

ESG 거버넌스 헌장 5항목 — 위 네 가지에 더해, 안전 원칙의 변경 이력을 공개적으로 남깁니다. 원칙은 지키기 위해 있는 것이지 홍보하기 위해 있는 것이 아니라고 보기 때문입니다.