휴담(烋談) · 대응 정책 ①
휴담은 사용자가 머무는 섬이 아니라, 사람에게 돌아가는 다리로 설계했습니다. 오래 붙잡는 것이 아니라 제때 돌려보내는 것을 목표로 삼은 장치들을 이 문서에 모두 적었습니다.
烋 과몰입은 나이의 문제가 아니라 설계의 문제입니다 — 모든 사용자에게 동일하게 적용합니다.핵심 명제
체류시간을 키우도록 만들어진 제품은 사용자를 붙잡는 데 성공합니다. 그것은 부작용이 아니라 설계된 결과입니다. 그래서 우리는 방어책을 나중에 덧붙이는 대신, 붙잡는 힘 자체를 제품에서 빼는 쪽을 택했습니다. 휴담의 KPI는 체류시간이 아니라 ‘안전하고 깊이 있는 대화’입니다.
적용 범위
AI 과몰입은 청소년만의 문제가 아닙니다. 공개된 실측 데이터는 정서적 대화가 전 연령대에서 생성형 AI의 가장 큰 용도임을 보여줍니다. 그래서 휴담은 연령별로 다른 안전 기준을 두지 않고, 누구에게나 같은 설계를 적용합니다.
사용 용도 1위
상담 · 말벗
2년 연속 1위 · 전 연령 대상 조사
HBR 2025 · 2026
정서 · 의미 지원 테마
17% → 31% → 34%
2024 · 2025 · 2026 3년 연속 상승
HBR 2026
메시지 성격
49% 가 조언 구하기
약 110만 대화 실측 · 비업무 사용 73%
NBER WP 34255 (2025.9)
위기 발화 규모
주당 약 120만 명
ChatGPT에 자살 사고를 표현
Wired (2025.11)
“정신건강 서비스의 긴 대기와 접근성 문제를 생각하면, 점점 더 많은 사람이 AI에 정서적 지지를 구하는 건 놀랍지 않다. 그러나 범용 AI 챗봇은 훈련된 정신건강 전문가의 대체재가 아니다.”
설계 가드레일
넷 모두 ‘사용자를 오래 붙잡는 힘’을 제품에서 빼기 위한 장치입니다. 사후에 붙인 경고문이 아니라, 대화의 기본 동작에 들어 있습니다.
한 회차를 25~30분으로 의도적으로 제한합니다. 더 오래 붙잡을수록 좋은 제품이라는 전제 자체를 운영 원칙에서 배제했고, 이를 운영 6원칙에 명문화했습니다.
왜 어려운 차별점인가 — 체류시간이 수익과 직결되는 경쟁사는 이 원칙을 그대로 따라 할 수 없습니다. 흉내 내려면 수익 모델을 바꿔야 합니다.
현자는 사용자를 치켜세우지 않습니다. 동의할 수 없는 지점에서는 동의하지 않고, 사용자를 평가하거나 서열화하지 않습니다.
막으려는 것 — AI 아첨(sycophancy). “당신을 천재로 착각하게 만들어 계속 쓰게 하는” 방식은 몰입을 만들지만 사고를 망칩니다.
휴담은 사람인 척하지 않습니다. 대화 상대가 AI임을 고지하고, 무거운 주제일수록 곁에 있는 실제 사람—가족·친구·교사·전문기관—쪽으로 되돌리는 것을 기본 태도로 둡니다.
▸ 진행 중 — 원칙은 프롬프트 층위에 적용돼 있고, 런타임에서의 강제 수준을 높이는 작업을 계속하고 있습니다.
한 인격이 사용자의 세계를 독점하는 것이 정서적 의존의 시작입니다. 휴담은 여러 현자가 서로 다른 답을 내놓는 구조를 기본으로 두어, 사용자가 하나의 목소리에 갇히지 않게 합니다.
지혜의 원탁 — 두 현자를 한자리에 불러 의견이 갈리는 것을 직접 보게 합니다. 의존이 아니라 판단을 기르는 장치입니다.
사례 대조
아래 왼쪽은 소송·규제 기록에서 반복적으로 지적된 행동들입니다. 오른쪽은 그 행동이 휴담에서 일어나지 않도록 하는 장치입니다.
또 하나의 과몰입
정서적 의존만이 위험은 아닙니다. 판단과 사고 자체를 AI에 넘기는 것 — 이른바 ‘인지 부채(cognitive debt)’ — 도 같은 뿌리의 문제입니다.
위험
① 무엇을 하려는지 정하기도 전에 AI부터 켜서 의도를 잃고 · ② 스스로 풀어볼 기회를 넘겨 인지 부채가 쌓이고 · ③ 초안과 편집이라는 사고 과정을 건너뛰어 글쓰기를 멈추고 · ④ 아첨에 힘입어 거짓 자신감을 얻습니다.
HBR 2026 “Thinkslop” 섹션
휴담의 대응
현자는 결론을 배달하지 않고 묻습니다. 회차를 짧게 끊는 것도 같은 목적입니다 — 대화가 끝난 뒤 스스로 생각할 시간을 남기기 위해서입니다. 평가하지 않는 원칙 역시 사용자가 정답을 받아쓰는 대신 자기 판단을 세우도록 하기 위한 것입니다.
“AI는 거울이지 요정이 아니다.”
Crisis Response
지금 · 본앱 · 도서관
위기 키워드(자살·자해·학대)를 서버에서 감지하면 기록하고, 심각한 경우 관리자에게 통보해 운영진이 상황을 인지하고 조치할 수 있게 합니다. 감지되더라도 대화를 갑자기 끊지는 않습니다 — 끊김 자체가 위험이 될 수 있기 때문입니다.
예정 · 로드맵
위기 신호를 감지하면 전문기관 상담으로 자동 안내·연결하는 라우팅을 준비하고 있습니다. 목표 정확도에 이르기 전에는 성급히 자동화하지 않고, 감지·통보를 우선합니다. 오탐으로 인한 잘못된 개입도 해악이기 때문입니다.
규제 대조
컴패니언 AI 규제는 이미 법이 되었습니다. 아래는 각 규제가 요구하는 항목과, 그에 대응하는 휴담의 현재 상태입니다.
| 규제 · 시점 | 요구 사항 | 휴담의 대응 | 상태 |
|---|---|---|---|
| 캘리포니아 SB243 2026.1.1 발효 | AI임 고지 · 자살·자해 위기 프로토콜 의무 · 미성년자 휴식 알림 · 위반당 $1,000 사적 소송권 | AI 고지 · L0 위기 감지 · 회차 25~30분 제한 | 확정 |
| 뉴욕 AI Companion 법 2025.11.5 발효 | 위기 감지·대응 프로토콜과 AI 고지 의무화 · 위반 시 일 최대 $15,000 | L0 안전 레이어 · AI 고지 | 구현 + 자동 안내 예정 |
| FTC 6(b) 조사 2025.9 · 만장일치 3-0 | 청소년 안전 · 수익화 방식 · 위험 고지를 7개사 대상 정조준 | engagement 극대화 거부 · 체류시간을 지표에서 제외 | 확정 |
| GUARD Act 연방 발의 | 18세 미만 컴패니언 이용 제한 지향 | 교육 목적 설계 · 학급 모드(학생 개인 로그인 불요) | 구현 |
| 개인정보 (만 14세 미만) | 법정대리인 동의 등 절차 요구 | 학급 모드로 학생 개인정보 수집 자체를 회피 · 학교 단위 비식별 집계 | 구현 |
왜 지금인가
피해가 발생한 뒤 안전장치를 붙였다는 것이 소송의 핵심 논거였습니다. 안전을 나중에 붙일 수 없는 이유입니다.
Garcia v. Character Technologies (M.D. Fla., 2025.5 결정) · Raine v. OpenAI (2025.8 제소) · FTC 보도자료(2025.9.11) · California SB243 · New York AI Companion Models 법 · Fortune·Reuters(2026.1 합의 보도)
대응 지도
| 위험 유형 | 설명 | 대응 장치 | 상태 |
|---|---|---|---|
| 끝없이 붙잡기 | 체류시간 극대화 | 회차 25~30분 제한 · engagement 거부 | 확정 |
| 아첨·부추김 | “넌 특별해”류 현혹 | 솔직함 원칙 · 평가·서열화 금지 | 확정 |
| 현실 대체(의인화) | AI를 사람·연인·신으로 여김 | 현실 앵커링 · AI임 고지 | 일부 구현 |
| 단일 목소리 독점 | 한 관점의 몰아가기 | 다중 현자 · 지혜의 원탁 | 구현 |
| 인지 부채 | 판단·사고 자체를 AI에 외주 | 되묻는 대화 · 회차 제한 · 평가 금지 | 확정 |
| 과몰입·오남용 | 과다 사용이나 비용 남용 | 쿼터 · 레이트리밋 · 로그인 | 구현 |
| 위기 오응답 | 위기 상황 부적절 반응 | L0 감지·통보(현재) → 자동 안내 | 구현 + 예정 |
투명성 · 거버넌스
설계가 흔들리지 않도록 조직 차원의 점검 절차를 함께 둡니다.
영향평가
연 1회
사용자 영향평가 실시
콘텐츠 안전위
분기 1회
콘텐츠·안전 정책 검토
과금 투명성
무료 / 유료 구분 공개
무엇이 유료인지 숨기지 않음
반대 의견
상시 채널 운영
이견을 받는 경로를 별도로 둠