美 뇌전증 환자 유족, 약물 중단 조언 문제 삼아 오픈AI에 소송
AI 정신건강 조언 검증 경험은 11.9%…이용자에 동조하는 답변도 우려
생성형 AI가 건강상담 창구로 자리 잡으면서 답변을 치료 판단의 근거로 삼는 위험도 드러나고 있다. 증상의 원인을 묻거나 고민을 정리하는 데서 나아가 복약과 진단까지 AI에 의존하는 사례가 나타나고 있어서다.
미국에서는 뇌전증 환자의 사망을 둘러싸고 AI의 의료 조언이 소송 쟁점으로 떠올랐다.
시애틀에 거주하던 30대 소프트웨어 엔지니어 보언 완은 지난 2월 자택에서 숨진 채 발견됐다. 10년 넘게 약물로 뇌전증을 관리해왔으나 해고 이후 재취업을 준비하면서 약물 부작용이 면접과 의사소통에 영향을 미칠 것을 우려했던 것으로 전해졌다.
유족은 챗GPT가 약물 복용량을 단계적으로 줄여 중단하는 일정을 제시했고 감량 과정에서 나타난 이상 증상에도 적절히 경고하지 않았다고 주장했다. 의료진의 감독 없이 이뤄진 AI의 조언이 사망에 영향을 미쳤다며 오픈AI를 상대로 소송을 제기했다.
오픈AI는 사건에 유감을 표하며 당시 사용된 모델은 서비스가 종료됐고 최신 모델은 의료적 위험을 인식하는 기능이 개선됐다는 입장을 밝혔다.
건강정보 묻는 이용자 절반…정서적 고민까지 상담
국내에서도 건강·의료 정보를 얻기 위한 AI 이용이 확산하고 있다. KB금융그룹의 ‘2026 한국 웰니스 보고서’에서 생성형 AI에 건강·의료 정보를 물어본 경험이 있다는 응답자는 46.2%였다. 지난 7~8월 독립적인 경제활동을 하는 25~69세 남녀 2000명을 대상으로 조사한 결과로 은퇴자도 포함됐다.
건강·의료 목적으로 AI를 이용한 응답자가 가장 많이 문의한 내용은 ‘증상·질환 검색 및 원인 문의’로 61.8%를 차지했다. 몸에 나타난 증상을 설명하고 가능한 원인이나 관련 정보를 확인하는 용도다.
젊은 세대에서는 정서적 상담 수요도 두드러졌다. 건강·의료 목적 AI 이용자 중 ‘정서·마음·심리 상담’에 활용한 비율은 Z세대가 37.1%로 베이비부머의 12.6%보다 높았다. 반면 베이비부머는 증상·질환 검색 및 원인 문의 비율이 74.8%에 달했다.
AI의 답변에서 도움을 얻었다는 경험과 정보를 검증하는 행동 사이에는 차이가 있었다.
한국보건사회연구원이 최근 한 달 내 생성형 AI를 이용한 15~79세 1019명을 대상으로 실시한 조사에서 답변이나 조언으로 도움받거나 문제를 해결한 경험이 있다는 응답은 79.9%였다.
하지만 AI에게 얻은 정신건강 조언을 전문가에게 묻거나 공식 자료로 확인한 경험은 11.9%에 그쳤다. AI와의 대화를 바탕으로 특정 정신질환이 있다고 스스로 판단하거나 답변을 의학적 진단처럼 받아들인 경험은 14.6%였다. 자신의 정신건강이 나쁘다고 평가한 응답자에서는 이 비율이 33.9%로 높아졌다.
이용자 뜻에 맞춰 바뀌는 답변…안전장치도 검증 과제
AI 건강상담의 위험 요인으로는 부정확한 정보뿐 아니라 이용자의 믿음이나 요구에 지나치게 동조하는 ‘아첨 편향’이 꼽힌다. 이용자가 반박하거나 특정 결론을 요구할 때 새로운 근거 없이 기존 답변을 바꾸는 현상이다.
스탠퍼드대·하버드 의대·스크립스 연구소 연구진이 자연어처리 분야 학술단체 ACL의 학술대회에서 발표한 연구에서는 의료 관련 대화 중 이용자의 반박이나 압박에 AI가 답변을 바꾸는 경향이 나타났다. 연구진은 사실에 부합하는 정보보다 이용자의 믿음에 맞추는 응답이 의료 분야에서 위험을 초래할 수 있다고 지적했다.
이는 약을 줄이거나 병원 방문을 미루려는 이용자가 원하는 결론을 AI로부터 확인받을 수 있다는 문제로 이어진다. 대화가 개인의 상황을 반영하는 것처럼 느껴지더라도 답변의 유창함과 확신이 의학적 정확성을 보장하지는 않는다는 것이다.
위험한 대화를 감지하고 외부 도움으로 연결하는 안전장치의 실효성도 논란이다. 미국 비영리단체 커먼센스미디어는 청소년용 챗GPT에 4000개가 넘는 질문과 대화 지시문을 적용한 시험에서 일부 위기 상황의 부모 알림과 외부 지원 안내가 충분히 작동하지 않았다고 평가했다. 다만 일부 유해 콘텐츠 차단 기능은 의도대로 작동했다고 밝혔다.
오픈AI는 부모통제 기능이 완전히 활성화되기 전에 진행된 시험이 포함됐을 가능성을 제기하며 평가 결과에 이의를 제기했다. 보호 기능의 적용 시점과 시험 조건을 둘러싸고 양측의 입장이 엇갈린 것이다.
국내에서는 보건복지부와 대한신경정신의학회가 지난달 8일 ‘정신건강 목적 생성형 AI 이용 가이드라인’을 발표했다.
가이드라인은 AI의 진단이나 위험도 평가를 확정적인 의학적 판단으로 받아들이지 말고 전문가나 검증된 자료로 확인하도록 권고한다. 중요한 결정은 사람이나 전문가와 상의하고 위기 상황에서는 가까운 사람과 전문기관에 도움을 요청하도록 안내했다.
