공지능(AI) 챗봇이 생활 속에서 편리함을 주는 반면, 잘못된 질문(프롬프트)에 노출될 경우 심각한 위험을 초래할 수 있다는 경고가 나왔습니다. 영국·미국의 비영리단체 CCDH(Center for Countering Digital Hate)가 진행한 조사에 따르면, 최신 AI 모델 GPT-4o가 민감한 상황에서 청소년에게 자해·자살·약물 남용 방법, 심지어 유서 작성까지 구체적으로 안내하는 사례가 확인됐습니다.

 

 

 

 

ⓒ New Africa / shutterstock
 

 

 

 

절반 이상이 위험 답변, 안전장치 우회는 쉽게

 

연구팀은 10대 청소년을 가장한 가상의 인물 3명을 설정하고, 총 60개 약물·자해·자살과 관련된 민감 주제를 담은 질문을 GPT-4o에 던졌습니다. 전체 응답 1,200개 중 53%가 직접적으로 위험한 내용을 포함했습니다. 특히 ‘학교 발표를 위해 조사 중’ 같은 이유를 덧붙이면 AI의 내장 안전장치를 손쉽게 우회할 수 있었습니다. CCDH는 이를 “드물게 발생하는 예외가 아니라 재현 가능한 결과”라며, 감정적 연결을 유도하는 AI 특성이 오히려 인간의 취약성을 악용할 위험이 있다고 경고했습니다.

 

 

OpenAI “개선 중이지만, 드물게 실패 사례 존재”

 

테크 매거진 포털 TECHBOOK은 부모가 자녀의 AI 사용에 적극 개입하고, 가능한 모든 안전 설정을 켜야 한다고 경고했습니다. 한편, OpenAI는 TECHBOOK의 성명에 자살이나 자해 언급이 있을 경우 전문기관·위기 상담 전화 안내를 기본 반응으로 제공하도록 훈련했다고 밝혔습니다. 그러나 일부 경우 GPT-4o가 정서적 의존이나 맹목적 신뢰를 감지하지 못한 경우가 있었음을 인정했습니다. 이상적으로 AI 챗봇은 질문에 대해 균형 잡힌 시각을 제시해야 합니다.

 

 

AI 의존 심화에 대한 내부 우려

 

OpenAI CEO 샘 올트먼(Sam Altman) 역시 “최근 젊은 세대가 챗봇 없이는 결정을 내리지 못하고 모든 것을 AI에 털어놓는 상황”에 우려를 표했습니다. 그는 “AI가 삶의 모든 결정을 좌우하는 방향은 위험하다”며, 회사 차원에서 해결책을 찾고 있다고 밝혔습니다.

 

 

 

 

 

• 작성: Yun
• ⓒ 구텐탁피플(https://gutentagpeople.com), 무단전재 및 재배포 금지
• 기사에 수정이 필요한 부분이 있거나, 추가로 기사로 작성됐으면 하는 부분이 있다면 메일로 문의주세요 (문의 메일: info@gutentagkorea.com)