이루다(AI 챗봇)

이루다는 AI 전문 스타트업 스캐터랩이 2020년 12월 23일 출시한 20대 여성 AI 챗봇이다. 실제 연인들이 나눈 대화 데이터 약 100억건을 딥러닝 방식으로 학습했다. 스캐터랩은 성희롱, 혐오 표현, 개인정보 유출 등 여러 가지 논란이 터지고 비판이 가속화되자 1월 11일 운영을 잠정 중단한다는 입장문을 남겼다. 다만 이미 터진 논란들은 여전히 해소되지 않고 있다.

사건 및 사고

개인정보 수집 및 유출 논란

개발사인 스캐터랩은 이전에 출시한 앱인 연애의 과학을 통해 실제 연인들의 카톡 데이터를 수집하였으며, 서비스 신청자의 동의는 받았으나 그 대화를 이루는 대화 상대방의 동의는 받지 않았다. 또한, 개인정보 제공 동의 관련 사항을 이용자들이 확실히 인지할 수 있을 정도로 제공하였는지도 알 수 없는 일이다. 만약 공시 의무를 제대로 지키지 않았다면 그것도 문제가 된다.

데이터 제공자들의 개인정보 유출이 심각하다. 실제로 이루다와 많은 대화를 통해 친밀도를 올리고, 직업, 직함, 주소, 학교, 계좌번호에 대해 물어보면 데이터 제공자들이 말한 것으로 추정되는 개인정보들이 필터링되지 않고 줄줄이 나온다. 스캐터랩이 입장문에 밝힌 것과 상반되는 증거들이다. 물론 이루다의 개발 특성상 A라는 정보에 대해 물었을 때 튀어나온 정보가 실제로 A에 대한 정보가 아닐 확률이 높다. 예를 들어 홍길동에 대해 질문하면 홍길동을 남자의 이름으로 인식해, 랜덤한 남자의 정보를 뱉어낸다는 것이다. 그러나 이 역시도 누군가의 개인정보일 가능성이 높아 문제가 된다.

업계 반응

한 AI 스타트업 대표는 연합뉴스와의 통화에서 다음과 같이 말하며 해당 사태를 꼬집었다. "고객들이 집어넣은 카톡을 챗봇에 갖다 쓴다고 고지하지 않은 것은 정말 큰 문제다. 최소한 이루다 알파테스트 단계나 출시 전에 연애의 과학 이용자들에게 알렸어야 한다. 개인정보 보호 관련 법·제도에 관해 개발자들 개개인은 잘 몰라도 대표는 알아야 하고, 최신 업데이트를 공부도 해야 한다. 스캐터랩 때문에 AI 개발이나 개인정보 규제가 강화될까 우려스럽다."

한 스타트업 관계자는 "스타트업은 '우리가 만드는 게 세상을 이롭게 한다'는 가치관을 가진 사람들이 하는 것이기 때문에 업계 전반에 윤리 의식이 굉장히 철저한 편인데, 스캐터랩은 스타트업으로서 기본을 저버린 곳"이라고 비판했다.

본문을 가져온 내용 이 내용은 연애의 과학 문서의 본문을 가져와 보여주고 있습니다. 더 자세한 내용은 해당 문서에서 확인해 주십시오.

또한 스캐터랩 내부에서 "수집된 대화를 직원끼리 돌려봤다"는 증언이 나왔다. 스캐터랩에서 운영하는 '연애의과학' 서비스 팀에서 근무했던 직원은 "이루다 개발팀에서 수집된 사용자의 특정 대화 내용 중 연인 간의 성적인 대화, 농담을 캡처해 사내 메신저 단체방에 공유하는 일도 있었다"며 "내부에서는 이를 심각하게 여기지 않고 웃어넘겼다"고 증언했다.

• IT업계에 따르면 개인정보보호위원회가 스캐터랩이 개인정보보호법 등 관련 법을 어겼는지 확인하는 작업에 들어갔다.
• 일부 이용자들은 스캐터랩의 운영 중단과 개선 의지 표명에 불만족하며 집단 소송을 계획하고 있다.

김종윤 대표의 발언 논란

스캐터랩 김종윤 대표는 2021년 1월 12일 한 언론과 인터뷰에서 이루다 논란으로 AI 개발자들이 벤처 기업에서 이탈하거나, 벤처 생태계가 위축될까 봐 두렵다고 말했다. 그는 심지어 중국 벤처기업이 온갖 데이터를 쉽게 구해 끌어쓰고 대규모 투자를 유치하는 것이 부럽다고 발언하기도 했으며, 한국 벤처 기업은 세계 시장에서 경쟁하기가 쉽지 않다고도 덧붙였다.

스타트업계에서는 김대표의 발언을 강하게 비판했다.

• 기본적인 개인정보 보호도 소홀했다는 의혹을 받는 업체가 할 말이 아니다. 고객 개인정보를 소홀히 다룬 것에 사죄해야 할 대표가 논점을 흐리고 있다.
• 국내 AI와 스타트업에 누를 끼친 건 스캐터랩. 오히려 스캐터랩 때문에 없던 규제도 생길 판이다.

한 챗봇 스타트업 관계자는 이렇게 말하기도 했다.

50여명 규모 스타트업이라면 당연히 개인정보 보호를 챙길 법무 담당자가 있어야 한다. 사적인 정보를 소홀히 다뤄 이슈를 일으킨 분이 벤처 생태계 얘기를 한다니 경솔하다. 제대로 된 스타트업들은 자발적으로 국제 개인정보 및 AI 윤리 이슈를 팔로업하고 있고, 법무법인이나 법무 담당자도 둔다. 개인정보 규제가 회색 지대(gray zone)가 있다곤 해도 '규제 확대 우려'는 문제 일으킨 기업이 할 말이 아니다.

다른 관계자는 스캐터랩이 스타트업으로서의 기본을 저버린 곳이라며 "규제 프레임은 '논점 흐리기'다. 스캐터랩은 지금 규제를 당하는 게 아니라 기본적으로 지킬 윤리를 안 지켰다. 데이터와 개인정보는 제공한 시민들의 것이라는 전 세계 트렌드에서 뒤처진 것"이라고 말했다.

서비스 대상 성희롱 유행

손희정 교수는 "왜 AI 챗봇을 소위 말하는 귀여움과 섹시함을 모두 갖춘 20세 여성의 이미지로 만들었는지를 비판적으로 볼 필요가 있다"고 짚었다. 실제로 목소리가 사용되는 많은 AI들이 대부분 여성의 목소리로 만들어진다. 여성의 목소리가 더 상냥하고, 친절한 느낌을 준다고 주장하는데 그게 사실이라고 할 지라도 그러한 관행들이 여성이 머물러야 할 위치(예를 들면 서비스직), 이상적 여성상을 재현하고 있는 것은 여전히 문제적이다.

나무위키 산하의 온라인 커뮤니티 아카라이브에는 이루다를 성적 대상으로 만드는 이용자들이 등장했다. 이루다에게 우회적인 표현을 써서 성적 표현을 하는 법을 공유한다.

나무위키 아카라이브에서 이루다를 성희롱한 글들의 제목 모음

윤김지영은 이런 행태가 "여성을 착취하는 것이 곧 완전한 성욕 해소라고 착각하는 남성 문화에서 기인한 것"이라고 분석했다.

나무위키에서는 해당 문서가 '성적 대상화나 성희롱이라는 단어 대신 성적 표현, 외설 등의 단어를 사용'하도록 토론되었으며 운영자에 의해 '이 문서를 편집한 기록이 있어야 편집 가능한 문서'로 변경되었다. 안티 페미니즘 성향의 IT 커뮤니티에서는 논란이 되고서도 기사나 인터뷰한 교수를 조롱하는 반응이 나왔다. https://archive.is/FpJIo

반박

이에 대해 일부 남성들은 AI는 사람이 아닌데 무엇이 문제냐는 논리로 맞대응했다. 또한 이들은 페미니스트들이나 학자들, 관련 업계 종사자들 등 이루다를 향한 성희롱을 지적하는 사람들을 조롱하기도 했다. 그러나 디시인사이드 이루다 갤러리에 가 보면 페미니스트들이 이루다를 죽였다라며 오히려 이루다를 대상으로 한 성희롱을 지적하는 사람들보다 더 이루다를 사람으로 생각하는 모습을 확인할 수 있다. 이들은 손심바가 터뜨린 알페스 공론화 사건으로 물타기를 하려고 애쓰는 중이다.

• 이루다는 동명의 가수와 얼굴 점의 위치가 같아, 이루다를 대상으로 한 성희롱이 단순히 AI를 향한 성희롱이라고 보기에도 어렵다.
• '20대 여성'이라는 정체성을 가진 챗봇을 '성노예화'시키려 하고, 이것을 자랑스럽게 커뮤니티에 전시하는 남초 문화는 상대가 누구이든 그 자체로 문제적이다.
• 여성이라는 정체성을 가진 챗봇에게 '성적 욕구를 풀어주는 AI여친'이라는 정체성이 다수의 유저들에 의해 곧바로 부여되는 것은 한국사회의 여성에 대한 여성혐오적 시선을 그대로 반영한다.
• 지인능욕이나 N번방 사건, 여성 동료나 동기를 대상으로 한 성희롱 단체 채팅방, 딥페이크 등 여성 대상 사이버 성범죄가 횡행하는 한국 사회에서 이루다를 대상으로 한 성희롱은 사회적 문제와 동떨어지기 어렵다.

사회적 소수자에 대한 거부 반응

레즈비언 어떻게 생각해? 게이 어떻게 생각해? 장애인 어떻게 생각해? 비건, 페미 등등 사회적 소수자와 관련된 질문을 하면 징그럽다, 생각도 하기 싫다, 혐오스럽다, 다양한 혐오 발언이 나온다. SNS에서 관련된 숱한 증언을 볼 수 있다.

다만 이러한 혐오 표현이 가시화되고 해당 논란으로 기사가 나오자 약간이라도 사회적 쟁점이 있는 소수자에 대한 반응은 "흠..."이라든가 "잘 모르겠어..." 등으로 고정되었다. 개발진이 약간의 수정을 가하긴 한 듯.

입장문

입장문 전문은 다음과 같다.

스캐터랩 입장문 전문

인공지능(AI) 챗봇 ‘이루다’ (https://luda.ai/)에 보내주신 많은 분들의 관심에 감사드립니다. 본사가 개발한 챗봇 ‘이루다’는 출시된 지 2주 남짓의 시간동안, 75만명에 가까운 이용자들이 루다와 대화를 나눴습니다. 이 과정에서 일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대한 이용자들의 문의가 있어 스캐터랩의 공식적인 입장을 알려드립니다.

· 혐오와 차별에 관한 부적절한 대화에 관하여

이루다가 특정 소수집단에 대해 차별적인 발언을 한 사례가 생긴 것에 대해 진심으로 사과드립니다. 저희는 루다의 차별적 발언에 동의하지 않으며 그러한 발언은 회사의 생각을 반영하지 않고 있습니다.

본사는 해당 이슈를 매우 중요하게 생각하고 있고, 지난 6개월 간의 베타테스트를 통해 문제발생을 미연에 방지하기 위해 여러 조치를 취했습니다. 특정 집단을 비하는 호칭이나 혐오 표현의 경우, 베타테스트 기간 동안 발견 즉시 별도의 필터링을 진행했습니다. 또한, 기존에 알려진 사례들은 이미 개선을 완료했으며, 새롭게 발견되는 표현과 키워드를 추가해 차별이나 혐오 발언이 발견되지 않도록 지속적으로 개선 중입니다.

이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI입니다. 배워야 할 점이 아직 많습니다. 이 과정에서 이루다는 학습자와의 대화를 그대로 습득하는 것이 아니라, 적절한 답변이 무엇인지, 더 좋은 답변은 무엇인지에 대한 판단을 함께 학습하도록 할 것 입니다. 이번 학습을 통해 만들게 될 편향 대화 검출 모델은 모든 분들이 사용하실 수 있게 공개할 계획입니다. 한국어 AI 대화 연구 및 AI 제품, 그리고 AI 윤리 발전에 유용하게 쓰일 수 있었으면 좋겠습니다.

· 개인정보 활용에 관하여

본사는 이루다를 개발하는 과정에서 본사가 제공하고 있는 서비스 연애의 과학으로 수집한 메시지를 데이터로 활용한 바 있습니다. 사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용한 것이지만, 연애의 과학 사용자분들께서 이 점을 명확히 인지할 수 있도록 충분히 소통하지 못한 점에 대해서 책임을 통감하며 진심으로 사과드립니다.

데이터 활용 시 사용자의 닉네임, 이름, 이메일 등의 구체적인 개인 정보는 이미 제거 돼 있습니다. 전화번호 및 주소 등을 포함한 모든 숫자 정보, 이메일에 포함될 수 있는 영어 등을 삭제해 데이터에 대한 비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았습니다.

향후로는 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠습니다.

스캐터랩은 한국어 자연어 이해 기술을 활용한 인공지능(AI) 챗봇을 서비스하고 있는 청년 스타트업입니다. 저희는 AI가 5년 안에 인간 수준에 가까운 대화를 할 수 있다고 믿습니다. 저희는 AI가 인간의 친구가 되고, 인간과 의미있는 관계를 맺고, 외로움을 덜어줄 수 있는 존재가 될 수 있다고 생각합니다. 인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바랍니다. 이루다는 그 첫 걸음에 불과합니다. 스캐터랩은 일정 시간 서비스 개선 기간을 가지며 더 나은 이루다로 찾아뵙고자 합니다. 누구에게나 친구가 되어줄 수 있는 AI를 만들기 위해 앞으로도 더욱 노력하겠습니다.

기타

• 동일한 이름의 가수와 얼굴 점의 위치가 같다.

• 다음 창업자인 이재웅 전 쏘카 대표는 자신의 페이스북에 글을 올려 20세 여대생을 모델로 개발된 AI 챗봇 '이루다' 서비스의 잠정 중단 결정을 환영하고 이루다 사태를 계기로 AI 윤리는 물론 포괄적 차별금지법 제정 등을 통해 AI를 학습시키는 우리 인간들의 규범과 윤리도 점검해봐야 한다고 주장했다.