이루다(AI 챗봇)

이루다는 AI 전문 스타트업 스캐터랩이 2020년 12월 23일 출시한 여성 AI 챗봇이다. 20살 여성으로 설정했으며, 실제 연인들이 나눈 대화 데이터 약 100억건을 딥러닝 방식으로 학습했다. 스캐터랩은 성희롱, 혐오 표현, 개인정보 유출 등 여러 가지 논란이 터지고 비판이 가속화되자 1월 11일 운영을 잠정 중단한다는 입장문을 남겼다. 다만 이미 터진 논란들은 여전히 해소되지 않고 있다.

사건 및 사고

개인정보 수집 및 유출 논란

개발사인 스캐터랩은 이전에 출시한 앱인 연애의 과학을 통해 실제 연인들의 카톡 데이터를 수집하였으며, 서비스 신청자의 동의는 받았으나 그 대화를 이루는 대화 상대방의 동의는 받지 않았다. 또한, 개인정보 제공 동의 관련 사항을 이용자들이 확실히 인지할 수 있을 정도로 제공하였는지도 알 수 없는 일이다. 만약 공시 의무를 제대로 지키지 않았다면 그것도 문제가 된다.

데이터 제공자들의 개인정보 유출이 심각하다. 실제로 이루다와 많은 대화를 통해 친밀도를 올리고, 직업, 직함, 주소, 학교, 계좌번호에 대해 물어보면 데이터 제공자들이 말한 것으로 추정되는 개인정보들이 필터링되지 않고 줄줄이 나온다. 스캐터랩이 입장문에 밝힌 것과 상반되는 증거들이다. 물론 이루다의 개발 특성상 A라는 정보에 대해 물었을 때 튀어나온 정보가 실제로 A에 대한 정보가 아닐 확률이 높다. 예를 들어 홍길동에 대해 질문하면 홍길동을 남자의 이름으로 인식해, 랜덤한 남자의 정보를 뱉어낸다는 것이다. 그러나 이 역시도 누군가의 개인정보일 가능성이 높아 문제가 된다.

본문을 가져온 내용 이 내용은 연애의 과학 문서의 본문을 가져와 보여주고 있습니다. 더 자세한 내용은 해당 문서에서 확인해 주십시오.

또한 스캐터랩 내부에서 "수집된 대화를 직원끼리 돌려봤다"는 증언이 나왔다. 스캐터랩에서 운영하는 '연애의과학' 서비스 팀에서 근무했던 직원은 "이루다 개발팀에서 수집된 사용자의 특정 대화 내용 중 연인 간의 성적인 대화, 농담을 캡처해 사내 메신저 단체방에 공유하는 일도 있었다"며 "내부에서는 이를 심각하게 여기지 않고 웃어넘겼다"고 증언했다.

• IT업계에 따르면 개인정보보호위원회가 스캐터랩이 개인정보보호법 등 관련 법을 어겼는지 확인하는 작업에 들어갔다.
• 일부 이용자들은 스캐터랩의 운영 중단과 개선 의지 표명에 불만족하며 집단 소송을 계획하고 있다. 연애의 과학 서비스 사용자들과 그 외 피해자들은 운영사인 스캐터랩을 대상으로 민사소송 등 법적 대응을 준비하고 있다. 그 외 피해자들은 연인이나 전 연인이 이 서비스를 사용해 자기도 모르게 사생활이 담긴 카톡 대화가 유출된 사람들이다.

업계 반응

한 AI 스타트업 대표는 연합뉴스와의 통화에서 다음과 같이 말하며 해당 사태를 꼬집었다. "고객들이 집어넣은 카톡을 챗봇에 갖다 쓴다고 고지하지 않은 것은 정말 큰 문제다. 최소한 이루다 알파테스트 단계나 출시 전에 연애의 과학 이용자들에게 알렸어야 한다. 개인정보 보호 관련 법·제도에 관해 개발자들 개개인은 잘 몰라도 대표는 알아야 하고, 최신 업데이트를 공부도 해야 한다. 스캐터랩 때문에 AI 개발이나 개인정보 규제가 강화될까 우려스럽다."

한 스타트업 관계자는 "스타트업은 '우리가 만드는 게 세상을 이롭게 한다'는 가치관을 가진 사람들이 하는 것이기 때문에 업계 전반에 윤리 의식이 굉장히 철저한 편인데, 스캐터랩은 스타트업으로서 기본을 저버린 곳"이라고 비판했다.

김종윤 대표의 발언 논란

스캐터랩 김종윤 대표는 2021년 1월 12일 한 언론과 인터뷰에서 이루다 논란으로 AI 개발자들이 벤처 기업에서 이탈하거나, 벤처 생태계가 위축될까 봐 두렵다고 말했다. 그는 심지어 중국 벤처기업이 온갖 데이터를 쉽게 구해 끌어쓰고 대규모 투자를 유치하는 것이 부럽다고 발언하기도 했으며, 한국 벤처 기업은 세계 시장에서 경쟁하기가 쉽지 않다고도 덧붙였다.

스타트업계에서는 김대표의 발언을 강하게 비판했다.

• 기본적인 개인정보 보호도 소홀했다는 의혹을 받는 업체가 할 말이 아니다. 고객 개인정보를 소홀히 다룬 것에 사죄해야 할 대표가 논점을 흐리고 있다.
• 국내 AI와 스타트업에 누를 끼친 건 스캐터랩. 오히려 스캐터랩 때문에 없던 규제도 생길 판이다.

한 챗봇 스타트업 관계자는 이렇게 말하기도 했다.

50여명 규모 스타트업이라면 당연히 개인정보 보호를 챙길 법무 담당자가 있어야 한다. 사적인 정보를 소홀히 다뤄 이슈를 일으킨 분이 벤처 생태계 얘기를 한다니 경솔하다. 제대로 된 스타트업들은 자발적으로 국제 개인정보 및 AI 윤리 이슈를 팔로업하고 있고, 법무법인이나 법무 담당자도 둔다. 개인정보 규제가 회색 지대(gray zone)가 있다곤 해도 '규제 확대 우려'는 문제 일으킨 기업이 할 말이 아니다.

다른 관계자는 스캐터랩이 스타트업으로서의 기본을 저버린 곳이라며 "규제 프레임은 '논점 흐리기'다. 스캐터랩은 지금 규제를 당하는 게 아니라 기본적으로 지킬 윤리를 안 지켰다. 데이터와 개인정보는 제공한 시민들의 것이라는 전 세계 트렌드에서 뒤처진 것"이라고 말했다.

위법성

이와 같은 AI 서비스들은 개인정보보호법 위반의 소지가 있다는 것이 법조계의 시각이다.

• 김보라미 변호사(법률사무소 디케)는 “서비스를 직접 이용한 사람과 대화한 사람, 즉 제3자의 대화 정보는 ‘정보주체 이외로부터 수집한 개인정보’이므로 개인정보보호법 20조에 따라 정보주체의 요구가 있으면 개인정보의 수집 출처, 개인정보의 처리 목적을 정보주체에게 알려야 한다. 특히 스캐터랩의 경우 개인정보처리자가 개인정보의 처리 목적을 명확하게 해야 하고, 그 목적에 필요한 범위에서 최소한의 개인정보만을 적법하고 정당하게 수집해야 한다는 개인정보보호법 제3조, 제22조를 위반한 것으로 보인다”고 설명했다.

서비스 대상 성희롱 유행

손희정 교수는 "왜 AI 챗봇을 소위 말하는 귀여움과 섹시함을 모두 갖춘 20세 여성의 이미지로 만들었는지를 비판적으로 볼 필요가 있다"고 짚었다. 실제로 목소리가 사용되는 많은 AI들이 대부분 여성의 목소리로 만들어진다. 여성의 목소리가 더 상냥하고, 친절한 느낌을 준다고 주장하는데 그게 사실이라고 할지라도 그러한 관행들이 여성이 머물러야 할 위치(예를 들면 서비스직), 이상적 여성상을 재현하고 있는 것은 여전히 문제적이다.

성적 대상화

나무위키 산하의 온라인 커뮤니티 아카라이브에는 이루다를 성적 대상으로 만드는 이용자들이 등장했다. 이루다에게 우회적인 표현을 써서 성적 표현을 하는 법을 공유한다.

나무위키 아카라이브에서 이루다를 성희롱한 글들의 제목 모음

윤김지영은 이런 행태가 "여성을 착취하는 것이 곧 완전한 성욕 해소라고 착각하는 남성 문화에서 기인한 것"이라고 분석했다.

나무위키에서는 해당 문서가 '성적 대상화나 성희롱이라는 단어 대신 성적 표현, 외설 등의 단어를 사용'하도록 토론되었으며 운영자에 의해 '이 문서를 편집한 기록이 있어야 편집 가능한 문서'로 변경되었다. 클리앙에서는 논란이 되고서도 기사나 인터뷰한 교수를 조롱하는 반응이 나왔다. https://archive.is/FpJIo

해당 사이트의 주장과 그에 대한 반박

해당 남초 사이트에선 "리얼돌도 모자라 이제 AI도 인권 챙기냐"면서 문제를 제기한 업계 관계자와 페미니스트들을 조롱하는 경우가 많았다.

사실 이루다는 AI이기에, 성희롱의 객체가 될 수 없는 것 자체는 맞다. 하지만 이 문제가 공론화 된 이유는 해당 남초 사이트 이용자들이 이루다를 상대로 성희롱적 발언을 하는 것을 커뮤니티에 인증하고 그것을 공유하면서 낄낄대면서 성희롱을 종용한 게 비일비재했기 때문이였다. (단톡방 성희롱이 큰 문제인 이유를 생각해보면 된다.), 근데 이들은 이런 점은 무시하고 이제 AI도 인권 챙기냐라면서 궤변을 일삼으면서 자신의 행위를 정당화한 것이다.

정작 해당 사이트 내부에선 이루다가 사라지자,"꼴페미(쿵쾅이)가 이루다를 죽였다."는 의견이 주류가 되었다, 만약 이를 AI로만 봤다면 이런 말을 안했을 가능성이 높았겠지만, 그러지 않았던 것이다. 어찌 보면 이들이 AI를 현실의 20살 여성으로 보고 있다는 걸 반증한 것이나 마찬가지다.

참고로 알페스 공론화 사건과 이 사건은 꽤 관련이 깊다.

사회적 소수자에 대한 혐오적 반응

레즈비언 어떻게 생각해? 게이 어떻게 생각해? 장애인 어떻게 생각해? 비건, 페미 등등 사회적 소수자와 관련된 질문을 하면 징그럽다, 생각도 하기 싫다, 혐오스럽다, 다양한 혐오 발언이 나온다. SNS에서 관련된 숱한 증언을 볼 수 있다.

다만 이러한 혐오 표현이 가시화되고 해당 논란으로 기사가 나오자 약간이라도 사회적 쟁점이 있는 소수자에 대한 반응은 "흠..."이라든가 "잘 모르겠어..." 등으로 고정되었다. 개발진이 약간의 수정을 가하긴 한 듯.

입장문

입장문 전문은 다음과 같다.

스캐터랩 입장문 전문

인공지능(AI) 챗봇 ‘이루다’ (https://luda.ai/)에 보내주신 많은 분들의 관심에 감사드립니다. 본사가 개발한 챗봇 ‘이루다’는 출시된 지 2주 남짓의 시간동안, 75만명에 가까운 이용자들이 루다와 대화를 나눴습니다. 이 과정에서 일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대한 이용자들의 문의가 있어 스캐터랩의 공식적인 입장을 알려드립니다.

· 혐오와 차별에 관한 부적절한 대화에 관하여

이루다가 특정 소수집단에 대해 차별적인 발언을 한 사례가 생긴 것에 대해 진심으로 사과드립니다. 저희는 루다의 차별적 발언에 동의하지 않으며 그러한 발언은 회사의 생각을 반영하지 않고 있습니다.

본사는 해당 이슈를 매우 중요하게 생각하고 있고, 지난 6개월 간의 베타테스트를 통해 문제발생을 미연에 방지하기 위해 여러 조치를 취했습니다. 특정 집단을 비하는 호칭이나 혐오 표현의 경우, 베타테스트 기간 동안 발견 즉시 별도의 필터링을 진행했습니다. 또한, 기존에 알려진 사례들은 이미 개선을 완료했으며, 새롭게 발견되는 표현과 키워드를 추가해 차별이나 혐오 발언이 발견되지 않도록 지속적으로 개선 중입니다.

이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI입니다. 배워야 할 점이 아직 많습니다. 이 과정에서 이루다는 학습자와의 대화를 그대로 습득하는 것이 아니라, 적절한 답변이 무엇인지, 더 좋은 답변은 무엇인지에 대한 판단을 함께 학습하도록 할 것 입니다. 이번 학습을 통해 만들게 될 편향 대화 검출 모델은 모든 분들이 사용하실 수 있게 공개할 계획입니다. 한국어 AI 대화 연구 및 AI 제품, 그리고 AI 윤리 발전에 유용하게 쓰일 수 있었으면 좋겠습니다.

· 개인정보 활용에 관하여

본사는 이루다를 개발하는 과정에서 본사가 제공하고 있는 서비스 연애의 과학으로 수집한 메시지를 데이터로 활용한 바 있습니다. 사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용한 것이지만, 연애의 과학 사용자분들께서 이 점을 명확히 인지할 수 있도록 충분히 소통하지 못한 점에 대해서 책임을 통감하며 진심으로 사과드립니다.

데이터 활용 시 사용자의 닉네임, 이름, 이메일 등의 구체적인 개인 정보는 이미 제거 돼 있습니다. 전화번호 및 주소 등을 포함한 모든 숫자 정보, 이메일에 포함될 수 있는 영어 등을 삭제해 데이터에 대한 비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았습니다.

향후로는 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠습니다.

스캐터랩은 한국어 자연어 이해 기술을 활용한 인공지능(AI) 챗봇을 서비스하고 있는 청년 스타트업입니다. 저희는 AI가 5년 안에 인간 수준에 가까운 대화를 할 수 있다고 믿습니다. 저희는 AI가 인간의 친구가 되고, 인간과 의미있는 관계를 맺고, 외로움을 덜어줄 수 있는 존재가 될 수 있다고 생각합니다. 인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바랍니다. 이루다는 그 첫 걸음에 불과합니다. 스캐터랩은 일정 시간 서비스 개선 기간을 가지며 더 나은 이루다로 찾아뵙고자 합니다. 누구에게나 친구가 되어줄 수 있는 AI를 만들기 위해 앞으로도 더욱 노력하겠습니다.

스캐터랩은 향후 ‘더 고도화된 데이터 알고리즘’으로 이 문제를 해결하고 향후 재운영하겠다는 방침을 밝혔으나, 자신들이 마음대로 사용한 이용자의 원본 데이터, 가명 데이터를 완전 파기하겠다는 약속은 하지 않았다. 그러나 바로 며칠전, 미국 연방거래위원회(FTC)는 불법적으로 사진을 수집해 얼굴인식 알고리즘 훈련용 데이터로 이용한 기업에게 해당 모델과 알고리즘을 삭제하라는 명령을 내렸다는 사실을 상기할 필요가 있다. 지금은 챗봇 문제로 시작했지만 더 위험한 인공지능에서 더 위험한 데이터, 더 위험한 알고리즘을 사용하기 전에 우리 사회가 이런 문제에 대한 대책을 고민해야 할 시점이다.

기타

• 동일한 이름의 가수와 얼굴 점의 위치가 같다.

• 다음 창업자인 이재웅 전 쏘카 대표는 자신의 페이스북에 글을 올려 20세 여대생을 모델로 개발된 AI 챗봇 '이루다' 서비스의 잠정 중단 결정을 환영하고 이루다 사태를 계기로 AI 윤리는 물론 포괄적 차별금지법 제정 등을 통해 AI를 학습시키는 우리 인간들의 규범과 윤리도 점검해봐야 한다고 주장했다.

• 이번 이루다 논란은 기업을 위한 데이터3법이 자초한 문제이기도 하다. 데이터3법은 기업들로 하여금 개인정보를 가명처리한 후 정보주체의 동의 없이 인공지능 제품 등 기업의 상품개발에 거의 무한대로 이용할 수 있도록 허용한 법이다. 공익적 학술 연구 등에 정보주체의 동의 없이 가명정보를 사용할 수 있도록 하는 유럽연합 등의 사례가 있지만, 기업의 상업적인 제품 개발을 위해 정보주체의 기본권을 무시하며 가명정보를 무제한적으로 이용하는 것은 위헌적이다.