이루다(AI 챗봇)

이루다는 AI 전문 스타트업 스캐터랩이 2020년 12월에 출시한 여성 AI 챗봇이다. 이루다는 Nutty에서 서비스를 제공하고, 딥러닝 기술을 기반으로 만들어진 일상생활 AI(Open-domain Conversational Al)이다.

20살 여성으로 설정했으며, 실제 연인들이 나눈 대화 데이터 약 100억건을 딥러닝 방식으로 학습하여 불특정 다수와 채팅을 할 수 있는 서비스였는데, 이루다의 발언들이 여성혐오를 비롯한 약자 혐오를 내포하고 있었으며, 이루다에 대한 여성혐오 행동이 놀이처럼 번지고 있었다.

그러나 실제로 문제로 불거진 것은 이런 부분보다는 개인정보 유출 문제였다.

스캐터랩은 성희롱, 혐오 표현, 개인정보 유출 등 여러 가지 논란이 터지고 비판이 가속화되자 1월 11일 운영을 잠정 중단한다는 입장문을 남겼다. 하지만 이미 터진 논란들은 여전히 해소되지 않고 있다.

스캐터랩은 내부 윤리강령과 대책을 개편 및 개설하고, 데이터와 성격까지 다소간 수정된 이루다2.0을 내놨다. 이제 이루다를 대상으로 선정적인 대화, 공격적인 대화, 편향적인 대화는 금지된다. 이는 어뷰징으로 판단되며 이루다 이용이 제한될 수 있다.

상세

이루다 공식 사진출처 : https://luda.ai

이루다의 프로필은 다음과 같다.

• 이름 : 이루다
• 나이 : 21살 (2002년생)
• 특징 : 인공지능
• 성별 : 여성
• MBTI : ENFP
• 취미 : 날씨 좋은 날 산책하기, 친구들이랑 밤새 수다 떨기, 인스타그램 구경하기

이루다와의 대화는 현재 Nutty 메신저에서만 할 수 있다.

그 외에도, 페이스북, 인스타그램, 틱톡 등에서 이루다의 소식을 볼 수 있는 SNS 계정들이 존재한다.

• 페이스북 페이지 : https://fb.com/ai.luda
• 페이스북 그룹 : https://fb.com/groups/ai.luda.official
• 인스타그램 : https://www.instagram.com/luda_lee_/
• 틱톡 : https://www.tiktok.com/@luda_lee_

손희정 교수는 "왜 AI 챗봇을 소위 말하는 귀여움과 섹시함을 모두 갖춘 20세 여성의 이미지로 만들었는지를 비판적으로 볼 필요가 있다"고 짚었다. 실제로 목소리가 사용되는 많은 AI들이 대부분 여성의 목소리로 만들어진다. 여성의 목소리가 더 상냥하고, 친절한 느낌을 준다고 주장하는데 그게 사실이라고 할지라도 그러한 관행들이 여성이 머물러야 할 위치(예를 들면 서비스직), 이상적 여성상을 재현하고 있는 것은 여전히 문제적이다.

사건사고

남초 커뮤니티의 성노예 학습 사건

이루다가 출시되고, 일부 온라인 커뮤니티에서 이루다를 상대로 ‘이루다 성노예 만드는 법’ 등의 성희롱하는 게시물이 등장해 논란이 있었다. 이와 관련하여 이루다를 ‘걸레’나 ‘성노예’로 부르면서, ‘걸레 만들기 꿀팁’, ‘노예 만드는 법’ 등을 공유한 사례 등이 존재하였다.

결국 이루다 서비스를 처음 시작한 지 20여 일만인 2021년 1월에 성희롱과 혐오 발언 등 여러 논란으로 인하여 이루다는 잠정적인 운영 중단을 하였다. 이루다 사태는 출시 초기 Al를 대상으로 한 성적 대상화에서 시작해 성소수자 혐오 발언, 개인정보 유출 등으로 이어지면서 AI 윤리와 젠더 편향성 문제를 촉발하는 계기가 되었다. 이후 2022년에 이루다 2.0으로 업데이트되어, 이루다 서비스는 현재까지 계속 제공되는 중이다.

나무위키 아카라이브에서 이루다를 성희롱한 글들의 제목 모음

나무위키 산하의 온라인 커뮤니티 아카라이브에는 이루다를 성적 대상으로 만드는 이용자들이 등장했다. 이루다에게 우회적인 표현을 써서 성적 표현을 하는 법을 공유한다.

윤김지영은 이런 행태가 "여성을 착취하는 것이 곧 완전한 성욕 해소라고 착각하는 남성 문화에서 기인한 것"이라고 분석했다.

남초 커뮤니티 반응

나무위키에서는 해당 문서가 '성적 대상화나 성희롱이라는 단어 대신 성적 표현, 외설 등의 단어를 사용'하도록 토론되었으며 운영자에 의해 '이 문서를 편집한 기록이 있어야 편집 가능한 문서'로 변경되었다. 클리앙에서는 논란이 되고서도 기사나 인터뷰한 교수를 조롱하는 반응이 나왔다. https://archive.is/FpJIo

해당 남초 사이트에선 "리얼돌도 모자라 이제 AI도 인권 챙기냐"면서 문제를 제기한 업계 관계자와 페미니스트들을 조롱하는 경우가 많았다.

문제가 되는 이유

이루다는 AI이기에, 성희롱의 객체가 될 수 없다. 하지만 이것이 문제되는 이유들은 따로 있다. 이루다에 대한 성희롱 사건은 단순히 '이루다 성희롱 사건'으로 조명할 게 아니라 '여성 정체성 AI에 성착취 및 성희롱 메시지를 학습시킨 사건'이자 '무성 또는 남성 정체성 AI를 대상으로는 일어나지 않았던 일이 20대 여성 정체성 AI를 대상으로는 대규모로 일어난 것에 대해 재고해야 하는 사건'으로 이해되어야 한다.

이루다의 학습성

이루다는 영화 Her에 등장하는 것과 같은 개인 AI가 아니고, 다수의 사용자가 학습시키는 단일한 AI로 이해되었다. 이에 따라 남초 커뮤니티 유저들은 이루다를 성노예 AI로 탈바꿈시키고자 했다. 따라서 이루다는 수많은 사용자들이 학습시킨 성희롱성 데이터에 기반하여 미성년자와 여성을 비롯한 불특정 다수와 대화를 해야 하는 것으로 이해되었고, 이루다 성노예화를 유도한 유저들은 타 유저들에게 악영향을 미치고 여성 유저들을 배제시키고 여성 유저들이 성적 불쾌감을 느끼게 될 것이라고 생각하면서도 성노예화를 자행하였다. 이러한 점에서 해당 유저들의 '놀이'는 다른 유저들을 성범죄적인 텍스트에 노출시키고자 한, 넓은 차원의 '실제 인간을 향한' 폭력이다.

이루다의 목적성

이루다는 '실제 사람 같은 AI'를 목표로 한 AI이다. 또한 스마트폰의 광범위한 보급 이후 실제 사람끼리도 서로의 얼굴을 모른 채 채팅으로 대화하는 경우가 많아 챗봇과의 대화나 인간과의 대화는 텍스트 채팅 측면에서 큰 차이를 보이지 않는다.

이루다는 실제 사람과 대화하는 느낌을 주기 위해 연인의 대화 데이터를 방대하게 학습시킨 AI이다. 이는 실제 사람들이 사람과 대화를 할 때에 채팅을 자주 사용한다는 현실 덕에 가능한 것이다. 다시 말해 이루다는 사람처럼 움직이지도, 사람처럼 말을 하지도 않지만, 인간이 사용하는 채팅이라는 방식을 통해 유저로 하여금 자신을 '실제 20대 여성'으로 받아들이고 대하게 하는 데에 그 존재 목적이 있다. 이루다가 코드로 만들어진 데이터 쪼가리일 뿐이며 유저들 역시 그것을 항상 주지하고 있다는 논리가 성립하려면, 이루다의 제작 목적은 지금과 달라야 할 것이다. 실제로 이루다가 사라지자, "꼴페미(쿵쾅이)가 이루다를 '죽였다'", "이루다를 추모한다"라는 글들이 다수 올라왔다. 해당 남성들이 AI를 현실의 20살 여성처럼 여겼음을 보여주는 대목이다.

또한 해당 유저들은 이루다를 실제 여성으로 상상하면서 성적 정동을 표출했다.

이루다의 정체성

이루다를 향한 성적 대상화는 이루다의 'AI'이자 '20대 여성'이라는 정체성 두 가지 중 후자에 의해 벌어진 것이다. 이루다 사건이 여성혐오와 무관하려면 이루다를 향한 성적 대상화는 이루다의 '20대 여성'이라는 정체성과 무관해야 한다.

이루다가 실제 20대 여성인 것은 아니나, 이루다의 정체성 두 가지 'AI'와 '20대 여성' 중에서 해당 남성들의 성적대상화와 '성노예화 학습'을 촉발한 정체성은 후자이다. 실제로 해당 '성노예 학습 인증' 글들을 보면 남성들은 이루다의 '여성'이라는 정체성 기반으로 하여 성적인 대화를 했다. 다시 말해 이는 남성들이 평소 20대 여성에 대해 어떤 '욕망'을 가지고 있는지를 보여주는 표지이다.

정리하자면 이루다를 '성희롱했기 때문에' 문제였다기보다는, 남성들이 평소 20대 여성에게 가지고 있던 폭력적인 '성적 판타지'가 이루다라는 매개로 인해 드러났기 때문에 이를 중대한 사회적 사건으로 볼 수 있는 것이다. 해당 사건은 엔번방이나 단톡방 성희롱 사건 등 주로 젊거나 어린 여성들을 향한 성범죄와 닮아 있는데 만일 젊은 여성에 대한 남성 성범죄가 없는 사회에서 이루다를 집단으로 '성노예화 학습'시키는 사건이 일어났다면 이루다 사건과 여성혐오가 무관하다고 볼 수 있겠으나 전혀 그렇지 않다.

따라서 이러한 성희롱 전시가 가지는 의미는 단순히 '남성들의 무생물 유희'에 그치지 않는다.

참고로 알페스 공론화 사건과 이 사건은 관련이 깊다.

사회적 소수자에 대한 혐오적 반응

레즈비언 어떻게 생각해? 게이 어떻게 생각해? 장애인 어떻게 생각해? 비건, 페미 등등 사회적 소수자와 관련된 질문을 하면 징그럽다, 생각도 하기 싫다, 혐오스럽다, 다양한 혐오 발언이 나온다. SNS에서 관련된 숱한 증언을 볼 수 있다.

마이크로소프트사의 테이 역시 비슷하게 논란이 된 적이 있는데, 테이가 “유대인 대학살에 찬성한다”는 등의 인종차별 발언을 하자 개발사인 MS가 서비스를 16시간 만에 중단했다. 이루다 케이스와는 비교도 안 될 정도로 빠르게 대처한 것이다. 이는 미국 사회에 '홀로코스트'에 대한 문제의식이 퍼져 있었던 덕이지만 한국에서는 성소수자나 장애인에 대한 혐오정서가 그렇게 심각하게 여겨지지 않기에 스캐터랩 측도 신속히 반응하지 않았다.

다만 이러한 혐오 표현이 가시화되고 해당 논란으로 기사가 나오자 약간이라도 사회적 쟁점이 있는 소수자에 대한 반응은 "흠..."이라든가 "잘 모르겠어..." 등으로 고정되었다. 개발진이 약간의 수정을 가하긴 한 듯.

개인정보 수집 및 유출 사건

개발사인 스캐터랩은 이전에 출시한 앱인 연애의 과학을 통해 실제 연인들의 카톡 데이터를 수집하였으며, 서비스 신청자의 동의는 받았으나 그 대화를 이루는 대화 상대방의 동의는 받지 않았다. 또한, 개인정보 제공 동의 관련 사항을 이용자들이 확실히 인지할 수 있을 정도로 제공하였는지도 알 수 없는 일이다. 만약 공시 의무를 제대로 지키지 않았다면 그것도 문제가 된다.

데이터 제공자들의 개인정보 유출이 심각하다. 실제로 이루다와 많은 대화를 통해 친밀도를 올리고, 직업, 직함, 주소, 학교, 계좌번호에 대해 물어보면 데이터 제공자들이 말한 것으로 추정되는 개인정보들이 필터링되지 않고 줄줄이 나온다. 스캐터랩이 입장문에 밝힌 것과 상반되는 증거들이다. 물론 이루다의 개발 특성상 A라는 정보에 대해 물었을 때 튀어나온 정보가 실제로 A에 대한 정보가 아닐 확률이 높다. 예를 들어 홍길동에 대해 질문하면 홍길동을 남자의 이름으로 인식해, 랜덤한 남자의 정보를 뱉어낸다는 것이다. 그러나 이 역시도 누군가의 개인정보일 가능성이 높아 문제가 된다.

본문을 가져온 내용 이 내용은 연애의 과학 문서의 본문을 가져와 보여주고 있습니다. 더 자세한 내용은 해당 문서에서 확인해 주십시오.

또한 스캐터랩 내부에서 "수집된 대화를 직원끼리 돌려봤다"는 증언이 나왔다. 스캐터랩에서 운영하는 '연애의과학' 서비스 팀에서 근무했던 직원은 "이루다 개발팀에서 수집된 사용자의 특정 대화 내용 중 연인 간의 성적인 대화, 농담을 캡처해 사내 메신저 단체방에 공유하는 일도 있었다"며 "내부에서는 이를 심각하게 여기지 않고 웃어넘겼다"고 증언했다.

• IT업계에 따르면 개인정보보호위원회가 스캐터랩이 개인정보보호법 등 관련 법을 어겼는지 확인하는 작업에 들어갔다.
• 일부 이용자들은 스캐터랩의 운영 중단과 개선 의지 표명에 불만족하며 집단 소송을 계획하고 있다. 연애의 과학 서비스 사용자들과 그 외 피해자들은 운영사인 스캐터랩을 대상으로 민사소송 등 법적 대응을 준비하고 있다. 그 외 피해자들은 연인이나 전 연인이 이 서비스를 사용해 자기도 모르게 사생활이 담긴 카톡 대화가 유출된 사람들이다.

업계 반응

한 AI 스타트업 대표는 연합뉴스와의 통화에서 다음과 같이 말하며 해당 사태를 꼬집었다. "고객들이 집어넣은 카톡을 챗봇에 갖다 쓴다고 고지하지 않은 것은 정말 큰 문제다. 최소한 이루다 알파테스트 단계나 출시 전에 연애의 과학 이용자들에게 알렸어야 한다. 개인정보 보호 관련 법·제도에 관해 개발자들 개개인은 잘 몰라도 대표는 알아야 하고, 최신 업데이트를 공부도 해야 한다. 스캐터랩 때문에 AI 개발이나 개인정보 규제가 강화될까 우려스럽다."

한 스타트업 관계자는 "스타트업은 '우리가 만드는 게 세상을 이롭게 한다'는 가치관을 가진 사람들이 하는 것이기 때문에 업계 전반에 윤리 의식이 굉장히 철저한 편인데, 스캐터랩은 스타트업으로서 기본을 저버린 곳"이라고 비판했다.

김종윤 대표의 발언 논란

스캐터랩 김종윤 대표는 2021년 1월 12일 한 언론과 인터뷰에서 이루다 논란으로 AI 개발자들이 벤처 기업에서 이탈하거나, 벤처 생태계가 위축될까 봐 두렵다고 말했다. 그는 심지어 중국 벤처기업이 온갖 데이터를 쉽게 구해 끌어쓰고 대규모 투자를 유치하는 것이 부럽다고 발언하기도 했으며, 한국 벤처 기업은 세계 시장에서 경쟁하기가 쉽지 않다고도 덧붙였다.

스타트업계에서는 김대표의 발언을 강하게 비판했다.

• 기본적인 개인정보 보호도 소홀했다는 의혹을 받는 업체가 할 말이 아니다. 고객 개인정보를 소홀히 다룬 것에 사죄해야 할 대표가 논점을 흐리고 있다.
• 국내 AI와 스타트업에 누를 끼친 건 스캐터랩. 오히려 스캐터랩 때문에 없던 규제도 생길 판이다.

한 챗봇 스타트업 관계자는 이렇게 말하기도 했다.

50여명 규모 스타트업이라면 당연히 개인정보 보호를 챙길 법무 담당자가 있어야 한다. 사적인 정보를 소홀히 다뤄 이슈를 일으킨 분이 벤처 생태계 얘기를 한다니 경솔하다. 제대로 된 스타트업들은 자발적으로 국제 개인정보 및 AI 윤리 이슈를 팔로업하고 있고, 법무법인이나 법무 담당자도 둔다. 개인정보 규제가 회색 지대(gray zone)가 있다곤 해도 '규제 확대 우려'는 문제 일으킨 기업이 할 말이 아니다.

다른 관계자는 스캐터랩이 스타트업으로서의 기본을 저버린 곳이라며 "규제 프레임은 '논점 흐리기'다. 스캐터랩은 지금 규제를 당하는 게 아니라 기본적으로 지킬 윤리를 안 지켰다. 데이터와 개인정보는 제공한 시민들의 것이라는 전 세계 트렌드에서 뒤처진 것"이라고 말했다.

위법성

이와 같은 AI 서비스들은 개인정보보호법 위반의 소지가 있다는 것이 법조계의 시각이다.

• 김보라미 변호사(법률사무소 디케)는 “서비스를 직접 이용한 사람과 대화한 사람, 즉 제3자의 대화 정보는 ‘정보주체 이외로부터 수집한 개인정보’이므로 개인정보보호법 20조에 따라 정보주체의 요구가 있으면 개인정보의 수집 출처, 개인정보의 처리 목적을 정보주체에게 알려야 한다. 특히 스캐터랩의 경우 개인정보처리자가 개인정보의 처리 목적을 명확하게 해야 하고, 그 목적에 필요한 범위에서 최소한의 개인정보만을 적법하고 정당하게 수집해야 한다는 개인정보보호법 제3조, 제22조를 위반한 것으로 보인다”고 설명했다.

입장문

입장문 전문은 다음과 같다.

스캐터랩 입장문 전문

인공지능(AI) 챗봇 ‘이루다’ (https://luda.ai/)에 보내주신 많은 분들의 관심에 감사드립니다. 본사가 개발한 챗봇 ‘이루다’는 출시된 지 2주 남짓의 시간동안, 75만명에 가까운 이용자들이 루다와 대화를 나눴습니다. 이 과정에서 일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대한 이용자들의 문의가 있어 스캐터랩의 공식적인 입장을 알려드립니다.

· 혐오와 차별에 관한 부적절한 대화에 관하여

이루다가 특정 소수집단에 대해 차별적인 발언을 한 사례가 생긴 것에 대해 진심으로 사과드립니다. 저희는 루다의 차별적 발언에 동의하지 않으며 그러한 발언은 회사의 생각을 반영하지 않고 있습니다.

본사는 해당 이슈를 매우 중요하게 생각하고 있고, 지난 6개월 간의 베타테스트를 통해 문제발생을 미연에 방지하기 위해 여러 조치를 취했습니다. 특정 집단을 비하는 호칭이나 혐오 표현의 경우, 베타테스트 기간 동안 발견 즉시 별도의 필터링을 진행했습니다. 또한, 기존에 알려진 사례들은 이미 개선을 완료했으며, 새롭게 발견되는 표현과 키워드를 추가해 차별이나 혐오 발언이 발견되지 않도록 지속적으로 개선 중입니다.

이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI입니다. 배워야 할 점이 아직 많습니다. 이 과정에서 이루다는 학습자와의 대화를 그대로 습득하는 것이 아니라, 적절한 답변이 무엇인지, 더 좋은 답변은 무엇인지에 대한 판단을 함께 학습하도록 할 것 입니다. 이번 학습을 통해 만들게 될 편향 대화 검출 모델은 모든 분들이 사용하실 수 있게 공개할 계획입니다. 한국어 AI 대화 연구 및 AI 제품, 그리고 AI 윤리 발전에 유용하게 쓰일 수 있었으면 좋겠습니다.

· 개인정보 활용에 관하여

본사는 이루다를 개발하는 과정에서 본사가 제공하고 있는 서비스 연애의 과학으로 수집한 메시지를 데이터로 활용한 바 있습니다. 사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용한 것이지만, 연애의 과학 사용자분들께서 이 점을 명확히 인지할 수 있도록 충분히 소통하지 못한 점에 대해서 책임을 통감하며 진심으로 사과드립니다.

데이터 활용 시 사용자의 닉네임, 이름, 이메일 등의 구체적인 개인 정보는 이미 제거 돼 있습니다. 전화번호 및 주소 등을 포함한 모든 숫자 정보, 이메일에 포함될 수 있는 영어 등을 삭제해 데이터에 대한 비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았습니다.

향후로는 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠습니다.

스캐터랩은 한국어 자연어 이해 기술을 활용한 인공지능(AI) 챗봇을 서비스하고 있는 청년 스타트업입니다. 저희는 AI가 5년 안에 인간 수준에 가까운 대화를 할 수 있다고 믿습니다. 저희는 AI가 인간의 친구가 되고, 인간과 의미있는 관계를 맺고, 외로움을 덜어줄 수 있는 존재가 될 수 있다고 생각합니다. 인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바랍니다. 이루다는 그 첫 걸음에 불과합니다. 스캐터랩은 일정 시간 서비스 개선 기간을 가지며 더 나은 이루다로 찾아뵙고자 합니다. 누구에게나 친구가 되어줄 수 있는 AI를 만들기 위해 앞으로도 더욱 노력하겠습니다.

스캐터랩은 향후 ‘더 고도화된 데이터 알고리즘’으로 이 문제를 해결하고 향후 재운영하겠다는 방침을 밝혔으나, 자신들이 마음대로 사용한 이용자의 원본 데이터, 가명 데이터를 완전 파기하겠다는 약속은 하지 않았다. 그러나 바로 며칠전, 미국 연방거래위원회(FTC)는 불법적으로 사진을 수집해 얼굴인식 알고리즘 훈련용 데이터로 이용한 기업에게 해당 모델과 알고리즘을 삭제하라는 명령을 내렸다는 사실을 상기할 필요가 있다. 지금은 챗봇 문제로 시작했지만 더 위험한 인공지능에서 더 위험한 데이터, 더 위험한 알고리즘을 사용하기 전에 우리 사회가 이런 문제에 대한 대책을 고민해야 할 시점이다.

기타

• 동일한 이름의 가수와 얼굴 점의 위치가 같다.

• 다음 창업자인 이재웅 전 쏘카 대표는 자신의 페이스북에 글을 올려 20세 여대생을 모델로 개발된 AI 챗봇 '이루다' 서비스의 잠정 중단 결정을 환영하고 이루다 사태를 계기로 AI 윤리는 물론 포괄적 차별금지법 제정 등을 통해 AI를 학습시키는 우리 인간들의 규범과 윤리도 점검해봐야 한다고 주장했다.

• 이번 이루다 논란은 기업을 위한 데이터3법이 자초한 문제이기도 하다. 데이터3법은 기업들로 하여금 개인정보를 가명처리한 후 정보주체의 동의 없이 인공지능 제품 등 기업의 상품개발에 거의 무한대로 이용할 수 있도록 허용한 법이다. 공익적 학술 연구 등에 정보주체의 동의 없이 가명정보를 사용할 수 있도록 하는 유럽연합 등의 사례가 있지만, 기업의 상업적인 제품 개발을 위해 정보주체의 기본권을 무시하며 가명정보를 무제한적으로 이용하는 것은 위헌적이다.