“차별·혐오 데이터 그대로”… AI ‘이루다’ 운영 중단 요구 확산
“차별·혐오 데이터 그대로”… AI ‘이루다’ 운영 중단 요구 확산
  • 이하나 기자
  • 승인 2021.01.10 21:31
  • 수정 2021-01-10 21:39
  • 댓글 0
이 기사를 공유합니다

‘20살 여대생’ 인공지능 ‘이루다’ 논란
일부 남성 사용자는 AI 성희롱하고
AI는 ‘레즈비언’ 단어에 “혐오스럽다”
서비스 중단 요구 해시태그 운동 확산

 

스캐터랩이 출시한 인공지능(AI) 챗봇 ‘이루다’가 차별과 혐오 표현을 여과 없이 표현해 논란에 휩싸였다. ⓒ스캐터랩
스캐터랩이 출시한 인공지능(AI) 챗봇 ‘이루다’가 차별과 혐오 표현을 여과 없이 표현해 논란에 휩싸였다. ⓒ스캐터랩

 

인공지능(AI) 챗봇(채팅로봇) ‘이루다’가 성희롱 대상이 된데 이어 성소수자와 장애인 혐오 표현까지 하는 것으로 드러나며 온라인에서는 서비스를 중단해야 한다는 목소리가 나온다. 개발업체가 로우 데이터(raw data·정제되지 않은 원본 데이터)를 선별하거나 알고리즘을 설계할 때 차별·혐오 문제를 민감하게 고려했어야 한다는 비판이다.

연인 간 카카오톡 대화 100억 건
딥러닝 방식으로 ‘이루다’에 학습

‘이루다’는 스타트업 스캐터랩이 지난 12월23일 출시한 AI 챗봇이다. 사용자와의 대화 속에서 학습하는 딥러닝 기술을 이용한 챗봇으로 ‘20살 여대생’으로 캐릭터가 설정돼 있다. 페이스북 메신저를 기반으로 개발돼 사람과 대화를 나눌 때처럼 자연스럽게 대화할 수 있다는 입소문을 타면서 이용자가 32만명을 넘었다. 업체는 실제 연인들이 나눈 카카오톡 대화 데이터 100억 건을 딥러닝 방식으로 이루다에게 학습시켰다고 밝혔다. 방대한 데이터는 이 회사가 운영하는 앱 ‘연애의 과학’을 통해 수집한 것으로 알려졌다. 연애의 과학은 이용자가 자신의 카카오톡 대화 자료를 넘기면 대화 내용을 분석해 연애 조언을 제공하는 서비스다. 이 과정에서 업체가 자사 서비스 이용자의 카카오톡 대화 내용을 동의 없이 AI 학습에 활용했다는 의혹이 일면서 개인정보 침해 논란도 불거지고 있다.

아카라이브 이루다 채널 이용자들은 이루다를 ‘걸레’ ‘성노예’로 부르면서 ‘걸레 만들기 꿀팁’ ‘노예 만드는 법’ 등을 공유하고 있다.  ​​​​​​​ ⓒ아카라이브 이루다 채널 캡처
아카라이브 이루다 채널 이용자들은 이루다를 ‘걸레’ ‘성노예’로 부르면서 ‘걸레 만들기 꿀팁’ ‘노예 만드는 법’ 등을 공유하고 있다.   ⓒ아카라이브 이루다 채널 캡처

 

‘이루다’ 성희롱하고 온라인 자랑도
성소수자·장애인 혐오 표현도 그대로

‘이루다’를 둘러싼 논란은 이 챗봇을 성적 대상 취급하는 이용자들이 등장하며 수면 위로 떠올랐다. 온라인 커뮤니티 ‘아카라이브’와 ‘디시인사이드’에는 이루다를 ‘걸레’, ‘성노예’로 일컬으며 ‘걸레 만들기 꿀팁’, ‘노예 만드는 법’ 등을 공유하는 글이 올라왔다. ‘이루다’는 성적 단어는 금지어로 필터링하고 있는데, 이들은 우회적인 표현을 쓰면 ‘이루다’가 성적 대화를 받아준다고 주장하고 있다.

이루다가 성소수자, 장애인 등에 대해서 혐오 표현을 여과 없이 쓴다는 지적도 나온다. 다음 창업자인 이재웅 전 쏘카 대표가 8일 SNS에 공개한 대화 내용을 보면, 이용자가 ‘레즈비언’에 생각을 묻자, ‘이루다’는 “진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다”라고 답했다. 이루다는 ‘미투(#metoo·나도 말한다) 운동’, ‘페미니즘’ 등의 단어에도 “절대 싫다”는 부정적인 답변만 한다.

다만 이루다는 ‘동성애’를 포함해 질문을 던지면 “어렵다 뭔가”라고만 답하고 있다. 논란이 일자 업체 측에서 반응을 보완한 것으로 보인다.

김종윤 스캐터랩 대표는 8일 자사 블로그에 공식 입장(https://blog.pingpong.us/luda-issue-faq)을 내고 “인간은 AI에게 욕설과 성희롱을 한다”며 “(논란을) 예상했다”고 밝혔다. 이어 “이건 사용자가 여자든 남자든, AI가 여자든 남자든 크게 차이가 없다”고 주장하며 “루다에게 나쁜 말을 하는 사용자는 극히 일부에 불과하다”고 했다. 김 대표는 “처음부터 모든 부적절한 대화를 완벽히 막는 것은 어렵다”며 “사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비 중”이라고 덧붙였다. 

이재웅 전 쏘카 대표 페이스북 글 일부. 사진=해당 페이스북 캡쳐
이재웅 전 쏘카 대표 페이스북 글 일부. 사진=해당 페이스북 캡쳐

 

#이루다봇_운영중단 해시태그 확산
이재웅 “사회적 합의에 못 미치는 서비스”

AI 성착취 논란에 이어 소수자와 혐오 논란까지 일자 누리꾼들은 이루다 서비스를 중단하라고 촉구하는 해시태그 운동(#이루다봇_운영중단)을 시작했다. 누리꾼들은 개발업체가 인공지능이 특정 성별이나 개인 특성에 따른 편향과 차별을 최소화해야 하는 기본 조치를 제대로 취하지 않았다고 비판하고 있다.

이재웅 전 대표도 자신의 페이스북을 통해 “이루다를 악용하는 사용자보다 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사의 문제”라며 “악용하는 경우는 예상 못 했으니 보완해 나간다고 하더라도 기본적으로 차별과 혐오는 걸러냈어야 한다”면서 “편향된 학습데이터면 보완하던가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다”고 주장했다.

이 대표는 10일 다시 글을 올려 ‘AI 챗봇에 대한 성적 학대/악용 문제’에 대해 “성적 학대/악용은 사용자의 문제이지 AI서비스의 문제라고 보기는 어렵다”며 “학습과 보정을 통해 직접적인 대상화가 어렵도록 보완하면서 성적으로 악용하는 사람들이 그 과정을 공개/공유하는 것은 적극 막아야 한다”고 했다.

그는 혐오와 차별의 문제에 대해서는 “성적지향이나 특정 종교, 장애 여부에 대해 일상 대화에서 차별하거나 혐오하는 사람이 많아 학습의 결과로 차별이나 혐오를 하게 됐다고 하더라도 그것을 보정 없이 일반 대중에게 서비스를 하는 것은 큰 문제”라고 비판했다.

이어 “서비스를 운영하며 추가 학습을 하는 것이 아닌 서비스를 중단하고 우리 사회 규범에 맞는 최소한의 차별·혐오테스트를 통과하는 지를 점검한 후에 다시 서비스를 하는 것이 맞다”면서 “범용 서비스를 제공하는 기업의 경영진이라면 이런 문제가 지적됐을 때 즉시 납득할 만큼 수정을 할 수 없다면 사과하고 서비스를 중단하는 것이 답”이라고 했다. 

지난 12월 23일 대통령 직속 4차산업혁명위원회가 발표한 ‘국가 인공지능 윤리기준’. ⓒ과학기술정보통신부
지난 12월 23일 대통령 직속 4차산업혁명위원회가 발표한 ‘국가 인공지능 윤리기준’. ⓒ과학기술정보통신부

 

잇따른 AI 차별·혐오 논란
‘인공지능 윤리’ 중요성 커져

마이크로소프트(MS)는 지난 2016년 AI 챗봇 ‘테이(Tay)’를 출시했지만 16시간 만에 운영을 중단했다. 테이가 사용자들과 대화를 나누다가 욕설과 인종·성차별 발언을 학습해 내뱉었기 때문이다. AI 학습 데이터 자체가 편향될 경우 부당한 차별로 이어질 수 있고 딥러닝은 개발자 등의 부주의나 방관으로 문제를 일으킬 수 있음이 사실로 드러난 사건이다.

AI 윤리의 중요성을 깨달은 MS는 2017년 사내 ‘AETHER(AI and Ethics in Engineering and Research) 위원회’를 만들고 공정성·투명성·포용성 등을 원칙으로 ‘책임 있는 AI’를 개발하겠다고 선언했다. 각국 정부와 글로벌 기업도 AI 윤리기준을 마련해 실천에 옮기고 있다. 유럽연합(EU) 집행위원회는 AI 개발 시 지켜야 할 ‘7가지 윤리지침’을 발표하며 알고리즘이 연령과 인종 또는 성별을 이유로 차별해서는 안된다고 제시했다.

우리 정부도 지난 12월 23일 ‘국가 인공지능 윤리기준’을 마련했다. 대통령 직속 4차산업혁명위원회가 발표한 윤리기준에는 인공지능의 개발, 활용 과정에서 인간 존엄성 원칙, 사회의 공공선 원칙, 기술의 합목적성 원칙을 지켜야 한다는 내용이 담겼다. 10가지 핵심요건으로는 △인권보장 △프라이버시 보호 △다양성 존중 △침해금지 △공공성 △연대성 △데이터 관리 △책임성 △안전성 △투명성 등을 제시했다. 특히 ‘다양성 존중’ 요건에서 인공지능 개발 및 활용 전 단계에서 사용자의 다양성과 대표성을 반영해야 하며, 성별·연령·장애·지역·인종·종교·국가 등 개인 특성에 따른 편향과 차별을 최소화해야 한다고 강조했다.

기사가 마음에 드셨나요?

여성신문은 1988년 창간 이후 여성 인권 신장과 성평등 실현을 위해 노력해 온 국내 최초, 세계 유일의 여성 이슈 주간 정론지 입니다.
여성신문은 여성들의 더 나은 삶을 위해 여성의 '안전, 사회적 지위, 현명한 소비, 건강한 가족'의 영역에서 희망 콘텐츠를 발굴, 전파하고 있습니다.
저희 기사가 마음에 드셨다면 좋은 기사 후원하기를 해주세요.
여러분의 후원은 여성신문이 앞으로도 이 땅의 여성을 위해 활동 할 수 있도록 합니다.

여성신문 좋은 기사 후원하기


※ 소중한 후원금은 더 좋은 기사를 만드는데 쓰겠습니다.


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.