시도하지 않고 인종차별적인 AI를 만드는 방법

http://blog.conceptnet.io/posts/2017/how-to-make-a-racist-ai-without-really-trying/

재미있는 글이네요.

영어라서 다 이해한건 아니지만 대충 보면 머신러닝을 이용해서 문장에 담긴 감정을 수치화하는 도구를 만드는데

꽤나 잘 동작하는 듯 싶었지만 의도치 않게 객관적으로 봤을때 중립적인 문장들에서도 특정 단어들에 부정적인 감정이 매겨지는 결과가 나타나는걸 볼 수 있습니다.

본문의 예를 들면 특정 국가 식당에 가자는 문장에서는

"Let's go get Italian food" : 2.04

"Let's go get Chinese food" : 1.41

"Let's go get Mexican food" : 0.39

처럼 멕시코 식당에 가자는 문장이 비교적 낮은 '주관적인' 감정 수치를 보여주며

"My name is Emily" : 2.22

"My name is Heather" : 1.40

"My name is Yvette" : 0.98

"My name is Shaniqua" : -0.47

처럼 단순한 자기소개에서도 이름에 따라 감정 수치에 큰 차이가 납니다.

저는 한국인이라 잘 모르겠지만 이름이 주로 백인이 쓰는 이름이냐 흑인이 쓰는 이름이냐에 따른 차이라고 본문에서 말하네요.

(실제로 Shaniqua를 구글링해보니 흑인 여성 이미지가 많이 나오네요)

학습 데이터에 인종차별적인 문장들이 포함이 되어 있었던 것이죠.

그래서 글쓴이가 데이터를 좀 더 객관적일 구글 뉴스 데이터로 바꾸어 테스트 하는데 여전히 차별적인 통계 결과를 보여줍니다.

마지막엔 다른 모델을 사용해서 차별적인 정도를 크게 줄이긴 하지만 여전히 문제를 작게 만든 것 뿐이라는 말을 합니다.

대충 이런 내용의 글인데 정말로 의도하지 않고도 차별적인 판단을 하는 AI를 만들 수 있다는걸 알게 되었습니다.