팩트봇 [742742] · MS 2017 (수정됨) · 쪽지

2020-09-12 10:29:40
조회수 12,254

"팩트봇 들어오라해" 대머리 문자 논란 ... 팩트봇 "AI가 하는데"

게시글 주소: https://games.orbi.kr/00032111522















3년전부터 오르비는 기계학습의 일종인 자연어처리(NLP) 분야를 연구해 24시간 작동하는 봇이 오르비의 정치 게시물에 #auto:정치 태그를 붙여 노출을 조절하고 있습니다

올해는 숭실대 머신러닝 소모임 SSUML의 도움을 받아 오르비 댓글의 어그로 지수팩트봇기계가 판단하게 하는 연구를 하고 있습니다

현재 기계가 어그로다! 라고 판단한 댓글을 인간이 다시 봤을 때 진짜 어그로일 확률 즉 accuracy(정확도)는 대략 75%를 보이고 있습니다

지금까지는 별도의 레이블링 없이 학습을 해서 이정도의 정확도를 보였는데


accuracy를 향상시키기 위해 블라인드를 받은 적 있는 게시물을 별도로 학습시켜서 흑화된 버전의 흑르비 댓글을 만들었습니다

그리고 흑르비를 봇에게 학습시킨 결과



흑화된 댓글을 유의미하게 잡아내게 되었습니다

Ko-BERT 모델을 사용해 댓글들의 embedding을 추출한 뒤 T-SNE 알고리즘으로 이를 2차원 vector로 축소시켜

댓글들을 어그로 수준에 따라 위와 같이 배열한 결과 블라인드 조치를 받은 노란 댓글이 중심에 모여있는 것을 볼 수 있습니다


다시 이 결과를 보고 어그로 성 댓글을 레이블링하고 문장 단위 학습을 시키는 작업을 반복하면 accuracy가 더욱 올라갈 것으로 예상됩니다


그렇게 해서 충분히 높은 정확도로 어그로 댓글을 판단하게 되면 옯에 어그로 판별 봇을 탑재시킴으로써 주말밤과 새벽에도 게시물을 관리하느라 머리가 빠져버린 관리자 젖지의 두피건강에도 많은 기여를 하게 될 것 같습니다





0 XDK (+0)

  1. 유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.