UIUC, 11개 AI 모델을 병렬로 돌려 전기공학 수업 조교를 만들다
UIUC AI Teaching Assistant

일리노이대학교 어바나-샴페인 캠퍼스(UIUC)의 Center for AI Innovation이 전기공학 학생들을 위한 AI 튜터링 챗봇을 공개했다. 이 시스템은 텍스트/이미지 검색, 생성, 콘텐츠 검열, 랭킹을 위해 11개의 모델을 병렬로 실행하면서도 중간 응답 시간이 2초에 불과하다. 교과서, 강의 영상, 학생 QA 포럼 데이터를 활용하며, RLHF(인간 피드백 기반 강화학습) 과정에서 시맨틱 검색을 도입한 점이 특징이다. 평가에는 GPT-3를 사용해 생성 답변과 인간 전문가의 답변을 비교했지만, GPT-3가 자기 자신을 평가한다는 한계도 인정했다. 코드와 데이터셋은 오픈소스로 공개되어 있으며, Pinecone 데이터베이스를 활용해 다른 분야에도 적용할 수 있다.
GPT-3는 거의 항상 GPT-3가 훌륭하다고 생각하는데, 이는 아마 사실이 아닐 것이며 이 평가 방법의 한계입니다.