호찌민시(HCM City) 호찌민시공과대학(HCMUT) 연구팀이 객관식 AI 성능을 높이는 기법을 개발해 세계적 저널에 게재했다.
호찌민시공과대학(HCMUT) 연구팀은 장학생 댕푸꿕(Đặng Phú Quốc)과 강사 찐쯔엉뚜언팟(Trần Trương Tuấn Phát) 등이 주도했다.
이들은 교육용 AI의 객관식 편향을 줄이기 위해 단일토큰 로짓(STL)을 제안하고, 지도교수 꾸언타인터(Quản Thành Thơ)와 2년 4개월간 연구를 다듬었다.
STL은 각 선택지를 따로 ‘예/아니오’로 검증해 LLaMA, 딥시크(DeepSeek), 미스트랄(Mistral) 같은 LLM의 답안 순서 민감성을 낮췄다.
ARC, 오픈북QA(OpenBookQA), SciQ 실험에서 기존 CoT와 비슷하거나 더 좋은 성능을 보였고, 일부는 정확도가 11%포인트 개선됐다.
이 성과는 컴퓨터스앤드에듀케이션: 인공지능(Computers and Education: Artificial Intelligence) Q1 저널에 실려, 교사 채점·문항 생성의 활용 가능성을 키웠다.
이들은 교육용 AI의 객관식 편향을 줄이기 위해 단일토큰 로짓(STL)을 제안하고, 지도교수 꾸언타인터(Quản Thành Thơ)와 2년 4개월간 연구를 다듬었다.
STL은 각 선택지를 따로 ‘예/아니오’로 검증해 LLaMA, 딥시크(DeepSeek), 미스트랄(Mistral) 같은 LLM의 답안 순서 민감성을 낮췄다.
ARC, 오픈북QA(OpenBookQA), SciQ 실험에서 기존 CoT와 비슷하거나 더 좋은 성능을 보였고, 일부는 정확도가 11%포인트 개선됐다.
이 성과는 컴퓨터스앤드에듀케이션: 인공지능(Computers and Education: Artificial Intelligence) Q1 저널에 실려, 교사 채점·문항 생성의 활용 가능성을 키웠다.