한국전자통신연구원 연구팀이 절차 생성 인공지능(AI)의 성능을 자동평가하는 로타벤치마크(LoTa-Bench) 기술에 관해 논의하고 있다. [한국전자통신연구원 제공]

국내 연구진이 대형언어모델(LLM)을 기반으로 만들어진 절차의 성능을 자동으로 평가하는 기술을 세계 최초로 개발했다.

한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립해 수행하는 절차 생성 인공지능(AI)의 성능을 자동 평가할 수 있는 로타벤치마크(LoTa-Bench) 기술을 개발했다고 8일 밝혔다.

이 기술 개발로 향후 대형언어모델을 이용한 로봇 작업계획 기술의 성능평가 시간과 비용을 대폭 줄일 수 있게 됐다.

최근 대형언어모델은 언어처리, 대화, 수학 문제 풀이, 논리 증명 외 사람의 명령을 이해해 하위 작업을 스스로 선택하고 순서대로 수행해 목표를 달성하는 절차 이해 영역에서도 우수한 성능을 보여주고 있다. 이에 따라 대형언어모델을 로봇 응용과 서비스 구현에 적용하려는 시도가 폭넓게 이뤄지고 있다.

ETRI는 대형언어모델의 절차 수행 결과가 지시 명령 목표를 잘 달성했는지에 대한 절차 이해 기술 성능을 자동으로 평가하는 로타벤치마크 기술을 세계 최초로 개발했다.

기존에는 절차 이해 성능 평가를 자동으로 할 수 있는 벤치마크 기술이 없어서 사람이 직접 평가함으로써 손이 많이 갈 수밖에 없었다.

예컨대, 구글의 세이캔(SayCan)을 비롯, 기존 연구에서는 여러 사람이 직접 작업 수행 결과를 관찰하고 성공 실패 여부를 투표하는 방법을 채택했다.

따라서 성능 평가에 매우 긴 시간과 노력이 들어 번거로울 뿐 아니라 평가 결과에 주관적 판단이 개입하는 문제가 있다.

ETRI가 개발한 로타벤치마크 기술은 사용자의 명령에 따라 대형언어모델이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동으로 비교하여 성공 여부를 판단한다. 때문에 평가 시간과 비용을 최소화할 수 있고, 결과가 객관적이라고 ETRI는 전했다.

장민수 ETRI 소셜로보틱스연구실 책임연구원은 “로타벤치마크는 절차 생성 AI 개발의 첫걸음이다. 향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 개발할 계획”이라고 말했다.

구본혁 기자