제목 : 딥마인드, 미세조정 없이 모델 성능 개선하는 ‘다중샷 상황 내 학습’ 공개

https://www.aitimes.com/news/articleView.html?idxno=159122

ai타임즈 24.04.30

구글 딥마인드의 연구진이 발표한 새로운 학습 기술인 '다중샷 상황 내 학습(Many-shot In-Context Learning, MICL)'은 대형언어모델(LLM)을 활용하여 프롬프트 내에 수백에서 수천 개의 훈련 예제를 포함시켜 모델의 성능을 개선하는 방법입니다. 이 방법은 미세조정을 필요로 하지 않으며, 사용자가 쉽게 접근할 수 있습니다.

MICL은 특히 프롬프트의 컨텍스트 창 크기에 따라 달라지는데, 최신 모델들은 매우 큰 컨텍스트 창을 지원하여 다양한 작업에 대해 훨씬 더 많은 수의 예제를 학습할 수 있습니다. 이 기술은 수학 문제 해결, 질문 답변, 결과 보상 모델링, 리소스가 부족한 언어 번역 및 감정 분석 등 여러 문제 영역에서 LLM의 성능을 향상시키는 데 큰 잠재력을 보여주었습니다.

연구 결과에 따르면, 프롬프트에 더 많은 예제가 추가될수록 모델의 성능이 계속해서 향상되었습니다. 특히, 번역 작업에서 다중샷 MICL을 적용한 경우, 쿠르드어와 타밀어 같은 리소스가 부족한 언어에 대해 새로운 최고 성능을 기록했습니다. 이와 같이 MICL은 기존 미세조정 모델이나 복잡한 검색 파이프라인 없이도 효과적인 성능 향상을 이룰 수 있는 가능성을 제시합니다.

다만, MICL은 인간이 고품질의 대량 예제를 생성해야 하는 어려움과 프롬프트 내에 많은 예제를 포함시킬 경우 추론 속도와 비용이 증가하는 문제가 있습니다. 그럼에도 불구하고, LLM 애플리케이션 프로그램의 탐색 및 프로토타이핑 단계에서 다양한 프롬프트 엔지니어링 기술을 시험해 볼 수 있는 유용한 도구로 평가됩니다.

이러한 접근 방식은 인공지능 분야에서 계속해서 진화하고 있는 학습 기술의 다양성을 보여주며, 향후 연구 및 응용에서 더욱 발전할 가능성을 열어놓고 있습니다.