최근 생성형 AI, 특히 대규모 언어 모델(LLM)의 발전 속도가 놀랍습니다. 하지만 여전히 LLM은 까다로운 문제에 직면하면 잘못된 답변을 내놓거나 비논리적인 판단을 하기도 합니다. 이런 한계를 극복하기 위해 등장한 두 가지 획기적인 방법론을 소개하겠습니다. 바로 Meta-Rewarding과 Self-Discover입니다.
Meta-Rewarding: 모델이 스스로를 평가하고 학습하는 방식
Meta-Rewarding이란 한마디로 "모델이 스스로 생성한 결과를 직접 평가하고, 그 평가 결과를 학습하여 지속적으로 성능을 높이는 방법"입니다. 즉, LLM이 동시에 "학생이자 선생님" 역할을 수행하는 것입니다.
Meta-Rewarding의 단계적 프로세스
답변 생성(Actor): LLM이 하나의 질문에 다양한 답변을 만듭니다.
자체 평가(Judge): 같은 LLM이 생성한 각 답변에 대해 점수를 매기고 그 이유를 자세히 설명합니다.
메타 평가(Meta-Judge): 자체 평가한 결과가 합리적인지 다시 평가하여 신뢰할 수 있는 데이터를 추출합니다.
학습 데이터 구축과 재학습: 이렇게 만들어진 신뢰성 높은 데이터를 기반으로 다시 모델을 학습시키고, 평가 능력을 개선합니다.
이 방법의 강력한 점은 모델이 스스로 만들어낸 평가를 통해 끊임없이 성능을 향상시킨다는 것입니다. 또한 Meta-Rewarding은 실제 실험에서 GPT-4 초기 버전보다 뛰어난 성능을 달성하며, 심지어 Claude 3 Opus와 같은 최상위급 모델과 비슷한 수준을 보였습니다.
Self-Discover: LLM이 스스로 추론 구조를 만드는 방법
한편, 복잡한 문제를 단계적으로 해결하기 위해 "Self-Discover" 방법론이 제안되었습니다. 이 방식은 LLM이 주어진 문제를 해결하기 위한 적절한 추론 방식을 직접 설계하도록 합니다.
Self-Discover의 두 가지 핵심 단계
추론 모듈 선택(Select): 39가지로 미리 준비된 추론 전략(모듈) 중 가장 적합한 방식을 스스로 선택합니다. 예를 들어, 수학 문제라면 '하위 문제로 쪼개서 해결'하는 전략을 고릅니다.
추론 구조 구체화(Adapt & Implement): 선택한 전략을 문제 상황에 맞게 더 자세하게 풀어서 설명하고, 이를 실제 문제 해결에 적용 가능한 형태로 변환합니다.
즉, LLM은 문제의 특성을 분석하고, 가장 효율적인 해결 경로를 설계한 후, 이를 직접 실행하여 정확한 결론을 내리는 것입니다. 이 과정에서 LLM의 성능은 전통적인 방식보다 월등히 향상되었으며, 특히 추론이 중요한 문제에서 두각을 나타냈습니다.
Meta-Rewarding과 Self-Discover의 시너지
이 두 방법론을 결합하면 LLM은 스스로 문제를 풀어가는 능력뿐만 아니라 자신이 내놓은 결과를 객관적으로 평가할 수 있는 능력까지 확보하게 됩니다. 다시 말해, 자신이 어디서 잘못했는지를 정확히 알고, 어떻게 개선할지를 스스로 학습하게 됩니다.
Meta-Rewarding과 Self-Discover는 LLM의 지능을 한 단계 높이는 혁신적인 접근법입니다. 이 방식들이 널리 활용된다면, 앞으로의 AI는 더욱 복잡하고 어려운 문제를 스스로 해결하며 더욱 정확하고 신뢰할 수 있는 결과를 만들어낼 것입니다. LLM의 미래는 자신이 스스로를 발견(Self-Discover)하고 평가(Meta-Rewarding)하는 능력에서 달려 있습니다. 이러한 자기주도적 학습 방식이 AI 발전의 핵심 전략이 될 것으로 기대됩니다.