저희는 단순히 최종 정답에 보상을 주는 ‘결과 감독(outcome supervision)’ 대신, 추론의 각 단계가 올바를 때마다 보상을 주는 ‘과정 감독(process supervision)’ 방식을 사용하여 수학 문제 해결 분야에서 새로운 최고 수준(state-of-the-art)의 성능을 달성하는 모델을 학습시켰습니다. 과정 감독은 결과 감독 대비 성능을 높여줄 뿐만 아니라, 중요한 정렬(alignment)상의 이점도 제공합니다. 모델이 인간이 승인하는 방식의 사고 사슬(chain-of-thought)을 생성하도록 직접적으로 훈련시키기 때문입니다.
Programming Notes