로봇 학습 위한 언어 유도 보상 - Video Rewind

https://www.youtube.com/watch?v=sxlpBEFGLxo

 

이 영상은 'hu-po' 채널에서 진행한 스트리밍으로, 'Language Guided Rewards(언어 유도 보상)'라는 제목의 로보틱스 논문을 상세하게 리뷰하는 내용입니다 [01:19]. 이 논문은 로봇 공학 팟캐스트에서 "지금 가장 좋아하는 논문"으로 추천받았다고 합니다 [01:54, 02:02].

논문의 정식 제목은 "Rewind: Language-Guided Rewards Teach Robot Policies Without New Demonstrations" (되감기: 언어 유도 보상이 새로운 시연 없이 로봇 정책을 가르친다)입니다 [02:09].

영상에서 다룬 논문의 핵심 내용은 다음과 같습니다.

현 로보틱스 학습의 한계

스트리머는 현재 로봇 학습의 두 가지 주요 접근 방식인 모방 학습(Imitation Learning)과 강화 학습(Reinforcement Learning)의 한계를 지적합니다 [02:59].

• 모방 학습: 사람이 직접 원격 조종하는 등 대규모의 '전문가 시연' 데이터가 필요하며, 이 데이터를 수집하는 데 엄청난 비용과 시간이 듭니다 [03:09, 06:46].
• 강화 학습: 로봇에게 동기를 부여하는 '보상 함수(reward function)'를 사람이 직접 세밀하게 설계해야 하는 어려움이 있습니다 [07:56, 08:46].

'Rewind' 논문의 핵심 아이디어

이 논문은 아주 작은 규모의 시연 데이터셋(예: 15~20개 작업, 작업당 5회 시연) [13:19]을 가지고도, 데이터 효율성이 높은 '언어 조건부 보상 함수'를 학습시키는 방법을 제안합니다 [04:42].

1. "비디오 되감기" (Video Rewind) 데이터 증강

이 논문의 가장 중요하고 독창적인 아이디어는 '비디오 되감기'라는 데이터 증강(augmentation) 기법입니다 [21:14, 23:15].

• 기존의 작은 데이터셋은 로봇이 작업을 성공한 영상(trajectory)만 포함하고 있습니다 [23:52].
• '비디오 되감기'는 이 성공한 영상의 일부를 무작위로 되감습니다. 예를 들어, [프레임 1-2-3-4]로 진행된 영상을 [프레임 1-2-3-4-3-2]처럼 만듭니다 [24:25, 24:30].
• 이 기법을 통해, 로봇이 컵을 잡으려다 실패하고 손을 뒤로 빼는 것과 같은 '실패한' 궤적을 인위적으로, 그리고 거의 무한하게 생성해낼 수 있습니다 [23:27, 25:05].
• 이유: 이 '가짜 실패' 데이터를 학습함으로써, 보상 함수는 단순히 작업 완료에 가까워질수록 보상이 계속 증가(monotonically increasing)하도록 학습되는 것을 방지합니다 [25:36]. 대신, 목표에서 멀어지는 행동(되감기된 부분)에 대해서는 보상이 감소해야 함을 학습하게 됩니다 [23:41, 25:53]. 이는 보상 함수를 훨씬 더 정교하고 현실적으로 만듭니다.

2. 추가적인 데이터 증강

• 텍스트 증강: "쓰레기 버리기(dispose trash)"라는 하나의 지시어를 LLM을 이용해 "쓰레기 치우기(throw away garbage)", "캔에 폐기물 넣기(put waste in can)" 등 5~10개의 다양한 문장으로 재생성합니다 [21:14, 22:05]. 이를 통해 로봇이 다양한 언어 표현을 이해할 수 있게 합니다.
• 대규모 데이터셋 활용: OpenX와 같이 이미 공개된 크고 다양한(다양한 로봇 팔, 환경, 작업) 데이터셋을 함께 사용하여 모델의 일반화 성능을 높입니다 [19:21, 20:12].

'Rewind'의 3단계 학습 파이프라인

이 논문은 다음과 같은 3단계 과정을 거쳐 로봇 정책을 학습시킵니다.

1. 보상 함수 학습: 위에서 설명한 증강된 데이터(작은 데모셋 + OpenX)를 사용하여, (영상 프레임, 언어 지시)를 입력받아 [0~1] 사이의 촘촘한(dense) 보상 값을 출력하는 보상 함수를 먼저 학습시킵니다 [39:08, 40:51].
2. 오프라인 강화학습 (Offline RL): 1단계에서 학습한 보상 함수를 **고정(freeze)**시킵니다. 이 고정된 함수를 '선생님'으로 사용하여 기존 데이터셋에 보상을 매기고(labeling), 이를 바탕으로 오프라인 강화학습을 진행하여 로봇의 행동 정책(policy)을 훈련합니다 [41:50, 44:47].
3. 온라인 강화학습 (Online RL): 마지막으로, 로봇이 실제 환경과 상호작용하며(online) 새로운 데이터를 수집할 때, 역시 고정된 보상 함수가 실시간으로 촘촘한 보상 신호를 제공합니다. 이를 통해 정책을 더욱 미세하게 조정하고 성능을 높입니다 [48:34, 50:55].

결론 및 관련 연구

스트리머는 이 '시간 되감기' 아이디어가 "Time Contrastive Networks" (TCN) [01:12:33]나 비디오 액션 인식(video action recognition) 분야의 다른 논문들 [27:41]에서 사용된 '시간의 대칭성(symmetries of time)'을 활용하는 아이디어와 유사점이 있다고 언급합니다.

논문의 성능 평가(ablation study)에서는, 특히 OpenX 데이터셋과 텍스트 증강이 로봇이 처음 보는(unseen) 작업에 대한 일반화 성능에 가장 큰 영향을 미쳤다고 분석합니다 [01:00:05, 01:01:05].