[강화 학습] 꿈꾸는 인공지능 - World Model

https://worldmodels.github.io

구글에서 또 외계인을 고문했습니다.

한글로 된 자세한 내용은 다른 분이 잘 써둔 글이 있으니

http://aidev.co.kr/deeplearning/4304 여기서 보십쇼.

이 글에서는 꿈에 관련해서만 적어보겠습니다.

대충 이렇게 생겼다고 합니다.

꿈을 시각화하는 부분은 아래 이미지에 해당하는 VAE 입니다.

VAE는 GAN(생성적 적대 신경망)과 비슷한 신경망인데

게임 화면을 입력으로 받아서 z로 인코딩하고 다시 게임 화면과 비슷한 화면으로 디코딩 합니다.

GAN을 배우신 분이라면 아시겠지만 학습된 GAN은 z만 있어도 디코더를 통해 실제와 비슷한 새로운 이미지를 생성할 수 있게 됩니다.

그리고 아래 이미지가 MDN-RNN 입니다.

VAE에서 얻은 z와 한 행동 a 그리고 이전 상태 h를 가지고 새로운 상태 h와 z를 출력합니다.

여기서 얻은 새로운 z를 VAE의 디코더에 넣으면 해당하는 게임 화면이 출력되는데 그게 바로 꿈입니다.

이 과정을 반복하면 게임을 실제로 하지 않고도 게임을 시뮬레이션 할 수 있게 됩니다.

꿈을 꾸는 거죠.

그러니까 어떤 행동을 하면 게임이 어떻게 바뀔거다라는걸 예측, 시각화 할 수 있다는 겁니다.

꿈이 어떻게 생겼는지 보고 싶으시면 공식 사이트에서 한번 보시면 됩니다.

https://worldmodels.github.io