마인크래프트 인공지능(Minecraft AI) 플레이 시켜보기 Pt. 1 분석

이 글을 쓰기 전에 미리 해본 영상입니다!

https://youtu.be/efnCUsNvxyQ

궁금증

내가 마인크래프트 인공지능이 있다는 것은.. 

https://youtu.be/L4nfzJx7uDI

이 영상으로 부터 알게 되었었다..

 

굉장히 신기한 영상.. 처음에는 에이 설마 진짜겠어 하고.. 영상을 좀 봤다..

솔직히 그냥 사람이 인공지능 처럼 플레이하는 줄만 알았다..

근데 NEURO SAMA라는 인공지능 관련 글들을 찾아보고 진짜 인공지능이 마인크래프트를 플레이 한다는 것을 알았다..

그리고 마인크래프트 인공지능에 대해 좀 더 찾아본 결과 무엇인지 알게되었다.

 

어떤 것을 사용했을까?? 분석 & 추정

 

어쨌든 짧게 말하면 예상이지만

해당 마인크래프트 인공지능 플레이 영상은 진짜로 인공지능이 플레이하는 것이며 MineRL 1.0을 사용해서 VPT라는 인공지능 모델이 마인크래프트를 플레이 하는 것으로 추정된다..!

 

MineRL은 마인크래프트와 파이썬이 상호작용해서 파이썬으로 마인크래프트를 플레이 시킨다거나 할 수 있는 파이썬 3 라이브러리!

 

어쨌든 내가 이것으로 추정 할 수 있던 이유는 MineRL은 기본적으로 실행 Minecraft 해상도가 정해져있는데(어떻게 바꾸는진 모름..) 이 해상도가 V0.3, V0.4 버전에는 64 * 64px 인데 V1.0 버전에서 640 * 360px 이다. 그런데 영상을 잘보면 글씨 폰트들이 많이 무더져 보인다..

뭐 그래도 글씨가 잘 보이는 이유는 마인크래프트가 픽셀 게임 같은거라 그런게 아닐까.. 

 

그리고 VPT 인공지능 모델을 사용한다. 생각했던 이유는 마우스 포인터이다.

NEURO SAMA 마인크래프트 마우스 포인터

위 사진은 NEURO SAMA의 마인크래프트 방송에 나오는 마우스 포인터인데 좀 두껍다..

 

그런데 이 마우스 포인터는 

VPT 인공지능 모델을 플레이 시키면 나타나는 마우스 포인터이다.

VPT Github에 가보면 cursors 에 mouse_cursor_white_16x16.png 파일이 보이는데

https://github.com/openai/Video-Pre-Training/blob/main/cursors/mouse_cursor_white_16x16.png

위 사진으로 가면 볼 수 있다.

거기에서 따온 마우스 포인터인데.. 굉장히 똑같다..

 

어떻게 플레이 할 수 있을까?

간단하다. 그냥 깃허브에서 다운로드 해서 바로 플레이 시키면 된다.

단 컴퓨터는 고사양이여야 그나마 플레이하기 적당하다..

나 같은 경우 컴퓨터는 아래 사양이지만 중간중간 어느정도 렉이 유발되기도 했다.

• CPU : AMD 5900X
• GPU : RTX 3080TI
• RAM : 32GB

플레이 방법은 이 게시글 이후로 파트 2~ 부터 설치와 플레이 방법을 올릴 것인데 대충 먼저 말하면

https://github.com/minerllabs/minerl

이곳에서 인공지능과 상호작용할 수 있는 라이브러리를 설치하고 

https://github.com/openai/Video-Pre-Training

이곳에서는 인공지능을 실행할 수 있는 파일과 인공지능 모델을 다운받아서 패키지 설치할꺼 모두 설치하고 실행하면 된다.

 

대충 찾아본거지만 VPT 기술은 영상으로만 인공지능 모델을 학습시키는 것이다.

기본적으로 VPT 깃허브에서 제공하는 인공지능 모델들은 이미 어느정도 학습은 되어있어 바로 플레이도 시킬 수 있다.

만약 학습을 시킨다면 이것은 영상으로 학습을 하기 때문에 영상을 촬영하거나 다운을 받아서 인공지능한테 학습하라고 시키면 되는 것!

 

굉장히 신기하다.. 영상에서 유저가 어떻게 움직이는지도 분석하고 유저가 해야할 목표를 비슷하게라도 따라한다는 것이.. 신기하다..

 

아쉬운 점

MineRL로 매년 MineRL Diamond Competition 이라는 대회를 여는 것 같은데 여기에서 VPT 말고 2022년에 제작되었다는 MineDojo라는 것도 제작되었다는데..

https://github.com/MineDojo/MineDojo

이것을 어떻게든 윈도우 돌려볼려고 했지만... 아쉽게 실패했다..

이유는 리눅스와 맥 용이기 때문에..

뭐 WSL 사용해서 하면 되겠지만.. 윈도우 10 버전이라.. (GPU나 여러가지 이용할려면 윈도우 11 사용해야함)

그래서 어떻게든 해도 안되서 포기하고 VPT로 해본 것..!

 

뭐 그래도 좋았다!

 

어쨌든 이 다음 글 부턴 설치부터 플레이 방법이 나와있답니다!