안녕하세요. 이번 포스팅에서는 정말 정말 신기한 AI Tool인 Runway Gen2에 대해 소개하겠습니다. Runway Gen2는 이미지를 움직여 짧은 영상으로 바꿔주는 AI 입니다. 다른 여러 Tool을 사용해봤을 때 너무 부자연스럽게 바꿔주거나 픽셀이 깨지는 경우가 많았어서 믿지 않았는데, 직접 해보니 정말 자연스럽게 잘 만들어 주어서 깜짝 놀랐습니다. 지금부터 Runway Gen2가 무엇인지, 어떻게 사용할 수 있는지 알려드리도록 하겠습니다.
Runway란?
Runway에서 만든 AI Tool로 이미지를 영상으로 전환해주는 AI 입니다. 영상을 제작하는 방법은 크게 총 7가지로 구분 할 수 있습니다.
- Text to Video : Text를 입력하면 적정할 영상을 생성
- Text + Image to Video : Image를 업로드하고 어떻게 움직일 지 Text로 설명
- Image to Video : Image를 업로드하면 알아서 자연스럽게 영상 생성
- Stylization : 영상과 이미지를 업로드하여 영상에 해당 이미지를 입히는 방식
- Storyboard : 2D나 3D로 애니메이션화
- Mask : 객체에 다른 객체를 입히는 방식 (ex. 일반 말을 얼룩 말로 바꾸기)
- Render : 이미지 또는 프롬프트를 적용하여, 동작만 있는 영상을 사실적으로 변환
- Customization : 버튜버처럼 나에게 다른 캐릭터를 입히는 기술
이번 시간에는 간단하게 이미지와 글을 통해 영상을 제작하는 방법인 1, 2, 3번에 대해 알아보겠습니다. 다른 기술들은 일반인이 사용하기에는 조금 어렵기도 하고 굳이 쓸 일이 없을 것 같습니다.
Runway 시작하기
하기 링크에 접속 한 후, 간편 로그인을 진행합니다.
Runway Link : https://app.runwayml.com/
메인 페이지에 접속하면, 다른 사람들이 만들어 놓은 영상들을 볼 수 있습니다. Popular AI Magic Tools를 보면, 어떤 방식으로 비디오를 생성할 지 선택할 수 있고, Tutorials에서 각각의 제작 방법과 설명이 유튜브 영상으로 보기 좋게 제작되어 있습니다.
Runway 영상 제작하기
저는 이미지를 움직이게 하고 싶기 때문에 Text/Image to Video를 선택하여 사용해보겠습니다. 해당 기능을 선택하면 다음과 같은 화면이 나타납니다. 상단의 탭에서 Text / IMAGE / IMAGE + DESCRIPTION을 선택할 수 있습니다. IMAGE + DESCRIPTION은 업로드 한 이미지를 어떻게 움직일 지 설명하는 방식입니다.
왼쪽 하단의 5라는 숫자는 얼마나 영상에 움직임을 줄 지 정하는 수치입니다. 클 수록 영상이 더 많이 움직이고, 낮을 수록 조금 정적인 영상이 생성됩니다.
Camera Motion은 카메라 구도를 어떻게 움직일 지 정하는 것인데, 직접 해보면 금방 어떻게 움직이는지 알 수 있습니다.
Motion Brush는 이번에 새로 나온 기능인데, 이미지에서 원하는 부분을 브러쉬로 색칠하여 해당 부분만 움직이게 할 수 있습니다. 여러가지 브러쉬를 사용하여 각 부분이 다르게 움직이게 할 수도 있어 정말 신기합니다.
다음과 같이 움직일 부분을 색칠하고, Directional Motion에서 어떻게 움직일 지 정할 수 있습니다.
(1). Text로 영상 제작하기
저는 불멍 영상을 제작하고 싶어, 벽난로에서 불타고 있는 영상을 만들어달라고 Text로 입력했습니다. 영상 생성에는 약 1분 정도 소요됩니다. 원하는 영상을 텍스트로 설명한 후 Generate 4s 버튼을 클릭합니다.
상단의 사진에 나타난 나무가 타고 있는 영상이, 제가 단어 4개로만 만든 영상입니다. 정말 너무 신기하지 않나요? 영상 퀄리티도 정말 좋고, 엄청 대충 적었는데도 저 정도 스케일로 나온다는 것이 놀랍습니다.
(2). Image로 영상 제작하기
upload a file 버튼을 클릭하여 원하는 이미지를 업로드합니다. 저는 저번 포스팅에서 Leonardo AI로 제작했던 불 이미지를 업로드했습니다. AI 이미지 생성이 궁금하신 분들은 아래 포스팅을 참고해주시길 바랍니다.
Image를 업로드 하고, 모션 수치와 카메라를 어떻게 움직일지, 어디를 움직일 지 등을 선택합니다. 저는 아무것도 안하고 해도 알아서 잘 만들어서 굳이 건들지 않았습니다.
마찬가지로 Generate 4s 버튼을 클릭하여 영상을 생성합니다.
이미지를 영상으로 바꿀 때 보통 픽셀이 깨지거나, 움직임이 매우 부자연스러운데 결과물을 보고 정말 깜짝 놀랐습니다.
* 블로그 용량 때문에 결과물은 맨 하단에 업로드 해두었습니다.
기본으로 해도 자연스럽게 잘 만들어주는데, 특별히 원하는 부분이 있다면 Camera Motion과 Motion Brush를 사용하여 커스터마이징 하시길 바랍니다.
(3). Image + Description으로 영상 제작하기
마지막으로 이미지와 설명을 함께 넣어 영상을 제작해보겠습니다. Motion Brush와 Camera Motion을 쓰기 어려우신 분들은 텍스트로 원하는 바를 전달해 줍니다. 프롬프트 공부를 더 한다면 더 명확하게 할 수 있겠지만 우선은 인간의 언어로 전달을 했고 어느정도 해당 부분을 반영하여 잘 만들어 주었습니다.
Runway 이용료
Runway는 기본적으로 무료로 이용이 가능합니다. 하지만 오른쪽 하단에 워터마크가 표시됩니다. 저는 솔직히 무료로 몇번 써보려 했는데, 체험해보자마자 너무 좋아서 바로 결제 해버렸습니다. 이제 본전을 위해 강제로라도 매일 영상을 만들어야겠습니다. 가격이 비싸질 수록 더 많은 Credit을 주어 영상을 많이 만들 수 있고, 더 다양한 기능을 제공해 줍니다. 영상을 전문적으로 다루지 않고 유튜브에 올릴 영상 정도를 생각하신다면 Standard만으로도 충분하다고 생각합니다.
결과물
저는 불 이미지를 움직이는 영상을 만들어 보았는데, 정말 너무 맘에 들게 잘 나왔습니다. 해당 영상은 유튜브에 업로드하여 저의 유튜브 링크를 공유 드리겠습니다. 혹시 Runway로 영상을 만드신 분이 있다면 댓글에 링크 남겨 주시면 구경하고 싶습니다. 다음에는 더 전문적으로 Runway를 사용하는 법에 대해 공부해 공유 드리겠습니다. 감사합니다.
Youtube Link : https://www.youtube.com/watch?v=kOrbTrVOoUQ
3 thoughts on “Runway로 이미지 영상으로 바꾸기”