[모션캡쳐 1] 15일차

오늘은 모캡수업!
 
루미플로 회사에서 나오셨다!
 
6월에 모캡실습은 루미플로에 와서 모캡을 실습할 것이다. 

---

 언리얼엔진의 애니메이션 시스템

- 키프레임 애니메이션
 
Maya + 언리얼엔진  (마야에서 키프레임을 만들고 그것 뽑아다가 언리얼에 플레이하는 엔진)
애니메이션은 다 Maya로 하고 있음. 언리얼을 렌더러로 사용한다. +vfx로 사용한다.
단점 : 키 작업을 완변하게 끝내고 넘겨야 한다.안 그러면 매법 업데이트를 해야 한다.
export하고 import하고 얼굴 조금 바꾸려면 그 과정 다시 거쳐야한다. 
보조할 수 있는 라이브 링크 등의 기능이 있다.
ex) 유미의 세포들
 
Maya+라이브 링크
May에서 키프레임 애니메이션을 바로 옮겨진다. 모캡도 라이브 링크, 페이션도 라이브 링크 (라이브링크가 실시간 데이터의 허브가 됨)
 
키 애니에서 직접 작업을 한다. 
 
컨트롤 릭
언리얼 5부터 본격적으로 밀고 있는 기능으로 키프레임 애니메이션의 핵심 기능임
ex) 프록시 컨트롤러 (피봇이 자연스럽게 바뀐다. ) 
 

모션캡처

모션캡쳐란 몸에 센서를 부착시키거나, 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다. 
 
 

왜 모션 캡처 인가?

게임엔진과 모션캡처의 결합이 중요한 이유
- 모션 캡쳐 + 언리얼 엔진 (리얼타임 렌더링) + 버추얼 프로덕션 툴의 조합이 가져다 준 생산성 향상
- 기존의 모션 캡처는 캐릭터 정도 보면서 작업하였다면
- 두가지 가 합쳐지면서 스토리보드 + 애니메틱+ 레이아웃+ 카메라 액션 + 액팅에서 빠른 피드백과 작업을 진행 할 수 있다.
- 전체 애니메이션이 키프레임 애니메이션 위주라고 하더라도 마찬가지임
- 이때 버추얼 프로덕션에서 지원하는 버투얼 카메라 페이션 앱 + VR글로브 등을 이용해서 빠르게 작업이 가능
 
생산성 향상을 위한 치트키
모션 캡쳐 + 언리얼 엔진 (리얼타임 렌더링) + 버추얼 프로덕션 의 조합이 가져다 준 생성 향상
ex) 라이온킹
카메라를 잡는 것부터 마지막 렌더링까지 확 압축을 시킬 수 있다. 
모캡은 빠른 피드백 (현장에서 자세 수정)으로 좋음.
https://www.youtube.com/watch?v=WupuXjvO9uA

 
애니메틱 대체제
 
- 애니메틱 (스토리보드가 나오고 그 스토리보드에 컷들을 올리고 사운드 넣고 등등)
 
모션캡쳐 방식에 대해서
-광학식 - 카메라가 달려있어서  - 동그란 것을 몸의 관절 마디에 달음.
-관정식(자이로 센서) - 애매함
- 일반 카메라를 이용한 방식
  -딥러닝을 이용한 방식(요즘 좋아지는 중)
  -좌표계를 만드는 방식
- 페이셜 캡처
  -아이폰 (나름 가성비)
  -페이셜 캡처 하드웨어 이용 (비쌈)
 
광학식
1. 뭔저 긴 막대기를 돌려서 초기화 시켜주고
2. 땅바닥이 어디인지 인지 시켜주고
3. 물건이 어떤건지 인식시켜주고
4. 41개의 마커를 사람 몸에 달면 사람이라고 인식하기 시작함.
광학식의 장점은 굉장히 정밀하다. 
단점
카메라 가 떨리면 그때부터 노이즈가 끼기 시작하기 때문에 떨리지 않는 비싼 레일에 카메라를 달고 있음.
그런 비용적 측면이 있는데
장점은 마커만 붙이면 되기 때문에 1~10명이든 몇 명이든 슈트와 마커만 있으면 계속 적으로 만들 수 있다는 것이 좋다.
 
관성식(자이로 센서)
장점
  - 싸다 - 광학식에 비해서
  - 움직일 수있는 공간만 있으면 된다. 
 - 야외에서 촬영이 가능하다. ex)우리 스마트폰에 다 있음
-단점
   -정밀도가 광학식에 비해서 떨어진다.
   -자석이나 환경에 영향을 많이 받는다.<-비싼거 쓰면 어느정도 해결
싸다, 공간구외, 야외 촬영
(한 사람당 몇 천씩 한다.)그런 슈트 단점이 있다.
계속 시간이 늘어날수록 오차가 조금씩 벌어져서 원자리에 돌아 올 수 없다.
 
관성식과 광학식이 많고
일반 카메라를 이용한 방식 딥러닝 이용한 방식
move ai 가 요즘 잘 된다. 
근데 이게 실시간은 안된다. (이제는 그냥 이걸로 해도 괜찮을 정도로 꽤 잘나온다.)
ai 쪽 문제는 발이 바닥에 붙지 않는다. (옆으로 움직이기 때문에 후보정 해야함. 이게 해결이 되면 비용관련 가장 좋다.)
활용 : 단편애니 만들기 쉽겠지만 후보정은 해야 한다.
장점 : 비용은 정말 좋다.
단점 : 실시간으로 안됨, 발이 옆으로 돌아가며 바닥에 붙지 않는다.
 
 
-모캡 -> Maya 혹은 모션빌더 레코딩 -> Maya 수정 -> 언리얼
- 가장 많이 쓰이는 방식
- 모캡-> 모션빌더
-
 
모션캡처 + 페이셜 캡처
- 아이폰을 이용한 페이셜 캡처
  -51개의 페이셜 블랜드 쉐입이 필요함
- 기타 비싼 장비를 이용한 페이셜 캡처
+ 아이폰의 페이셜 잠금을 이렇게 이용하다니! 퀄리티도 좋음.
https://www.youtube.com/watch?v=bIGnx2jvrbg

https://www.youtube.com/watch?v=WghYEFIoaM8

 
언리얼 메타 휴먼 (얘도 실시간 라이브 안되고 아이폰 밖에 안된다는 단점이 있음)
 

모션캡처의 또 다른 가능성 디지털 퍼핏

ex) 쥬라기 공원
https://www.youtube.com/watch?v=VhR6FNpjUig

스피시즈
 
 
퍼핏 - 인형극
모캡의 효율성을 따라 잡을 수 있음.
 
https://www.youtube.com/watch?v=bXPjTFylL7I

언리얼 엔진5을 이용한 전통 버핏
 
 
애니멀버스 영상
 
디지털퍼핏 + 라이브쇼 'Earth to Ned'
디지털퍼핏의 라브쇼인데 지구에 외계인이 와서 토크쇼 하는 것이다.
https://www.youtube.com/watch?v=i3OCnB6oDX4

https://dev.epicgames.com/community/learning/courses/OPX/unreal-engine-virtual-puppeteering-and-input-based-animation/kaWP/unreal-engine-virtual-puppeteering-and-input-based-animation-overview

Virtual Puppeteering and Input Based Animation | Course

https://www.youtube.com/watch?v=8jsyz2Xx7LI

 
애니메이션 업계는 제작비 절감이 화두.