(UE 5.5)언리얼 5.5 voice 2 face (Text to Face) 기능 하는 방법

 
* 저는 제가 녹음하기 싫어서 깔끔한 ElvenLabs(일레븐 렙스)사용했습니다.
 

 
1.
회원가입을 하시고 원하시는 문장을 적습니다.
그리고 나서  Regenerate speech 버튼을 눌러주세요.
 

2.
완료가 된다면 이후 한 번 들어보시고 괜찮으면 다운로드 버튼을 눌러 다운로드를 받습니다. 
 

 
3. 
그런 다음 음성 파일을 언리얼 화면에 끌어다 놓습니다.
( *****저는 언리얼 5.5버전에서 Meta Human 다운로드 받아 레벨에 놓고 플러인 다 켜져 있는지도 확인 하였습니다.****메타휴먼 다운로드 받으면 플러그인 활성화하라고 뜨는데 예 눌러야함*)

4.
여러분들도 확인 하시길 바랍니다.

5.
이후 우리는 마우스 오른쪽 클릭을 하여 [메타휴먼 애니메이터] 라는 항목이 잘 뜨는지 확인합니다. 잘 뜬다면 [메타휴먼 애니메이터] > [메타휴먼 퍼포먼스] 를 선택해줍니다.
 
(없다면 플러그인이 꺼져있거나 5.5 버전이 아니라서 일 수 있으니 확인 하십시오)

6.
그렇게 만들어진 [메타 휴먼 퍼포먼스] 폴더를 열어서 뜨는 안내문구를 다 "예"를 눌러주고 들어갑니다. 이제 데이터 >  Input Type> 에서 Audio 타입으로 바꿔줍니다. 

7.
이후
Audio 부분에 우리가 받았던 ElevenLabs 의 음성파일을 찾아서 넣어줍니다.
Control Rig 부분에는 Face Control Board CtrlRig(얼굴 컨트롤 릭)을 찾아서 넣어주고
Visualization Mesh 부분에는 Ettore_FaceMesh (우리가 받은 메타휴먼의 얼굴 메쉬)를 넣어줍니다. 
 

8.
 
다 하셨으면 이제 상당의 [처리] 버튼을 눌러주세요. 상단에 있습니다. 기다리면 처리가 완료 되고 이제 

9.
 
상단의 애니메이션 익스포트 버튼을 눌러줍니다. 누르시면 

10.
 
이렇게 원하는 곳에 저장을 해줍니다. 이렇게 되면 페이스 부분의 애니메이션 시퀀스가 생기게 됩니다.

11.
 
이제 레벨 시퀀스를 만들어주시고 바탕에 있는 메타휴먼 (메타휴먼 미리 바탕에 꺼내놓으세요)을 레벨 시퀀서에 추가를 해줍니다. 그런 다음 Face 얼굴의 컨트롤 릭을 삭제를 합니다. (있으면 애니메이션이 적용되지 않아요.)
 

12. 
컨트롤릭 삭제를 하고 이제 Face부분에 애니메이션 추가를 해줍니다.
애니메이션은은 우리가 아까 뽑아낸 애니메이션을 추가하는 겁니다.
 

13.
이제 제대로 움직이는지 보고 오디오 트랙을 따로 추가를 해서 입모양에 맞게 만들어 줍니다.
 
이렇게 플레이 하게 되면 
 
https://youtu.be/qYRlQQj5k7M

 
다음 처럼 나오게 됩니다.
 
 
https://www.youtube.com/watch?v=4MYjo1mKcA8

얼굴애니메이션 + 몸 애니메이션 참고 영상 (몸은 내가 유튜브영상 모션 트래킹 해서 한거라 뻣뻣함)