2024 언리얼 엔진을 활용한 애니메이션 실무기반 교육과정 4일차 (특강)

AI이미지 제너레이션 (스테이블 디퓨전, 미드저니) 솔루션을 대한 사용방법 기초적인 것들을 할 듯.

오늘은 기초 강의를 할 예정입니다. 

 

굉장히 잘게 쪼개 놓으면 다시 뭉칠 수 있게 된다. 

 

미드저니는 생성형 ai에서 끝판왕이다. (어마어마한 퀄리티, 쉬운 사용법),

달 2는 쳇 gpt 같은 형식이다. 

스테이블 디퓨저는 개념이 다르다. (오픈 소스/ 블렌더랑 비슷하게 무료) 스테이블 디퓨전이라는 모델 자체를 일반 사람들에게 공개를 했다.  이 뒤에 가서 설명을 드리겠지만 가장 핵심적인게 뭔가요? 성적인 취향을 만족시키기 위해 스테이블 디퓨전이 가장 사용이 많이 되었습니다. 실제로 제작년 6개월 만에 어마어마한 성장을 하게 되었습니다.

 

오늘은 스테이블 디퓨전 먼저 설명하겠습니다.

스테이블 디퓨전은 1.5에서 확 커졌다. 그 다음에 XL이 나왔음에도 1.5버전이 더 좋다고 생각하고 애니메이션에도 사용됩니다. 수많은 플러그인 기반이 1.5기반으로 커져서 그렇게 생각해서 결국에는 2.0에서는 XL와 1.5에서는 성적인 취향을 해결해주는 것 들을 만들지 못하게 되니까 결국 사람ㄷ르이 1.5를 구매하게 됩니다. 

 

일단  스테이블 디퓨저의 가장 핵심 적인 기능은 개인 PC에서 돌아갈 수 있다는 게 가장 좋다. 어느 정도 좋은 컴퓨터가 있으면 돌 릴 수 있어. 이런 AI나와서 추론을 하는 것이나 전기료를 어마무시하게 쓴다. 3090 이하면 AI가 돌아갈라나 모를 것 들이 많은데 그거에 비해서 가볍다.

UI 안에서 기본 적으로 돌아간다. 

 

로블 AI (라이트 노벨)을 만들어주는 소설 사이트에서 이 스테이블이 적용되서 되었다. 

기존의 툴 안에 (언리얼, 블렌더)안에 스테이블 디퓨전이 들어갈 수 있게 되었다. 

 

하지만 요즘 쓰이는 것은 Automatic 1111 web UI

 

 

SD스테이블 디퓨저 모델 구조

check point(14G,) 대부분의 체크 포인트(엄마 모델) 그것을 기반으로 control Net이라는 모델과 LoRa라는 모델을 만들어냈다. 이 체크포인트를 기반으로 컨트롤 넷에 으로 뭘 뽑을 수 있고 두새게 섞어서 뽑을 수 있다.

UI 아까 말한 대로 체크포인트가 마더 모델인데 text2이미지 글 자에서 이미지를 뽑는다. img to img  이미지를 넣고 프롬프트도 섞어서 또다른 이미지를 ㄹ뽑아내는 것 이렇게 생성되는 과정에 서로 개입 할 수 잇다. 그리고 부가 기능 들이 있다. 

 

 

체크 포인트 1.5 기반의 검증된 기반의 모델에서 나온 애들이다. C-bit AI 라는 체크포인트가  1.5랑 2.0 다 버전 별로 따로 따로 나온다. 이 수천개가 만들어져 있는데 여기서 모델러들의 물품을 가지고 있다. 만든 사람이 학습을 어떻게 시켰는지 몰라서 써봐야지 안다. (사람은 잘 나온다.) 카투니한 스타일 , 리얼 한 스타일, sf 강화된 스타일 온갖 종류의 강점이 조금씩 다른 것들이 나온다. 

 

 

1. 실사형 모델

2. 아니메 모델

Anything

3. 특정 화풍 성향이 강한 모델

4. 배경제작에 좋은 모델  

Silicon dark, Silicon

 

본질적인 제너레이션 방법

prompt

girl, Dark hair, dark eyes, home, sun shing, shiny skin, sun glare

그리고 DDosMix_v2 (인형같은 여자들 모음)

 

샘플링 방법과 스텝수, 시드 값 들 등이 있다. 

 

샘플링 공식을 대입을 해서 어떤 논리로 추론을 할 것인가에 대해 방법을 찾아 넣는다. 그래서 샘플링 방법을 통한 결과물을 체크하는 것이 좋다. 

몇 번 제너래이션 을 거쳐야하나. 점점 원 안에 찾아가야 하는지 샘플링 스텝을 많으면 많을 수록 경향을 아주 강하게 닿는다. 중간 까지 닿은 다음 화악 하고 바뀌어 버린다. 샘플링 스텝스를 적당한 수준에서 하면 될 것 같다. 

그리고 배치는 여러장 같이 뽑는것 AI가지고 뽑을 때는 (가챠 , 그렇게 뽑아내는 것이다.) text 2 imge 에서 중요한 것은 CFG 스케일 이다. AI에게 강요하는 정도를 규정하는 것입니다. 

 

ai 에게 자기 마음대로 그리라고 말하는 것일 수도 있고 그리고 엄청 올리면 AI에게 강요가 그리라고 점점 개판이 되어가니까 적당히 하는 것이 좋다. 

 

시드의 -1은 랜덤을 말한다. 시드 값을 이용을 해서 하면 그쪽 경향 성이 있는 그림이 나올 경향성이 많아진다.

 

못생긴 사람을 그려줘 하면 잘 모르기도 함.

'폐허가된 정신병동 복도'라고 생각하면 떠오르는 이미지가 있으면 AI도 어느정도 알고 있다. 여러분 머리속에서 떠오르지 않는 것은 AI도 몰라 . 얘가 알아먹을 수있도록 프롬프트를 자세히 써야한다. 

 

내가 이미지를 던져주면 AI 가 자기가 그 이미지 뭔지 분석 할 수 있다. 

 

이미지 2 이미지 같은 경우 넣은 이미지에서 비슷하게 그려준다.

허나 AI는 오렌지가 눈코입이 있고 의인화 되었다는 것을 이해하기가 힘들다. (모르는 것은 대충 던져 버린다.) 어디를 AI에게 던져야 하는지를 판단해야한다. 

텍스트 2 이미지랑 이미지 2 이미지 랑 다른 것은 디노이즈 스트렝스 부분이 다르다. 디노이즈가 0 이면 그냥 넣은 이미지 그대로 나온다. 디노이즈 강도가 높이면 높일 수록 원래 원하는 이미지가 점점점 멀어진다. 결국 꽉 채우면 원하지 않은 이미지를 넣은 것 과 같게 된다. 평균적으로 3~ 3.5로 해놓으면 대출 굉찮게 나온다. 

 

이것들을 활용해서 컨셉아트 뽑기가 정말 좋다. 기본적인 베이스 들을 뽑아 낼 수 있다. 

 

AI가 디자인을 하고 사람이 선을 따는 등의 활용을 한다. 

check point 

 

 

컨트롤넷은 신?>>

 

스테이블 디퓨전을 쓰는 이유는

EXTRA>

이미지 하나를 넣고 4배로 만들어 라고 하면 뻥튀기 해준다. 픽셀 아트로도 바꿀 수 있다. 가급적이면 잘 안쓴다. 

고전게임 같은 느낌을 픽셀라이즈 하면 굉장히 완성도 있게 나온다.   붕어빵 틀을 만들어내는 것이다. 

컨트롤 넷은 얼마나 잘 쓰느냐가 스테이블 을 잘 쓰냐 아니냐를 결정 짓는다.

 

control net 으로 이미지를 가져가면  Canny ,  Depth, MLSD, Normal Ma, open pose(포즈) 이미지투 이미지 텍스트 투 이미지에 연결 된다. 

 

인테리어 할때는 MLS 다루면 상당히 좋다. 

t스크립 - 대충 그려도 찰떡 같이 세그먼트 요소들을 나눠서 

line art 스케치 가져와서 채색을 해주는 것.

기능들 요즘에도 추가하는 중이다.

 

https://github.com/lllyasviel/ControlNet-v1-1-nightly 

GitHub - lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1

 

배경 레이아웃, 잘생긴 사람만 학습이 되어서 못생긴 캐릭터의 실사화는 현재까진 불가. 

T2I/DEPTH/PROMPT 이렇게 순서대로 뭐뭐 넣을 지 정해서 넣으면 된다. 

 

CANNY는 색칠 / DEPTH 깔고 

모델링 뎁스맵 제너레이션 하고 오퍼레이션 해서 다시 입히면 

 

Canny와 뎁스(사진에서 멀리 있고 가까임)(배경) 맵이 깔려 있고 Lora 를 사용했다. 

 

LORA  (메이플 스타일 (사람이 어떤 의 도를 가지고 만들었냐 에 딸  컬러랑 픽셀 종류가 많다.) 로라 (그 스타일로 뽑아주는 ), 엑스트라 모델, 서브로 특정한 영역을 집중적으로 학습을 시켜서 체크 포인트 메인 모델을 사용을 해서 하는 등 서브 모델이라고 할 수 있다. 케릭터 스타일 특정 캐릭터 손목과 스타일 로 만든다. 아케이드 스타일로 만든다 체인소맨 캐릭터로 만든다 라는 것들을 집중적으로 학습을 시켜서 나중에 아웃풋에 가정을 하면 LORA (주장을 쌔게 하는 친구 (이런 풍!! 이런 풍으로 만 만들어서 뽑아낼 거야) 로라가 주장하는 것은 쎄다. 메이플 스토리 로라 

 

버전들이 있어요. 처음 학습한 것 3번 학습 한 것 4번 학습 한 것 대게 학습을 할 대 7번 에서 12번 사이에서 20개를 만들어 놓을 수 있는 

 

LoRA캐릭터 학습 (특정 목적성을 가지는 프롬프트)

 

텍스트 인버전에 있는 팔레트도 나온다 . (색상 보라고) 체크 포인트의 장점을 극대화 하는 장점이 있다.  

 

T2I가 check point(이미지AI 기초)의 장점을 극대화

T2I + control net으로 1차 이미지 출력

control net 사용시 정확한 가로 세로 비율

큰 개념 -> 작은 개념  //상위 개념이 마자다고 생각이 들면 하위개념 없어도 넘기자 )

작은 이미지 -> 큰 이미지

작은 이미지 /큰  개념 단계에서 직접 수정

다양한 스타일의 Lora 병합 실험

-SD upscale vs 부가기능  upscale 

 

큰 이미지에서 점 이나 해 지우려고 프롬프트 수정하지 말고 걍 그 시간에 포토샵으로 편집하고 와라.

 

 일단 크게 나오면 이후는 내가 (가챠 기다리는 것 보다) 그리거나 포토샵으로 편집하는 것이 더 편하고 빠르다. 

고도화 하는 것이 더 낳다. 작은 개념까지 아웃풋이 나오길 바라는 것보다 났다. 

이제 결과물이 나오면 SD 업스케일 부가기능 있는 업 스케일은 왠만하면 쓰지 않는게 났

 

 

Mid Journey>>

여러가지 형태를 가지고 알고리즘을 시켰다. 높다. 

Mid Journey - Disscord 디스코드에 미드저니 챗봇이 나와서 이미지를 뿌려주는 방식을 하고 있다.

MIJI Model 미드 저니모델 과 미지 모델로 나오는데 미드저니에서 일본에 있는 아니메 코드를 학습한 미드저니 모델과 아니메 코드에 최적화된 모델을 만드는 애들이 Miji Model 이 나온다. https://midlibrary.io/styles 

Midjourney AI Styles library: 4000+ Artists, Techniques, Artistic Movements + Genres, Titles | Andrei Kovalev's Midlibrary

미드저니는 모든 것들을 다 학습 시키고 있다. 

 

그래서 패션 아티스트와 건축가의 아트를 결합해서 만들 수도 있다. mid 저니가 중간계를 여행하는 기분이라 이름 잘 지은 것 같다. 어떤 사람과 사람의 중간을 잘 찾아가는 느낌 왠 만한 형태의 컨셉 디자인을 다 뽑을 수 있다고 생각한다. 대신 좀 어렵다. 대신 그 개념들을 이야기 한다. 세상에 대한 아트에 대한 해박한 지식과 관심 + 영어가 는다. 문장을 써도 잘 알아듣는 mid 저니 그 안에 단어와 단어사이의 맥락 언어 적인 모델이 이해를 하고 있다. 언어모델의 레벨이 미드저니 같은 경우 훌륭하게 잘 되어 있다. 

텍스트로 어떤 작가와 어떤 작가를 섞는다 하면 미드저니는 그냥 해버린다. 스테이블 디퓨저 보다 났다. 이미지 하나를 넣고 조금더 레이아웃이 드라마틱한 변화들을 만들어낼 수 있다

지금은 게임을 만들때 게임 일러스트레이터가 사실상 필요한가에 대해 생각하게 되었다. 픽셀 데이터를 미드저니에 딱 올려놓고 이미지를 참고를 해서 원화를 만든다. 대게는 원화를 그리고 픽셀을 찍는데 거꾸로가 되었다. 픽셀 데이터로도 이제 그림을 뽑아낼 수 있다. 스테이블 디퓨저 -> 미드저니 할 수 있음.

 

이런 표현 적인 것들 디테일 들을 미적인 감각들을 스테이블 디퓨저에 앞도적으로 나온다. 그래서 몇번씩 해야 한다. 

 

기획자. 

신입 직원이 미드저니를 2틀 배우고 캐릭터 기획을 한 것이다. 기획자가 레퍼런스를 직접 만들어서 정확하게 아티스트에게 꼿는다. 기획단에 효율성 완성도 앞도적인 결과를 쓸 수 있다. 아이템 디자인. 스킬 에 들어가는 버튼 들 직업들이 사라졌다. 

 

기타 AI서비스 

https://vectorizer.com 

Free Image Vectorization

이미지를 벡터 이미지로 전환해줘서 훨씬 정교하게 만들어준다. 말끔하게 만들어주는 벡터 솔류션이 있다. 그래서 과거의 일러스트레이터의 선따고 하는 것은 AI가 대체를 하고 있다. Kera.ai 를 보면 한쪽에서 내가 그림을 그리고 오른쪽에서는 재너레이션 된 결과물 들이 나온다. 나의 그림과 연동된 것들이 나온다. 레오나르도 AI 

 

Tectured 3D mesh 스테이블 디퓨전 이런 식의 서비스를 하는 회사들은 기술적으로 어려운 문제를 해결을 해가지고 웹 UI상에서 대신 돈을 받는다. 

 

업스케일이랑 매핑이 하기 쉽다,.Meshy

Features | Meshy

Meshy | 3D AI Generator

 

업스케일 관련되서는 최강자 이미지 영상도 가능하다. 굳이 영상 4K로 만들지 않는다. 일반 full HD 로 나오는 것이 많은데 그리고 Topaz labs는 3D애니메이션 24프레임 짜리 정보가 꽉차있는 60프레임으로 늘려주면 고속 촬영하는 것 처럼 (슬로우모션 ) 으로 하는 것을 AI로 가능하다.

 

https://ebsynth.com 

EbSynth - Transform Video by Painting Over a Single Frame

엡신스는 한장만 뽑는다. 동영상 원본이 있으면 키가 되거나 처음과 끝을 한장 씩 뽑아서 앞 과 뒤에 이미지를 참고해서 선형 보관을 찾아본다. 

 

그런 천천히 나아가는 카메라의 구간 장면이면 쉽게 할 수 있다.

 

Deepmotion 모션 캡쳐 대신 우리 가 찍은 영상을 가지고 가지고 와서  3D 데이터를 만들 수 있습니다.

 

아웃풋에 적용을 ㅎ는 

 

https://cascadeur.com 

Cascadeur - the easiest way to animate AI-assisted keyframe animation software

 

로직을 할때 대충 잡고 되게 스패시픽한 것들이 아니라 대충 우리 머리속에서 이렇게 할 것이야 이런 포즈를 할 거야 이런 행동을 캐릭터에게 줄 거야 하면 대충 애니메이팅의 서브 툴로 많이 사용을 합니다. ***********************************************협업한다.

 

humanagic.gith

한장의 이미지를 가지고 입모양과 목소리를 찰떡같이 만든다. 진정한 딥페이크 영상이 나오기 시작한다. 페이스에 대한 학습도 굉장히 되어있다. 

 

스테이블 디퓨전 기반의 

DomoAI | AI-Powered Art Generator

DomoAI | AI-Powered Art Generator

2D를 가지고 3D를 넣어보려고 하는데 괜찮더라. 

wonder

Wonder AI

Wonder AI

키 값들이 나오고 카메라 값도나온다. 페이션이나 디테일한 이미지는 안되요. 이쪽 컨텐츠 쓰는 건 로봇을 많이 씁니다. 

키값 -> 뎁스값 ->원본 이미지 날리기 -> 카메라 값 

 

되게 훌륭한 솔류션이긴 한데 애니메이션에서 어떻게해야할지 고민된다. Gen-2 (프롬프트를 이용해서 이미지를 영상으로 만드는 것 ) = SORA 하면 소라가 점령 중임 . 소라 정도의 영상을 학습을 해야하는데 그것을 가지고 추론 되서 나오는연산의 양이 chat GPT 이 서비스를 돈을 얼마나 받아야하지 하고 생각을 할 것이다. Open AI가 

 

suno ai 

Suno AI

Suno AI

노래를 할 때 가사를 할때 그런 식의 가사를 입력을 하고 kpop스타일로 한다 EDM 하드락 으로 한다 장르나 보컬도 남성이 냐 아니냐 음악이 확 나온다. 음악이 되게 좋다. 이런 것들이 하고 있다. 

 

Claude

Claude

시나리오 형태로 대사로 바꿔 달라고 하면 정말 잘 바꿔준다. 내가 생각한 아이디 초안을 구체화 시키면 상당히 재미있는 작업들을 많이 할 수 있다. 

 

미드저니나 스테이블 디퓨전 프롬프트로 바꿔줘. 프롬프트를 써달라고 하면 써줌. chat GPT나 Claude 3 두개를 섞어서 쓰긴한다.

 

AI의 한계를 경험해봐야한다. 어쨋든 많이 해봐야한다. 그 안에서 이거는 쓸만한 것 같은데 라는 것들을 그 안에서 찾아내야 한다. 그런 측면에서 

 

생각보다 잘 안나올 수가 있고 여러 서비스와 계속 테스트를 해보고 어떤 경향이 있고 그런 판단을 해야한다. 이것들을 쓸 수 있는지 갑자기 쓰라고 하면 AI 그림을 그리고 프로세스하고는 AI는 되게 다르다. 기존에 했던 선형적인 작업 방식은 달라야한다. 이거를 익숙하게 체득을 해놓고 하지 않으면 할 수가 없다. 앞으로는 aI는 점점고도로 발달 할 것이고 인간의 여역에 침범하고 우리는 어떻게 기술을 섞느냐는 거다. 순서도 좋고 종류도 좋고 결과 등

 

AI 한계도 인식하고 나의 한계도 인식하는 게 좋다. 

AI에게 지지 않으려고 한다. AI에게 맡기는 순간 잃는다는 자괴감과 두려움이 생긴다. 이길 수 없는 영역을 이기려 하면 AI가 잘 그린거를 망치려한다. 받아들여야지 하는 등을 봄

 

나의 의도-> 고도화되고 고도화 되고 해가지고 인간은 의도 하나 밖에 남지 않을 것이다. AI 아무리 발전을 하고 하더라도 나의 의도를 관철을 시킬 수 있을 것이다. 의도가 약하고 없어지면 누군가의 기술적 부분을 선택하게 됩니다. 앞으로는 그 영역들이 줄어들 것이다. 결국 AI에게 먹힌다. 의도를 찾아 의도가 뭐야!!! 공부도 해!!!!! 메트릭스 배터리 되고 싶지 않아 ㅠㅠㅠㅠㅠㅠㅠㅠㅠ 응헝 ㅠㅠㅠ