[V-Tuber] How to create 3D V-Tuber Model (A to Z)
페이셜 리깅 (AppleARKit & 52 Blendshape)에 대해 그동안 잘못 이해했던 것들
페이셜 리깅이란?
리깅이란, 정적인 어떠한 이미지를 동적으로 변동하기 위해 필요한 사전작업을 의미한다.
버튜버 모델링에서 말하는 "페이셜 리깅"이란, AppleARKit & 52 Blendshape 기술을 통해 구현된 Shape Key 메쉬 변형 애니메이션이다. 즉, 본리깅이 아니다.
가장 먼저 짚고 넘어가야 할 점은 Apple ARKit의 52 Blendshape은 실시간 스켈레톤 메쉬 컨트롤 기술이 아니라는 것이다. ARKit은 주로 iOS 기기에서 얼굴을 인식해, 실시간으로 52개의 표정 데이터를 제공한다. 특히 Blender에서 V-Tuber 모델을 제작할 때는 FBX 포맷을 활용해 Shape Key를 지정하는데, 여기서 중요한 점은 본리깅과 Apple ARKit기반의 52 Blendshape은 전혀 다른 기술이라는 것이다. Blendshape이란, 52개의 사전 지정된 Shape Key값을 조합하여 현재 얼굴 표정을 나타낸다. 처음에는 이 기술을 Unreal Engine의 MetaHuman과 같은 스켈레톤 리깅 방식으로 잘못 이해했는데, ARKit의 Blendshape 기술은 MetaHuman처럼 본(Skeleton) 기반의 정밀한 리깅이 아니라, Shape Key를 활용한 메쉬 변형 애니메이션에 가까웠다.
- 버튜버 모델링에서 사용하는 VRM 기반 페이셜 리깅이란, VRM 포맷을 기반으로 하는 AppleARKit & 52 Blendshape 기술로 Shape key를 기반으로 하는 애니메이팅 기술이다.
- Blender를 통한 V-Tuber 3D Modeling 기술은 FBX 포맷 기반으로 Shape key를 지정한 애니메이팅을 위해 사용되며, 본리깅을 통한 AppleARKit & 52 Blendshape 구현은 불가능하다.
V-Tuber 모델링도 본리깅을 사용한다고?
VRM 포멧은, 본리깅, AppleARKit & 52 Blendshape을 복합적용 하여 활용한다.
위 내용만 보면 버튜버 모델링은 본리깅을 안 쓰는 것처럼 들리지만, V-Tuber 모델링도 본리깅을 사용한다. 처음 버튜버 모델링을 하는 모델러(다른 업종의 모델링 경험이 있는) 들은 기존 모델링 파일을 구매하여 FBX 파일을 열어봤을 것이다. 이때 가장 당황스러운 것은, 눈앞에 보이는 수많은 본리깅 들이다. 결론부터 말하자면, 몸의 움직임 (머리와 목을 포함한)은 본리깅을 통해 구현되며, 머리카락, 의상 및 악세서리의 움직임 또한 본리깅으로 구현된다. AppleARKit을 기반으로 모션캡쳐를 구현할 때 사전 정의 되어있는 조인트 포인트와 본 구조에 대한 상세한 정보는 애플 공식 문서에서 확인해 볼 수 있다 [7].
VRM이란?
VRM 포맷은 3D 아바타를 위한 표준으로, VRM의 공식 개발사의 홈페이지에 소개되어 있는 VRM의 작동 방식을 보여주는 다이어그램으로 VRM이라는 형식이 유니티의 prefeb 객체와 어떻게 연결되고 상호작용 하는지를 보여주고 있다. VRM 포맷은 Unity의 PreFeb 객체를 기반으로 작동하며, Unity 이외의 툴과는 완전한 호환성을 보장할 수 없다는 것이다. VRM 포멧은 본리깅과 ARKit의 52Blendshape을 지원하며, V-tuber 모델링에 있어서는 얼굴의 표정은 AppleARKit 기반의 52Blendshape를 사용하고, 신체의 움직임은 본리깅을 통해 구현한다.
Meta Human (Unreal Engine)
일단 내가 가장 처음 접했던 Apple AR Kit 기술은 Unreal Engine의 Live Link 기술이었기 때문에 당연히 Rigify를 통해 페이셜 리깅을 진행 하여 구현하는 것으로 혼동을 했었다. Unity 또한 Live Link 기술을 지원하기 때문에, AppleARKit 기반의 52Blendshape라는 기술명을 접했을 때 자연스럽게 Rigify와 비슷한 본리깅을 생각했다.
52Blendedshpe 모델링 파이프라인
1. Mesh & Texture Design
3D Mesh 설계는(영화, 애니메이션, 게임, 제품디자인 등 분야를 막론하고) 3D 관련 작업을 시작하는 첫 번째 파이프 라인의 시작점이다. 버추얼 모델링은 유니티를 기반으로 작동하기 때문에, 폴리곤 기반 모델링을 사용한다. Blender 3D Modeling의 입문 강의로 자주 언급되는 영상[1]. 기본적인 메쉬 모델링을 진행하게 되면, 버추얼 모델링 또한 실시간 애니메이팅 생성 기술의 일종이기 때문에 리토폴로지(re-topology)작업은 필수이다 [2, 3]. 리토폴로지 작업 이후 텍스쳐를 입히기 위한 사전 작업으로 UV 매핑을 진행해 주도록 하자 [4, 5, 6].
여기까지는 일반적인 모델링 작업과 크게 다르지 않다. 문제는 이 이후의 작업들인데, VRM을 근원기술로 하는 여러 툴들 (VTube Studio, VSeeFace, Warudo, Rokoko 등)의 공통문서가 없어서 이 이후의 작업이 어떠한 파이프라인을 기반으로 진행되는지 파악이 정말 힘들었다.
2. FBX 파일에 사전 정의된 Shape key명 & 에니메이팅 기록
캐릭터의 모델을 만든 이후, AppleARKit에서 사전 정의한 52Blendshape명을 기준으로 Shape Key를 만들어 주도록 한다. 상세한 기술적 문서는 참고문헌에서 확인해 볼 수 있다 [8, 9, 10]. 2021년 제작된 VRoid 샘플 모델 자료 또한 참고자료에서 확인해 볼 수 있었으며 [11], 페이셜 리깅을 구현하는데에 있어서 본리깅이 보조로 사용된 예제를 찾아볼 수 있었다 [12].
Autodesk Maya에서 Shape Key를 지원하지 않는 것으로 알고 있었는데, 공식적으로 Autodesk Maya는 Shape Key를 지원한다 [13, 14]. 따라서, 본인이 Maya를 주로 사용하는 모델러라면, 호환성을 이유로 블랜더를 사용할 필요는 없다. 다만 애니메이팅 쉐이더 (NiloToonURP, lilToon 등)의 쉐이더를 통한 실시간 모델링 확인 작업은 불편할 수 있다. 또한 대부분의 V-Tuber 모델링은 hand painting textures를 사용하기 때문에, 마야에서 즉각적인 3D 텍스쳐의 수정이 불편할 수 있다.
VRChat과 같은 플랫폼에서도 사용되는 VRM 모델링은,
3. 헤어, 의상 등의 물리기반 랜더링(조인트 리깅) 진행
4. FBX Export
FBX 포멧은 기본적으로 카메라와 World setting을 포함한 Scene의 형태를 저장한다. 따라서 FBX 포멧으로 아바타를 내보낼 때, 필요한 설정 두 가지가 있다. Apply Scalings 설정을 All local에서 Fbx units으로 변경해 준다. Leaf bone는 추가적인 본을 생성하기 때문에 제거하고 내보내기를 한다 [15].
5. 유니티에서 VRM 변환작업 실행
Unity에서 VRM을 정상적으로 사용 할 수 있도록 플러그인이 포함된 패키지 파일을 불러오자 [16, 17].
6. 유니티 기반 버추얼 툴 (VSeeFace, Warudo 등)에서 실행
Reference
[1] Blender Guru. (2023). "Blender Tutorial for Complete Beginners" https://youtu.be/B0J27sf9N1Y?si=wMJoRqCkYsou49HK
[2] CG Boost (2022). "Retopology in Blender (Beginner Tutorial)" https://youtu.be/X2GNyEUvpD4?si=jUAVmtFQHig-WXEe
[3] CG Cookie (2023). "The Complete Guide to Retopology with RetopoFlow 3 in Blender" https://youtu.be/9OjS2rU-Jr0?si=UPATjALo6DszJWnL
[4] On Mars 3D (2021). "How to UV Map Complex Objects in Maya" https://youtu.be/JiEQNDZapXs?si=d59oZHihjYWdmIZH
[5] On Mars 3D (2023). "Blender 4.0: How to UV Unwrap Anything" https://youtu.be/XleO7DBm1Us?si=ZsfYSam2AemAWw97
[6] 3Dnot2D (2023). "UV Unwrapping Explained for Beginners | Blender Tutorial" https://youtu.be/7JUNlj6mR0U?si=b5HajRD4KcMDPTem
[7] Apple Inc (2024). "Validating a Model for Motion Capture,"
[8] Unknown. (n.d.). "ARKit Face Blendshapes (Perfect Sync)," Retrieved October 19, 2024, from https://arkit-face-blendshapes.com
[9] Apple Inc (2024). "ARFaceAnchor.BlendShapeLocation," https://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation
[10] はいぬっか (2020). "はいぬっかメモ キャラクターモデルをVR空間で眺めたい," https://hinzka.hatenablog.com/entry/2020/06/15/072929
[11] hinzka (2021). "52blendshapes-for-VRoid-face," https://github.com/hinzka/52blendshapes-for-VRoid-face
[12] polywink (2018). "MOTION CAPTURE AVATAR FROM IPHONE," https://polywink.com/en/15-facial-animation-for-iphone-x.html
[13] Autodesk Inc (2024) "Key the target shape weights," https://help.autodesk.com/view/MAYAUL/2025/ENU/?guid=GUID-F679B46B-00E5-4643-848F-D52F24718B57
[14] Rob redman (2017). "Maya blend shape tutorial (blendshapes)," https://youtu.be/C29DJYBLh_M?si=r5ee0jr2Ls3lF39H
[15] CephyGlitch (2024). "HOW TO CONVERT FBX FROM BLENDER TO VRM" https://youtu.be/sSBFUj-D0U4?si=9sVIkzjhuQi3rmRI
[16] ARXSystem (2022). "rongCha UniVRM v0.13" https://m.cafe.naver.com/ca-fe/web/cafes/dlc0921/articles/2692?tc=shared_link&useCafeId=false
[17] VRM Consortium (2024). "UniVRM" https://github.com/vrm-c/UniVRM
[18] "[Unity] Convert Humanoid FBX File into VRM," https://styly.cc/tips/unity-fbx2vrm/
[19] "[버추얼 모션캡쳐 워크숍] 블렌더," https://ojh0616.tistory.com/m/647
'TechArt' 카테고리의 다른 글
| Principle of VTuber Pipeline - 기획/연출편 (0) | 2026.08.02 |
|---|---|
| Principle of VTuber Pipeline - 시작하며 (0) | 2026.08.02 |
