[최종] 버블아트 XR 팹랩 재현을 위한 물리기반 시·촉각 렌더링

버블아트 XR 팹랩 재현을 위한 물리기반 시·촉각 렌더링(Xicom Lab)

한국연구재단 기초연구

물리기반 비눗방울 렌더링으로 구현된 버블아트 팹랩 시스템입니다. VR HMD와 Leap Motion으로 도구선택과 핸드모션이 가능하며 햅틱반응과 바람센서로 생동감 있는 비눗방울을 느낄 수 있습니다. 또한 비눗방울 색상과 배경 콘텍스트를 변경할 수 있습니다.

총 연구기간 : 2018.06.01 ~ 2021.05.31(36개월)

참여 연구기간 : 2020.01.04 ~ 2021.05.31(18개월)

수행역할 : Leap Motion Interaction, Hand Motion, Modeling

---

프로젝트 결과물

• Physically based soap bubble synthesis for VR
  (2021) Applied Sciences, 11(7), 3090. (SCI(E), JCR 2019 IF 2.474, Q2 inngineering, multidisciplinary
• 대학혁신지원사업 공모전 은상
• Sungkyul Creative Challenge 최우수
• 창의 융합 튜터링 최우수

개발환경

• OS : Windows 10
• Tool : Unity 3D 2019.3.5, 3ds Max 2015
• SDK : Steam VR 1.13.10
• Framework : Steam VR 2.6.0b4, Shader Graph 7.2.0
• Device : HTC VIVE Pro, Leap Motion, Haptics Glove

주요기능

• VR (Virtual Reality)
• 물리기반 버블아트 (with movion vector texture)
• 도구 (빨대 0.7, 빨대 1.3, 후프, 튜브)
• 핸드모션 (Clap, Grab, Fanning, Bouncing, Piercing)

연구방법 

• Unity 3D 2019.3.5 (Shader Graph), HTC VIVE PRO, Leap Motion
• 주간세미나(대면), Zoom Meeting(비대면), 연구 진행일지

2020년(3차년도)

• 선행연구자료 기반 Physically-based Rendering Soap Bubble 개발
• -Hoop, Straw, Tube Modeling, Leap Motion Interaction 개발 

2021년(4차년도)

• Grab, Piercing, Fanning, Bounce, ,Clap Hand Motion 개발
• 국제학술지(SCI) 논문 게재

역할

• Leap Motion Interaction, Hand Motion등 핵심 기술 개발
• 후프 비눗방울 모핑 모델링

• Leap Motion Interaction(Straw, Hoop, Tube)
• Hand Motion(Clap, Bounce, Grab, Piercing, Fanning)

느낀점

1. 립모션으로 작업을 들어가기전 2D상에서의 움직임을 3D상으로 자연스럽게 움직이도록 구현하는것이 첫번째 목표였습니다. 특히 후프의 경우 사람의 x축 기준으로만 비눗방울이 나왔는데 이를 x,y,z축 그리고 상하좌우 모든 방향으로 움직임에 따라 비눗방울이 알맞게 생성되도록 구현해야했는데 이부분에서 많은 고민을 했습니다. 그런 와중에 움직임의 절댓값으로 표현하면 어떨까 라는 생각이 들어 정지되어있는 순간의 위치와 이동 후의 위치의 차이를 계산하여 가장 많이 움직인 방향을 특정해내고, 방향을 계산해 비눗방울이 자연스럽게 나오도록 구현했습니다. 이부분에서 뿌듯함을 많이 느꼈습니다.

Leap Motion Interaction

VR LeapMotion

Hoop

Straw

Tube

 

Hand Motion

Clap

Grab

Fanning

Bounce

Piercing

Github

https://github.com/CheongHo-Lee/PhysicallybasedSoapbubble-BubbleArtXR

GitHub - CheongHo-Lee/PhysicallybasedSoapbubble-BubbleArtXR: Unity3D 버블아트 XR 팹랩 재현을 위한 물리기반 시·

Demo

https://www.youtube.com/watch?v=bOMhpWCpeuc 

기술서 및 제출 문서

https://drive.google.com/drive/folders/1_A2fPUGDMsbhHKDqI_lyhd18OdFR8rev?usp=sharing 

버블아트 XR 팹랩 재현을 위한 물리기반 시·촉각 렌더링 - Google Drive