WWDC 2021 - AR Quick Look, meet Object Capture

원본 영상: https://developer.apple.com/videos/play/wwdc2021/10078/

 

Creating 3D content

• 이전에는 AR Quick Look을 위한 3D 콘텐츠를 제작하려면 일반적으로 비용이 많이 들고 접근하기 힘든 3D 모델링 소프트웨어를 사용해야 했습니다.
• 올해는 USDZ 파일을 생성하는 대안으로 실제 이미지를 사용하여 고품질 3D 모델을 만들 수 있는 RealityKit의 Object Capture API를 제공합니다.
• 모델에 탭 트리거와 같은 사용자와의 상호 작용 동작을 추가하려면 Reality Composer를 사용할 수 있습니다.

• 예를 들어 수제 도자기 화분을 판매한다면 위와 같은 가상의 모델을 만들어 미리 배치해 볼 수 있도록 제공할 수 있습니다.
• 위의 이미지에서는 왼쪽이 실제 사물이고 오른쪽은 가상의 모델이지만 거의 차이가 나지 않을 정도로 정교합니다.
• 화분을 탭 하여 기르는 식물을 변경하는 등의 상호작용도 가능합니다.

• 위와 같은 결과를 만들기 위해서는 우선 단조로운 배경에서 모든 각도에의 도자기 화분을 촬영해야 합니다.

• 그다음 Object Capture를 사용하면 USDZ 모델을 생성할 수 있습니다.
• 이 단계를 여러 식물에 대해 반복하며 여러 개의 모델을 생성합니다.

• 그다음 Reality Composer에서 첫 번째 모델을 추가합니다.
• 원하는 모델 이외의 모델에서는 "시작 시 숨기기" 동작을 선택해서 하나의 모델만 표시합니다.
• 그다음 "숨기기"와 "표시" 작업과 탭 트리거를 추가하여 누를 때마다 다른 모델이 표시되도록 합니다.
• 이후 내보내기를 통해 AR Quick Look에서 확인할 수 있습니다.

 

Content best practices

• Object Capture를 사용하여 USDZ 파일을 내보낼 때는 설정을 결정하는 것이 중요합니다.
• 위의 표를 참조하면 시각적 품질과 파일 크기 사이가 반비례하는 것을 알 수 있습니다.
• 어떤 설정을 선택하여도 항상 동일한 알고리즘을 사용하여 고품질 결과물을 생성한 다음, 지정된 설정에 따라 메쉬를 줄이고 텍스처 다운 샘플링을 합니다.
• Reduced와 Medium은 대부분의 경우 적절한 선택이므로, AR Quick Look용 콘텐츠를 만들 때 먼저 이 옵션들을 선택하는 것이 좋습니다.

• Reduced 설정은 파일 크기가 가장 작은 모델이며, 다운로드 시간을 줄여주기 때문에 웹 배포에 이상적입니다.
• 또한 여러 콘텐츠를 함께 보여주기에도 좋습니다.

• Reduced와 Medium 설정 간의 품질에 상당한 차이가 있는 특정 상황에서는 Medium을 사용하는 것이 적합할 수 있습니다.
• 그러나 파일 크기가 크기 때문에 여러 모델을 함께 결합하지 않는 것이 가장 좋습니다.
• 또는 다운로드가 필요하지 않도록 앱 내에 이미 모델을 두는 경우에 적절합니다.

• 세부 설정을 모두 평가하고 사용 사례에 따라 결정을 내리는 것이 좋습니다.
• 다양한 iOS 하드웨어에서 테스트하여 호환성과 성능을 확인해야 합니다.
• 어떤 설정이든 좋은 입력 이미지를 사용해서 만드는 것이 좋기 때문에 항상 선명한 이미지를 찍는 것이 중요합니다.
• 인접한 사진 사이에는 70% 이상이 겹치도록 사진을 촬영하는 것이 좋습니다.

 

Integrate AR Quick Look

• 앱에서 AR을 사용하려면 QLPreviewController를 만들어서 호출하면 되며, "self"를 dataSource로 할당하면 일반 뷰 컨트롤러처럼 표시할 수 있습니다.
• 이를 위해서는 Quick Look에 표시할 미리 보기 수 와 각각이 표시하는 콘텐츠에 대해서 제공하는 QLPreviewControllerDataSource 프로토콜을 구현해야 합니다.
• AR 콘텐츠의 스케일링을 비활성화하려면 allowContentScaling 속성을 "false"로 설정해야 합니다.

• 웹사이트에서 AR Quick Look을 제공하는 경우 a태그를 이용하여 콘텐츠를 제공할 수 있으며, rel="ar" 속성을 포함해야 합니다.
• 그러면 AR 배지 아이콘이 추가되어 사용자가 알 수 있습니다.
• AR에서 콘텐츠 크기 조정을 비활성화하려면 allowContentScaling을 0으로 설정해야 합니다.

• 웹사이트에 포함된 경우 Apple Pay나 사전 주문과 같은 사용자 지정 작업을 AR Quick Look에 직접 표시하여 고객이 주문을 수행할 수 있도록 제공할 수 있습니다.

• 지금까지 알아본 것을 요약하면 AR Quick Look을 사용하면 앱이나 웹에 AR 경험을 쉽게 제공할 수 있습니다.
• 또한 AR Quick Look의 몇 가지 속성을 원하는 데로 수정하거나 Apple Pay나 임의의 다른 구매 기능과도 연동할 수 있습니다.

 

Real-world applications

• Object Capture를 통해 사람들이 3D 콘텐츠를 만들고 배포할 수 있습니다.
• 또한 Reality Composer를 사용하면 여러 개의 객체가 있는 장면을 만들거나 상호작용을 추가할 수 있습니다.
• AR Quick Look은 iOS의 앱과 웹사이트에서 콘텐츠를 시각적으로 볼 수 있도록 제공하며 macOS에서도 사용할 수 있습니다.
• 이런 기능들을 사용하여 실제로 사용할 수 있는 예에 대해서 알아보겠습니다.

• 첫 번째 예제로 전자 상거래가 있습니다.
• AR Quick Look으로 신발, 액자, 가구 등의 3D 모델을 고객이 자신의 공간에서 체험할 수 있습니다.
• Object Capture를 사용하여 GOAT 앱 팀이 만든 Fragment Design x Air Jordan 3 운동화와 같이 3D 경험이 없어도 제품의 3D 모델을 쉽게 만들 수 있습니다.
• Reality Composer를 활용하여 가상의 상품에 다양한 상호작용을 추가할 수 있습니다.

• 또 다른 예제는 박물관입니다.
• 실제 유물은 모든 각도에서 보기가 어렵지만 3D로 캡처된 콘텐츠는 가상의 공간에서 모든 각도에서 볼 수 있습니다.
• AR Quick Look을 통해 원격으로 박물관을 둘러볼 수 있을 뿐만 아니라, 가상 세계에서만 경험할 수 있는 형태의 전시를 만들고 음성 해설을 넣는 것도 가능합니다.

• Object Capture 및 AR Quick Look의 또 다른 훌륭한 사용 사례는 교육 분야입니다. 
• 기존의 2D 다이어그램과 비디오를 벗어나 3D로 가르칠 수 있습니다.
• Object Capture로 생성된 3D 모델을 활용하여 수업을 만들 수 있으며 상호 작용을 제공할 수도 있습니다.

• 이처럼 교사가 수업 계획을 세우는 데에 사용할 뿐만 아니라, 아이들이 AR로 창의력을 표현할 수도 있습니다.
• 아이들이 물체를 찍어 스스로 스캔하면 다양한 창작물을 가상의 공간에서 공유할 수 있습니다.
• 또한 Reality Composer를 사용하여 말풍선을 추가하는 것처럼 상호 작용을 추가할 수 있습니다.

 

목차: https://nyancoder.tistory.com/2