Unreal의 직접 추적

계층 구조는 열거형으로 EHandKeypoint 설명됩니다.

Get Motion Controller Data 함수를 사용하여 사용자의 손에서 이 모든 데이터를 가져올 수 있습니다. 이 함수는 XRMotionControllerData 구조를 반환합니다. 다음은 XRMotionControllerData 구조를 구문 분석하여 손 조인트 위치를 가져오고 각 조인트의 위치에 디버그 좌표계를 그리는 샘플 청사진 스크립트입니다.

구조가 유효하고 손인지 검사 것이 중요합니다. 그렇지 않으면 위치, 회전 및 radii 배열에 대한 액세스에서 정의되지 않은 동작을 얻을 수 있습니다.

열거형은 EWMRHandKeypoint 손의 뼈 계층 구조를 설명합니다. 청사진에 나열된 각 손 키포인트를 찾을 수 있습니다.

전체 C++ 열거형은 다음과 같습니다.

enum class EWMRHandKeypoint : uint8
{
	Palm,
	Wrist,
	ThumbMetacarpal,
	ThumbProximal,
	ThumbDistal,
	ThumbTip,
	IndexMetacarpal,
	IndexProximal,
	IndexIntermediate,
	IndexDistal,
	IndexTip,
	MiddleMetacarpal,
	MiddleProximal,
	MiddleIntermediate,
	MiddleDistal,
	MiddleTip,
	RingMetacarpal,
	RingProximal,
	RingIntermediate,
	RingDistal,
	RingTip,
	LittleMetacarpal,
	LittleProximal,
	LittleIntermediate,
	LittleDistal,
	LittleTip
};

Windows.Perception.사람 각 열거형 사례의 숫자 값을 찾을 수 있습니다. HandJointKind 테이블입니다.

손 추적 지원

손 추적 Windows Mixed Reality에서 지원 손 추적을 추가하여 청사진에서 손 추적 > 을 사용할 수 있습니다.

이 함수는 디바이스에서 손 추적이 지원되는지 여부와 false 손 추적을 사용할 수 없는 경우를 반환 true 합니다.

C++:

포함 .WindowsMixedRealityHandTrackingFunctionLibrary.h

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::SupportsHandTracking()

손 추적 가져오기

GetHandJointTransform을 사용하여 손에서 공간 데이터를 반환할 수 있습니다. 데이터는 모든 프레임을 업데이트하지만 프레임 내에 있는 경우 반환된 값이 캐시됩니다. 성능상의 이유로 이 함수에 무거운 논리를 사용하지 않는 것이 좋습니다.

C++:

static bool UWindowsMixedRealityHandTrackingFunctionLibrary::GetHandJointTransform(EControllerHand Hand, EWMRHandKeypoint Keypoint, FTransform& OutTransform, float& OutRadius)

GetHandJointTransform의 함수 매개 변수에 대한 분석은 다음과 같습니다.

• 손 – 사용자가 왼쪽 또는 오른쪽일 수 있습니다.
• 키포인트 - 손의 뼈입니다.
• 변환 – 뼈 베이스의 좌표 및 방향입니다. 다음 뼈의 베이스를 요청하여 뼈 끝에 대한 변환 데이터를 가져올 수 있습니다. 특별한 팁 뼈는 말단의 끝을 제공합니다.
• **반지름 - 뼈 밑의 반경입니다.
• **반환 값 - 뼈가 이 프레임을 추적하면 true이고, 뼈가 추적되지 않으면 false입니다.

손 광선에 대한 데이터를 얻으려면 이전 섹션의 동작 컨트롤러 데이터 가져오기 함수를 사용해야 합니다. 반환된 구조에는 손 광선을 만드는 데 사용할 수 있는 두 가지 매개 변수인 Aim Position 및 Aim Rotation이 포함되어 있습니다. 이러한 매개 변수는 팔꿈치가 지시하는 광선을 형성합니다. 당신은 그들을 데리고 가리키는 홀로그램을 찾아야한다.

다음은 손 광선이 위젯에 닿는지 여부를 확인하고 사용자 지정 적중 결과를 설정하는 예제입니다.

청사진에서 손 광선을 사용하려면 Windows Mixed Reality HMD에서 작업을 검색합니다.

C++에서 액세스하려면 호출 코드 파일의 맨 위에 포함합니다 WindowsMixedRealityFunctionLibrary.h .

열거형

또한 Blueprints에서 사용할 수 있는 EHMDInputControllerButtons의 입력 사례에 액세스할 수 있습니다.

C++에서 액세스하려면 다음 열거형 클래스를 EHMDInputControllerButtons 사용합니다.

enum class EHMDInputControllerButtons : uint8
{
	Select,
	Grasp,
//......
};

다음은 적용 가능한 두 열거형 사례에 대한 분석입니다.

• Select - 사용자가 Select 이벤트를 트리거했습니다.
  • HoloLens 2에서 에어 탭, 응시 및 커밋 또는 음성 입력이 활성화된 "선택"이라고 말하여 트리거됩니다.
• 파악 - 사용자가 트리거한 Grasp 이벤트입니다.
  • 홀로그램에서 사용자의 손가락을 닫아 HoloLens 2에서 트리거됩니다.

아래 열거형을 통해 EHMDTrackingStatus C++에서 손 메시의 추적 상태 액세스할 수 있습니다.

enum class EHMDTrackingStatus : uint8
{
	NotTracked,
	//......
	Tracked
};

다음은 적용 가능한 두 열거형 사례에 대한 분석입니다.

• NotTracked –- 손이 보이지 않음
• 추적 – - 손은 완전히 추적됩니다.

구조체

PointerPoseInfo 구조체는 다음 손 데이터에 대한 정보를 제공할 수 있습니다.

• 원점 – 손의 원점
• 방향 – 손의 방향
• 위쪽 – 손의 위쪽 벡터
• 방향 – 방향 쿼터니언
• 추적 상태 – 현재 추적 상태

아래와 같이 Blueprints를 통해 PointerPoseInfo 구조체에 액세스할 수 있습니다.

또는 C++를 사용하여 다음을 수행합니다.

struct FPointerPoseInfo
{
	FVector Origin;
	FVector Direction;
	FVector Up;
	FQuat Orientation;
	EHMDTrackingStatus TrackingStatus;
};

함수

아래에 나열된 모든 함수는 모든 프레임에서 호출할 수 있으므로 연속 모니터링이 가능합니다.

1. 포인터 포즈 정보 가져오기는 현재 프레임의 손 광선 방향에 대한 전체 정보를 반환합니다.

청사진:

C++:

static FPointerPoseInfo UWindowsMixedRealityFunctionLibrary::GetPointerPoseInfo(EControllerHand hand);

2. 현재 프레임에서 손을 잡으면 Is Grasped 가 true를 반환합니다.

청사진:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsGrasped(EControllerHand hand);

3. 사용자가 현재 프레임에서 Select를 트리거한 경우 Select Pressed 가 true를 반환합니다.

청사진:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsSelectPressed(EControllerHand hand);

4. 현재 프레임에서 이벤트 또는 단추가 트리거되면 Button Clicked 가 true를 반환합니다.

청사진:

C++:

static bool UWindowsMixedRealityFunctionLibrary::IsButtonClicked(EControllerHand hand, EHMDInputControllerButtons button);

5. Get Controller Tracking Status는 현재 프레임의 추적 상태 반환합니다.

청사진:

C++:

static EHMDTrackingStatus UWindowsMixedRealityFunctionLibrary::GetControllerTrackingStatus(EControllerHand hand);

Windows Mixed Reality

그런 다음, 다음 이벤트를 구독하는 코드를 추가해야 합니다.

OpenXR

OpenXR에서 제스처 이벤트는 입력 파이프라인을 통해 추적됩니다. 장치는 손 조작을 사용하여 탭 및 홀드 제스처를 자동으로 인식할 수 있지만 다른 제스처는 인식할 수 없습니다. OpenXRMsftHandInteraction Select 및 Grip 매핑으로 이름이 지정됩니다. 구독을 사용하도록 설정할 필요가 없으며 다음과 같이 Project 설정/Engine/Input에서 이벤트를 선언해야 합니다.

호출 코드 파일에 추가하여 WindowsMixedRealitySpatialInputFunctionLibrary.h Windows Mixed Reality 공간 입력 및 C++ 함수 아래에서 Blueprint 함수를 찾을 수 있습니다.

열거형

청사진:

C++:

enum class ESpatialInputAxisGestureType : uint8
{
	None = 0,
	Manipulation = 1,
	Navigation = 2,
	NavigationRails = 3
};

함수

함수를 사용하여 제스처 캡처를 CaptureGestures 사용하거나 사용하지 않도록 설정할 수 있습니다. 활성화된 제스처가 입력 이벤트를 발생하면 함수는 제스처 캡처가 성공했는지, 오류가 false 있는지를 반환 true 합니다.

청사진:

C++:

static bool UWindowsMixedRealitySpatialInputFunctionLibrary::CaptureGestures(
	bool Tap = false,
	bool Hold = false,
	ESpatialInputAxisGestureType AxisGesture = ESpatialInputAxisGestureType::None,
	bool NavigationAxisX = true,
	bool NavigationAxisY = true,
	bool NavigationAxisZ = true);

다음은 Blueprints 및 C++에서 찾을 수 있는 주요 이벤트입니다.

const FKey FSpatialInputKeys::TapGesture(TapGestureName);
const FKey FSpatialInputKeys::DoubleTapGesture(DoubleTapGestureName);
const FKey FSpatialInputKeys::HoldGesture(HoldGestureName);

const FKey FSpatialInputKeys::LeftTapGesture(LeftTapGestureName);
const FKey FSpatialInputKeys::LeftDoubleTapGesture(LeftDoubleTapGestureName);
const FKey FSpatialInputKeys::LeftHoldGesture(LeftHoldGestureName);

const FKey FSpatialInputKeys::RightTapGesture(RightTapGestureName);
const FKey FSpatialInputKeys::RightDoubleTapGesture(RightDoubleTapGestureName);
const FKey FSpatialInputKeys::RightHoldGesture(RightHoldGestureName);

const FKey FSpatialInputKeys::LeftManipulationGesture(LeftManipulationGestureName);
const FKey FSpatialInputKeys::LeftManipulationXGesture(LeftManipulationXGestureName);
const FKey FSpatialInputKeys::LeftManipulationYGesture(LeftManipulationYGestureName);
const FKey FSpatialInputKeys::LeftManipulationZGesture(LeftManipulationZGestureName);

const FKey FSpatialInputKeys::LeftNavigationGesture(LeftNavigationGestureName);
const FKey FSpatialInputKeys::LeftNavigationXGesture(LeftNavigationXGestureName);
const FKey FSpatialInputKeys::LeftNavigationYGesture(LeftNavigationYGestureName);
const FKey FSpatialInputKeys::LeftNavigationZGesture(LeftNavigationZGestureName);


const FKey FSpatialInputKeys::RightManipulationGesture(RightManipulationGestureName);
const FKey FSpatialInputKeys::RightManipulationXGesture(RightManipulationXGestureName);
const FKey FSpatialInputKeys::RightManipulationYGesture(RightManipulationYGestureName);
const FKey FSpatialInputKeys::RightManipulationZGesture(RightManipulationZGestureName);

const FKey FSpatialInputKeys::RightNavigationGesture(RightNavigationGestureName);
const FKey FSpatialInputKeys::RightNavigationXGesture(RightNavigationXGestureName);
const FKey FSpatialInputKeys::RightNavigationYGesture(RightNavigationYGestureName);
const FKey FSpatialInputKeys::RightNavigationZGesture(RightNavigationZGestureName);