Entrada avançada do Emulador do HoloLens e do Simulador de Mixed Reality

A maioria dos utilizadores do emulador só terá de utilizar os controlos de entrada básicos do HoloLens Emulator ou do simulador de Windows Mixed Reality. Os detalhes abaixo são para utilizadores avançados que encontraram a necessidade de simular tipos de entrada mais complexos.

Conceitos

Para começar a controlar a entrada virtual do Emulador holoLens e do simulador de Windows Mixed Reality, primeiro deve compreender alguns conceitos.

Movimento refere-se a controlar e alterar a posição e a orientação de algo na cena. Para um objeto controlável direcionado, o movimento é controlado com rotação e tradução (movimento) ao longo de três eixos.

• Yaw: vire para a esquerda ou para a direita.
• Tom: Vire para cima ou para baixo.
• Roll: Roll lado a lado.
• X: mover para a esquerda ou para a direita.
• Y: mover para cima ou para baixo.
• Z: avançar ou retroceder.

A entrada do controlador de movimento e gestos é mapeada de perto para dispositivos físicos:

• Ação: simula a ação de premir o indicador no polegar ou premir o botão de ação num controlador. Por exemplo, a entrada Ação pode ser utilizada para simular o gesto de toque de ar, para percorrer o conteúdo e para premir sem soltar.
• Gesto Bloom/System ou Home: o gesto de florescimento/sistema do HoloLens ou o botão Base de um controlador é utilizado para regressar à shell e para acionar ações do sistema.

As mãos têm uma representação rica em HoloLens 2. Além de serem rastreadas/não controladas e utilizáveis para gestos de condução, as mãos têm agora um modelo de estrutura articulado adequado a eles e exposto ao programador. O modelo de esqueleto tem 26 pontos controlados em cada mão.

• Conjunto: uma das 20 posições controladas para uma determinada mão controlada com um ponto associado em espaço 3d.
• Pose: uma coleção completa de todas as Articulações numa mão rastreada, 26 Juntas no total.

Atualmente, não expomos o controlo direto das posições conjuntas individuais através do emulador, mas pode defini-las através da API de simulação. Temos um conjunto de poses representativas úteis que o emulador lhe permite alternar entre si.

Também pode controlar o estado da entrada do sensor simulado:

• Reposição: devolve todos os sensores simulados aos respetivos valores predefinidos. A partir do HoloLens 2 Emulador, uma reposição pode ser confinada a uma ou a ambas as mãos. Interaja as mãos pretendidas com as teclas ou botões modificador (Alt(s) esquerdo e/ou direito ou o pára-choques esquerdo e/ou direito no gamepad).
• Controlo: percorre os modos de controlo posicional, incluindo:
  • Predefinição: o SO escolhe o melhor modo de controlo com base nos pedidos feitos pelo sistema.
  • Orientação: força o controlo apenas de Orientação, independentemente dos pedidos do sistema.
  • Posicional: força o controlo posicional, independentemente dos pedidos do sistema.

Tipos de entrada

A tabela seguinte mostra como cada tipo de entrada é mapeado para o teclado, rato e comando Xbox. Cada tipo tem um mapeamento diferente consoante o modo de controlo de entrada. Pode encontrar mais informações sobre os modos de controlo de entrada mais à frente neste documento.

Nota: os botões do controlador podem ser direcionados para uma mão/controlador ou para a outra através dos modificadores de destino manual.

Segmentação

Alguns dos conceitos de entrada acima estão por conta própria. A ação, Bloom/System, Reset e Tracking são conceitos completos, não precisam e não são afetados por quaisquer modificadores adicionais para segmentação. Os restantes conceitos podem ser aplicados a um de vários destinos. Introduzimos formas de especificar a que destino deve ser aplicado o comando. Em todos os casos, é possível especificar através da IU ou através de pressões de teclado, que objeto a destino. Em alguns casos, também é possível especificar diretamente com o comando xbox.

A tabela seguinte descreve as opções de segmentação e a forma de ativar cada uma delas.

A tabela seguinte mostra como cada modificador de destino mapeia cada um dos principais conceitos de entrada de movimento

Controlar uma aplicação

O seguinte conjunto de controlos é sugerido para utilização diária:

Utilizar um headset envolvente Windows Mixed Reality e comandos de movimento com o Emulador HoloLens 2

Ao utilizar um headset Windows Mixed Reality envolvente com o Emulador HoloLens 2, o movimento e a rotação são mapeados automaticamente para movimento e rotação de auscultadores. A posição e a orientação do controlador de movimento são mapeadas automaticamente para a posição e orientação da mão no emulador. A tabela abaixo lista as ações adicionais disponíveis ao utilizar um controlador de movimento.

Atalhos de teclado do Painel de Controlo de Simulação de Percepção

Pode aceder ao painel Controlo de Simulação de Perceção e ativar ou desativar os dispositivos de entrada do PC com os seguintes atalhos de teclado.

Ver também

• Instalar as ferramentas
• Utilizar o emulador do HoloLens
• Utilizar o simulador de Windows Mixed Reality