Condividi tramite


Configurare le funzionalità vocali

In questo articolo vengono descritte le funzionalità disponibili in Copilot Studio per IVR con Dynamics 365 Customer Service.

Per preparare l'agente ai servizi vocali, vedi Integrare un agente abilitato ai servizi vocali con Dynamics 365 Customer Service.

Per una panoramica dei servizi vocali, vedi Utilizzare la risposta vocale interattiva negli agenti.

Modalità Riconoscimento vocale e DTMF

Un agente abilitato alla voce è diverso da un agente che usa la chat. L'agente con comandi vocali include argomenti di sistema vocali specifici per la gestione di scenari vocali. Un agente che utilizza la chat utilizza la modalità testo come impostazione predefinita. Un agente abilitato alla voce utilizza la modalità Speech & DTMF. Le due modalità non sono compatibili tra loro.

L'ottimizzazione per la voce consente di creare agenti con funzionalità vocali in diverse modalità e garantisce che le funzionalità vocali vengano create correttamente.

Ottimizza per la voce

Se non hai avviato l'agente con il modello vocale, devi abilitare l'opzione Ottimizza per la voce nelle Impostazioni dell'agente.

  1. Con un agente aperto, vai a Impostazioni>Voce.

  2. Seleziona Ottimizza per la voce. Anche l'opzione Utilizza la voce come modalità di creazione principale è configurata per impostazione predefinita.

l'agente riceve i seguenti aggiornamenti quando abiliti le opzioni Ottimizza per la voce e Utilizza voce come modalità di creazione principale:

  • La possibilità di creare funzionalità vocali quando si passa da testo a Riconoscimento vocale & DTMF.
  • Gli argomenti relativi al sistema vocale Rilevamento silenzio, Discorso non riconosciuto e Pressione tastiera sconosciuta vengono aggiunti automaticamente per gestire gli scenari relativi alla voce.
  • Aumenta la precisione con i dati dell'agente (attivata per impostazione predefinita), che migliora la precisione del riconoscimento vocale.
  • Nessuna modifica al flusso dell'agente esistente, ad esempio l'argomento Menu principale per avviare conversazioni con trigger DTMF mappati.

Importante

  • L'impostazione Ottimizza per la voce modifica solo le funzionalità di creazione vocale, non l'impostazione del canale. Attiva il canale Telefonia per un agente con comandi vocali completi.
  • Inoltre, l'impostazione Ottimizza per la voce in un agente che non era stato configurato inizialmente per le funzionalità vocali, significa che l'agente non disporrà dell'argomento Menu principale (anteprima). È necessario ricreare quell'argomento, se necessario.

Disabilita l'ottimizzazione per la voce

Puoi disattivare Ottimizza per la voce nella creazione dell'agente se non si abilita il canale Telefonia. Dopo aver disattivato Ottimizza per la voce, otterrai le seguenti modifiche:

  • Nessuna creazione di agenti per le funzionalità vocali, come DTMF e intrusione.
  • La modalità predefinita è testo.
  • Nessun miglioramento al riconoscimento vocale, poiché non c'è riconoscimento vocale.
  • Nessun argomento di sistema relativo al riconoscimento vocale o all'argomento DTMF globale.

    Nota

    Alcuni argomenti potrebbero segnalare errori durante la pubblicazione se in altri argomenti si fa riferimento all'argomento DTMF disabilitato.

  • Nessuna modifica al flusso dell'agente e alle impostazioni del canale, poiché la disattivazione dell'ottimizzazione non disabilita il canale di telefonia.
  • L'abilitazione o disabilitazione dell'opzione Ottimizza per la voce non avrà effetto finché non pubblicherai l'agente. Se l'agente viene abilitato o disabilitato accidentalmente e passa da una modalità all'altra, hai tempo per risolvere il problema.

Importante

Se i tuoi canali di telefonia sono abilitati, la disattivazione di Ottimizza per la voce potrebbe causare problemi all'agente, poiché tutti i trigger DTMF vengono automaticamente disabilitati.

Utilizza la voce come modalità di creazione principale

La modalità Riconoscimento vocale e DTMF deve essere selezionata per ciascun nodo nella creazione di funzionalità vocali. Puoi selezionare la preferenza di creazione dell'agente come Usa la voce come modalità di creazione primaria. Questa impostazione garantisce che tutti i campi di input abbiano la modalità corretta. Se hai già abilitato Ottimizza per la voce, l'opzione Utilizza la voce come modalità di creazione principale è abilitata per impostazione predefinita.

Disponibilità messaggi

L'utilizzo della modalità testo o vocale può influire in modo diverso sul tuo canale.

Modalità testo Modalità vocale Canale di testo e voce dell'agente
Messaggio disponibile Messaggio vuoto Messaggio disponibile
Messaggio vuoto Messaggio disponibile Messaggio non disponibile

Riconoscimento vocale automatico personalizzato

Gli agenti con comandi vocali per un dominio specifico, ad esempio medico o finanziario, potrebbero disporre di utenti che utilizzano termini finanziari o gergo medico. Alcuni termini e gerghi risultano difficili da convertire da parlato a testo per l'agente con comandi vocali.

Per garantire che l'input vocale venga riconosciuto in modo accurato, puoi migliorare il riconoscimento vocale:

  1. Con l'agente aperto, seleziona Impostazioni>Voce.

  2. Seleziona Aumenta la precisione con i dati dell'agente per abilitare le impostazioni predefinite di riconoscimento vocale automatico personalizzate dell'agente.

  3. Seleziona Salva per applicare le modifiche.

  4. Pubblica l'agente per vedere le nuove modifiche.

Riferimento alle opzioni vocali a livello di agente

La pagina delle impostazioni Dettagli agente consente di configurare i timeout per varie funzionalità vocali. Le impostazioni applicate in questa pagina diventano quelle predefinite per gli argomenti creati nel tuo agente.

Per apportare modifiche alle opzioni di timeout a livello di agente:

  1. Con un agente aperto, seleziona Impostazioni>Voce.

    Screenshot delle impostazioni vocali per un agente abilitato alla voce.

  2. Seleziona le impostazioni desiderate e regola le impostazioni predefinite dell'agente.

  3. Seleziona Salva per applicare le modifiche.

Impostazioni a livello di agente

La tabella seguente elenca ciascuna opzione e la sua relazione con le impostazioni a livello di nodo.

Sezione a livello di agente con comandi vocali Impostazione Descrzione Impostazione predefinita Override a livello di nodo
DTMF Timeout tra caratteri Tempo massimo (millisecondi) consentito durante l'attesa del successivo input del tasto DTMF. Si applica all'input DTMF a più cifre solo quando gli utenti non soddisfano la lunghezza massima di input. 3000 ms Nodo di domanda con proprietà vocali per Input DTMF a più cifre
DTMF Timeout chiusura Durata massima (millisecondi) di attesa per una chiave di terminazione DTMF. Il limite si applica quando l'utente raggiunge la lunghezza massima di input e non ha premuto il tasto di terminazione. Si applica solo all'ingresso DTMF a più cifre.

Una volta raggiunto il limite di timeout e se non arriva il tasto DTMF di terminazione, l'agente termina il riconoscimento e restituisce il risultato fino a quel punto.

Se impostato su "continua senza attendere", l'agente non attende la chiave di terminazione. L'agente risponde immediatamente dopo che l'utente ha immesso la lunghezza massima.
2000 ms Nodo di domanda con proprietà vocali per Input DTMF a più cifre
Rilevamento del silenzio Timeout rilevamento silenzio Silenzio massimo (millisecondi) consentito durante l'attesa per l'input dell'utente. Il limite si applica quando l'agente non rileva alcun input dell'utente. L'impostazione predefinita è "nessun timeout di silenzio". L'agente attende all'infinito l'input dell'utente.

Rilevamento del silenzio per la voce per il periodo successivo al termine del discorso della voce.
Nessun timeout silenzio Nodo di domanda con proprietà vocali per Input DTMF a più cifre

Argomento di sistema (proprietà trigger rilevamento silenzio) per Configura rilevamento silenzio e timeout
Raccolta voce Timeout fine espressione Il limite si applica quando l'utente fa una pausa durante o dopo il discorso. Se la pausa è più lunga del limite di timeout, l'agente presume che l'utente abbia finito di parlare.

Il valore massimo per il timeout di fine dell'enunciazione è 3.000 millisecondi. Qualunque valore superiore a 3.000 ms si riduce a 3.000 millisecondi.
1500 ms Nodo domanda con proprietà vocali
Raccolta voce Timeout riconoscimento vocale Determina per quanto tempo l'agente concede per l'intervento dell'utente una volta che ha iniziato a parlare. Il valore predefinito è 12.000 millisecondi (circa 12 secondi). Nessun timeout di riconoscimento significa tempo infinito. L'agente ripropone la domanda. In caso di mancata risposta, la voce è oltre Timeout riconoscimento vocale. 12,000 ms Nodo domanda con proprietà vocali
Messaggi di latenza Ritardo invio messaggio Determina per quanto tempo l'agente attende prima di inviare il messaggio di latenza dopo l'avvio di una richiesta di operazione in background. Il tempo è impostato in millisecondi. 500 ms Proprietà del nodo azione per Operazione di lunga durata
Messaggi di latenza Tempo di riproduzione minimo Il messaggio di latenza viene riprodotto per un periodo di tempo minimo, anche se l'operazione in background viene completata durante la riproduzione del messaggio. Il tempo è impostato in millisecondi. 5000 ms Proprietà della modalità azione per Operazione di lunga durata
Sensibilità vocale Riservatezza Controlla il modo in cui il sistema bilancia il rilevamento della voce e del rumore di fondo. Riduci la sensibilità per ambienti rumorosi, spazi pubblici e utilizzo in viva voce. Aumenta la sensibilità per ambienti silenziosi, utenti che parlano a bassa voce o rilevamento dei comandi vocali. L'impostazione predefinita è 0.5. 0.5 Non sono previsti override a livello di nodo per questo comando.

Abilitare lintusione

Abilitando l'interruzione, gli utenti dell'agente potranno interromperlo. Questa funzionalità può essere utile quando non è necessario che l'utente dell'agente ascolti l'intero messaggio. Ad esempio, i chiamanti potrebbero già conoscere le opzioni del menu perché le hanno ascoltate in passato. Con la funzione Barge-In, l'utente dell'agente può immettere l'opzione desiderata, anche se l'agente non ha ancora terminato di elencarle tutte.

Scenari di disabilitazione dell'intrusione

  • Disattiva l'interruzione se di recente è stato aggiornato un messaggio dell'agente o se il messaggio di conformità non deve essere interrotto.
  • Disattiva l'interruzione per il primo messaggio dell'agente per garantire che gli utenti dell'agente siano a conoscenza di informazioni nuove o essenziali.

Specifiche

  • L'interruzione supporta le interruzioni basate su DTMF e vocali da parte dell'utente dell'agente.

  • L'intrusione può essere controllata con ciascun messaggio, in un unico batch. Posiziona nodi barge-in-disabled in sequenza prima di ciascun nodo in cui è consentita l'intrusione. Altrimenti, l'intrusione disabilitata viene trattata come un messaggio di intrusione disabilitata.

    Screenshot dei posizionamenti di intrusione e intrusione disabilitata nei nodi del messaggio.

    Una volta terminata una coda batch, l'impostazione automatica di intrusione viene reimpostata per il batch successivo e controllata dal flag di intrusione su ciascun messaggio successivo. È possibile posizionare nodi disabilitati quando la sequenza ricomincia.

Suggerimento

Se sono presenti nodi di messaggi consecutivi, seguiti da un nodo di domande, i messaggi vocali per questi nodi vengono definiti come un batch. Un batch inizia con un nodo di messaggi e si ferma al nodo di domande, che attende l'input dell'utente.

Evitare di disattivare la funzione Barge-in per i messaggi lunghi, soprattutto se si prevede che gli utenti dell'agente interagiscano spesso con l'agente. Se l'utente dell'agente conosce già le opzioni del menu, permettigli di scegliere autonomamente dove andare.

Configura l'intrusione

  1. Con un nodo Messaggio o Domanda selezionato, imposta la modalità desiderata su Riconoscimento vocale e DTMF.

  2. Seleziona l'icona Altro () del nodo, quindi seleziona Proprietà.

    1. Per i nodi Messaggio, il riquadro Proprietà attività di invio si apre sul lato dell'area del contenuto.

      Seleziona Consenti intrusione.

    2. Per i nodi Domanda, si apre il riquadro Proprietà domanda, quindi seleziona Voce.

      Dalle proprietà Voce, seleziona Consenti intrusione.

  3. Salva l'argomento per applicare le modifiche.

Configura il rilevamento del silenzio e i timeout

Il rilevamento del silenzio consente di configurare per quanto tempo l'agente attende l'input dell'utente e l'azione da intraprendere se non viene ricevuto alcun input. Il rilevamento del silenzio è particolarmente utile in risposta a una domanda a livello di nodo o quando l'agente attende una frase di attivazione per iniziare un nuovo argomento.

È possibile configurare i timeout predefiniti per gli argomenti.

Consente di sostituire le impostazioni predefinite per un nodo:

  1. Seleziona l'icona Altro () del nodo, quindi seleziona Proprietà.

    Si apre il riquadro Proprietà domanda.

  2. Seleziona Voce e apporta le modifiche alle seguenti impostazioni:

    Opzione di timeout del rilevamento del silenzio Descrzione
    Usa l'impostazione dell'agente Il nodo utilizza l'impostazione globale per il rilevamento del silenzio.
    Disabilita per questo nodo L'agente attende una risposta indefinitamente.
    Personalizza in millisecondi L'agente attende un tempo specificato prima di ripetere la domanda.

Azione di fallback

Puoi configurare alcuni comportamenti come azione di fallback:

  • Quante volte l'agente deve ripetere una domanda
  • Cosa dovrebbe dire il messaggio di risposta
  • Cosa dovrebbe fare l'agente dopo un numero specificato di ripetizioni

Input di riconoscimento vocale

Per l'input vocale è possibile specificare:

  • Timeout di fine espressione: tempo di attesa dell'agente dopo che l'utente ha finito di parlare
  • Timeout del riconoscimento vocale: quanto tempo l'agente concede all'utente non appena iniziano a rispondere

Per configurare il comportamento di rilevamento del silenzio quando l'agente attende una frase trigger, modifica le impostazioni nell'argomento di sistema In caso di silenzio.

Aggiungere un messaggio di latenza per le operazioni ad esecuzione prolungata

Per le operazioni di backend più lunghe, l'agente può inviare un messaggio agli utenti per avvisarli dei processi più lunghi. Anche gli agenti su un canale di messaggistica possono inviare un messaggio di latenza.

Riproduzione audio dei messaggi di latenza Messaggio di latenza in chat
Continua il ciclo fino al completamento dell'operazione. Inviato solo una volta quando viene raggiunta la latenza specificata.

In Copilot Studio, l'agente può ripetere un messaggio dopo aver attivato un flusso Power Automate:

  1. Aggiungi un nodo Azione che attiva un flusso.

  2. Seleziona l'icona Altro () del nodo, quindi seleziona Proprietà. Si apre il riquadro Proprietà azioni.

  3. Seleziona Invia un messaggio.

  4. Nella sezione Messaggio, inserisci ciò che desideri che l'agente dica. Puoi utilizzare SSML per modificare l'audio del messaggio. L'agente ripete il messaggio fino al completamento del flusso.

È possibile regolare per quanto tempo l'agente deve attendere prima di ripetere il messaggio nella sezione Ritardo. Puoi impostare un periodo di attesa minimo, anche se il flusso viene completato.

Configurare una terminazione della chiamata

Per configurare l'agente in modo che termini la chiamata e riagganci, aggiungi un nuovo nodo (+), quindi seleziona Gestione argomenti>Termina conversazione.

Screenshot del menu di un nuovo nodo con Gestione argomento e Fine conversazione evidenziati.

Formatta la sintesi vocale con SSML

Puoi utilizzare il linguaggio di sintesi vocale (SSML) per modificare l'audio dell'agente quando legge i messaggi ad alta voce. Ad esempio, puoi modificare il tono o la frequenza delle parole pronunciate, la velocità e il volume.

SSML utilizza i tag per racchiudere il testo che desideri modificare, in modo simile all'HTML. È possibile usare i tag seguenti in Copilot Studio:

Tag SSML Descrizione Collegamento alla documentazione del servizio vocale
<audio src="_URL to an audio file_"/> Aggiungi l'URL a un file audio all'interno del tag. Il file deve essere accessibile all'utente agente. Aggiungi l'audio registrato
<break /> Inserisci pause o interruzioni tra le parole. Inserisci le opzioni di interruzione all'interno del tag. Aggiungi una pausa
<emphasis>Testo che desideri modificare</emphasis> Aggiungi livelli di accento a parole o frasi. Aggiungi opzioni di enfasi nel tag di apertura. Aggiungi il tag di chiusura dopo il testo che desideri modificare. Regola le opzioni di enfasi
<prosody>Testo che desideri modificare</prosody> Specifica le modifiche a intonazione, contorno, intervallo, frequenza e volume. Aggiungi opzioni di prosodia nel tag di apertura. Aggiungi il tag di chiusura dopo il testo che desideri modificare. Regola le opzioni della prosodia
<lang xml:lang="xx-XX">Testo che desideri modificare</lang> Regola la lingua parlata all'interno dello stesso messaggio quando si utilizza una voce neurale multilingue. Regolare le lingue dell'audio

Screenshot di un messaggio vocale con tag SSML aggiunti.

Trova e usa un tag

SSML utilizza i tag per racchiudere il testo che desideri modificare, in modo simile all'HTML.

È possibile usare i tag seguenti in Copilot Studio:

  1. Con un nodo Messaggio o Domanda selezionato, modifica la modalità su Riconoscimento vocale e DTMF.

  2. Seleziona il menu Tag SSML, quindi seleziona un tag.

    La finestra del messaggio viene popolata con il tag. Se hai già del testo nella casella del messaggio, il codice del tag viene aggiunto alla fine del messaggio.

  3. Circonda il testo che desideri modificare con i tag di apertura e chiusura. Puoi combinare più tag e personalizzare singole parti del messaggio con tag individuali.

Suggerimento

Puoi inserire manualmente i tag SSML che non vengono visualizzati nel menu di supporto. Per altre informazioni sugli altri tag che puoi utilizzare, vedi Migliorare la sintesi con Speech Synthesis Markup Language.

Trasferisci una chiamata a un rappresentante o a un numero di telefono esterno

L'agente può trasferire la chiamata a un numero di telefono esterno. Copilot Studio supporta il trasferimento cieco a un numero di telefono PSTN e al numero di instradamento diretto.

Per eseguire il trasferimento a un numero di telefono esterno:

  1. Nell'argomento che desideri modificare, aggiungi un nuovo nodo (+). Nel menu del nodo, seleziona Gestione argomenti, quindi Trasferisci conversazione.

  2. In Tipo di trasferimento, seleziona Trasferimento numero di telefono esterno e inserisci il numero di trasferimento.

  3. (Facoltativo) aggiungi un'intestazione UUI SIP alla telefonata.

    Questa intestazione è una stringa di coppie key=value, senza spazi o caratteri speciali, visualizzata per la lettura da parte di sistemi esterni.

    1. Seleziona l'icona Altro () del nodo, quindi seleziona Proprietà. Si apre il pannello Trasferisci proprietà della conversazione.

    2. In Intestazione UUI SIP, inserisci le informazioni che desideri inviare con il trasferimento di chiamata. Le variabili non sono supportate durante il trasferimento a un numero di telefono esterno.

    Attenzione

    Vengono inviati solo i primi 128 caratteri della stringa.

    L'intestazione accetta solo numeri, lettere, segni di uguale (=) e punto e virgola (;). Tutti gli altri caratteri, inclusi spazi, parentesi graffe e parentesi quadre o formule, non sono supportati e possono causare il fallimento del trasferimento.

Suggerimento

Includi un + nel tuo numero di telefono per il prefisso internazionale corrispondente.

Il trasferimento in uscita con UUI SIP per il numero di telefono di destinazione deve utilizzare l'instradamento diretto. I numeri di telefono Public Switched Telephone Network (PSTN) non supportano i trasferimenti delle intestazioni UUI SIP.

Per eseguire il trasferimento a un rappresentante, vedi Trigger espliciti.

Usare variabili vocali

Copilot Studio supporta la popolazione delle variabili. Puoi utilizzare variabili predefinite o crearne di personalizzate.

Nota

Un agente con comandi vocali in Copilot Studio supporta le variabili di contesto. Queste variabili ti aiutano a integrare le conversazioni dei tuoi agenti con Dynamics 365 Customer Service durante il trasferimento di una chiamata.

Per ulteriori informazioni sulle variabili di contesto in Dynamics 365 Customer Service, vedi Variabili di contesto per i bot di Copilot Studio.

Questa integrazione supporta questi scenari con le seguenti variabili durante il trasferimento:

Variabile Type Descrzione
System.Activity.From.Name String ID chiamante dell'agente utente
System.Activity.Recipient.Name String Il numero utilizzato per chiamare o connettersi all'agente
System.Conversation.SipUuiHeaderValue String Valore dell'intestazione SIP durante il trasferimento tramite un numero di telefono con instradamento diretto
System.Activity.UserInputType String Se l'utente dell'agente ha utilizzato DTMF o la voce nella conversazione
System.Activity.InputDTMFKey String Input DTMF grezzo dell'utente dell'agente
System.Conversation.OnlyAllowDTMF Boolean La voce ignora l'input vocale quando è impostata su true
System.Activity.SpeechRecognition.Confidence Numero Il valore di confidenza (tra 0 e 1) dell'ultimo evento di riconoscimento vocale
System.Activity.SpeechRecognition.MinimalFormattedText String Risultati del riconoscimento vocale (come testo non elaborato) prima che Copilot Studio sia applicato al modello di comprensione del linguaggio naturale dedicato

Nota

  • Un agente con frasi trigger e dimensioni dell'entità elevate impiega più tempo per la pubblicazione.
  • Se più utenti pubblicano lo stesso agente contemporaneamente, l'azione di pubblicazione viene bloccata. È necessario ripubblicare l'agente dopo che gli altri hanno completato le modifiche agli agenti esistenti.

Per ulteriori informazioni sugli elementi di base della pubblicazione, vedi Concetti chiave: pubblicare e distribuire l'agente.