音声とオーディオ用の GPT-4o Realtime API (プレビュー)

キーレス認証と環境変数の設定の詳細を参照してください。

API キーの確認と環境変数の設定の詳細を参照してください。

1. 次のコードを使用して text-in-audio-out.js ファイルを作成します。

   import { DefaultAzureCredential } from "@azure/identity";
   import { LowLevelRTClient } from "rt-client";
   import dotenv from "dotenv";
   dotenv.config();
   async function text_in_audio_out() {
       // Set environment variables or edit the corresponding values here.
       const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "yourEndpoint";
       const deployment = "gpt-4o-realtime-preview";
       if (!endpoint || !deployment) {
           throw new Error("You didn't set the environment variables.");
       }
       const client = new LowLevelRTClient(new URL(endpoint), new DefaultAzureCredential(), { deployment: deployment });
       try {
           await client.send({
               type: "response.create",
               response: {
                   modalities: ["audio", "text"],
                   instructions: "Please assist the user."
               }
           });
           for await (const message of client.messages()) {
               switch (message.type) {
                   case "response.done": {
                       break;
                   }
                   case "error": {
                       console.error(message.error);
                       break;
                   }
                   case "response.audio_transcript.delta": {
                       console.log(`Received text delta: ${message.delta}`);
                       break;
                   }
                   case "response.audio.delta": {
                       const buffer = Buffer.from(message.delta, "base64");
                       console.log(`Received ${buffer.length} bytes of audio data.`);
                       break;
                   }
               }
               if (message.type === "response.done" || message.type === "error") {
                   break;
               }
           }
       }
       finally {
           client.close();
       }
   }
   await text_in_audio_out();
   

2. 次のコマンドを使用して Azure にサインインします。

   az login
   

3. JavaScript ファイルを実行します。

   node text-in-audio-out.js
   

1. 次のコードを使用して text-in-audio-out.js ファイルを作成します。

   import { AzureKeyCredential } from "@azure/core-auth";
   import { LowLevelRTClient } from "rt-client";
   import dotenv from "dotenv";
   dotenv.config();
   async function text_in_audio_out() {
       // Set environment variables or edit the corresponding values here.
       const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "yourKey";
       const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "yourEndpoint";
       const deployment = "gpt-4o-realtime-preview";
       if (!endpoint || !deployment) {
           throw new Error("You didn't set the environment variables.");
       }
       const client = new LowLevelRTClient(new URL(endpoint), new AzureKeyCredential(apiKey), { deployment: deployment });
       try {
           await client.send({
               type: "response.create",
               response: {
                   modalities: ["audio", "text"],
                   instructions: "Please assist the user."
               }
           });
           for await (const message of client.messages()) {
               switch (message.type) {
                   case "response.done": {
                       break;
                   }
                   case "error": {
                       console.error(message.error);
                       break;
                   }
                   case "response.audio_transcript.delta": {
                       console.log(`Received text delta: ${message.delta}`);
                       break;
                   }
                   case "response.audio.delta": {
                       const buffer = Buffer.from(message.delta, "base64");
                       console.log(`Received ${buffer.length} bytes of audio data.`);
                       break;
                   }
               }
               if (message.type === "response.done" || message.type === "error") {
                   break;
               }
           }
       }
       finally {
           client.close();
       }
   }
   await text_in_audio_out();
   

2. JavaScript ファイルを実行します。

   node text-in-audio-out.js
   

キーレス認証と環境変数の設定の詳細を参照してください。

API キーの確認と環境変数の設定の詳細を参照してください。

1. 次のコードを使用して text-in-audio-out.py ファイルを作成します。

   import base64
   import asyncio
   from azure.identity.aio import DefaultAzureCredential
   from rtclient import (
       ResponseCreateMessage,
       RTLowLevelClient,
       ResponseCreateParams
   )
   
   # Set environment variables or edit the corresponding values here.
   endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]
   deployment = "gpt-4o-realtime-preview"
   
   async def text_in_audio_out():
       async with RTLowLevelClient(
           url=endpoint,
           azure_deployment=deployment,
           token_credential=DefaultAzureCredential(),
       ) as client:
           await client.send(
               ResponseCreateMessage(
                   response=ResponseCreateParams(
                       modalities={"audio", "text"}, 
                       instructions="Please assist the user."
                   )
               )
           )
           done = False
           while not done:
               message = await client.recv()
               match message.type:
                   case "response.done":
                       done = True
                   case "error":
                       done = True
                       print(message.error)
                   case "response.audio_transcript.delta":
                       print(f"Received text delta: {message.delta}")
                   case "response.audio.delta":
                       buffer = base64.b64decode(message.delta)
                       print(f"Received {len(buffer)} bytes of audio data.")
                   case _:
                       pass
   
   async def main():
       await text_in_audio_out()
   
   asyncio.run(main())
   

2. Python ファイルを実行します。

   python text-in-audio-out.py
   

1. 次のコードを使用して text-in-audio-out.py ファイルを作成します。

   import base64
   import asyncio
   from azure.core.credentials import AzureKeyCredential
   from rtclient import (
       ResponseCreateMessage,
       RTLowLevelClient,
       ResponseCreateParams
   )
   
   # Set environment variables or edit the corresponding values here.
   api_key = os.environ["AZURE_OPENAI_API_KEY"]    
   endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]
   deployment = "gpt-4o-realtime-preview"
   
   async def text_in_audio_out():
       async with RTLowLevelClient(
           url=endpoint,
           azure_deployment=deployment,
           key_credential=AzureKeyCredential(api_key) 
       ) as client:
           await client.send(
               ResponseCreateMessage(
                   response=ResponseCreateParams(
                       modalities={"audio", "text"}, 
                       instructions="Please assist the user."
                   )
               )
           )
           done = False
           while not done:
               message = await client.recv()
               match message.type:
                   case "response.done":
                       done = True
                   case "error":
                       done = True
                       print(message.error)
                   case "response.audio_transcript.delta":
                       print(f"Received text delta: {message.delta}")
                   case "response.audio.delta":
                       buffer = base64.b64decode(message.delta)
                       print(f"Received {len(buffer)} bytes of audio data.")
                   case _:
                       pass
   
   async def main():
       await text_in_audio_out()
   
   asyncio.run(main())
   

2. Python ファイルを実行します。

   python text-in-audio-out.py
   

キーレス認証と環境変数の設定の詳細を参照してください。

API キーの確認と環境変数の設定の詳細を参照してください。

1. 次のコードを使用して text-in-audio-out.ts ファイルを作成します。

   import { DefaultAzureCredential } from "@azure/identity";
   import { LowLevelRTClient } from "rt-client";
   import dotenv from "dotenv";
   dotenv.config();
   
   async function text_in_audio_out() {
       // Set environment variables or edit the corresponding values here.
       const endpoint: string = process.env["AZURE_OPENAI_ENDPOINT"] || "yourEndpoint";
       const deployment = "gpt-4o-realtime-preview";
       if (!endpoint || !deployment) {
           throw new Error("You didn't set the environment variables.");
       }
       const client = new LowLevelRTClient(
           new URL(endpoint), 
           new DefaultAzureCredential(), 
           {deployment: deployment}
       );
       try {
           await client.send({
               type: "response.create",
               response: {
                   modalities: ["audio", "text"],
                   instructions: "Please assist the user."
               }
           });
   
           for await (const message of client.messages()) {
               switch (message.type) {
                   case "response.done": {
                       break;
                   }
                   case "error": {
                       console.error(message.error);
                       break;
                   }
                   case "response.audio_transcript.delta": {
                       console.log(`Received text delta: ${message.delta}`);
                       break;
                   }
                   case "response.audio.delta": {
                       const buffer = Buffer.from(message.delta, "base64");
                       console.log(`Received ${buffer.length} bytes of audio data.`);
                       break;
                   }
               }
               if (message.type === "response.done" || message.type === "error") {
                   break;
               }
           }
       } finally {
           client.close();
       }
   }
   
   await text_in_audio_out();
   

2. TypeScript コードをトランスパイルするために tsconfig.json ファイルを作成して、ECMAScript 向けの次のコードをコピーします。

   {
       "compilerOptions": {
         "module": "NodeNext",
         "target": "ES2022", // Supports top-level await
         "moduleResolution": "NodeNext",
         "skipLibCheck": true, // Avoid type errors from node_modules
         "strict": true // Enable strict type-checking options
       },
       "include": ["*.ts"]
   }
   

3. TypeScript から JavaScript にトランスパイルします。

   tsc
   

4. 次のコマンドを使用して Azure にサインインします。

   az login
   

5. 次のコマンドを使用して、コードを実行します。

   node text-in-audio-out.js
   

1. 次のコードを使用して text-in-audio-out.ts ファイルを作成します。

   import { AzureKeyCredential } from "@azure/core-auth";
   import { LowLevelRTClient } from "rt-client";
   import dotenv from "dotenv";
   dotenv.config();
   
   async function text_in_audio_out() {
       // Set environment variables or edit the corresponding values here.
       const apiKey: string = process.env["AZURE_OPENAI_API_KEY"] || "yourKey";
       const endpoint: string = process.env["AZURE_OPENAI_ENDPOINT"] || "yourEndpoint";
       const deployment = "gpt-4o-realtime-preview";
       if (!endpoint || !deployment) {
           throw new Error("You didn't set the environment variables.");
       }
       const client = new LowLevelRTClient(
           new URL(endpoint), 
           new AzureKeyCredential(apiKey),
           {deployment: deployment}
       );
       try {
           await client.send({
               type: "response.create",
               response: {
                   modalities: ["audio", "text"],
                   instructions: "Please assist the user."
               }
           });
   
           for await (const message of client.messages()) {
               switch (message.type) {
                   case "response.done": {
                       break;
                   }
                   case "error": {
                       console.error(message.error);
                       break;
                   }
                   case "response.audio_transcript.delta": {
                       console.log(`Received text delta: ${message.delta}`);
                       break;
                   }
                   case "response.audio.delta": {
                       const buffer = Buffer.from(message.delta, "base64");
                       console.log(`Received ${buffer.length} bytes of audio data.`);
                       break;
                   }
               }
               if (message.type === "response.done" || message.type === "error") {
                   break;
               }
           }
       } finally {
           client.close();
       }
   }
   
   await text_in_audio_out();
   

2. TypeScript コードをトランスパイルするために tsconfig.json ファイルを作成して、ECMAScript 向けの次のコードをコピーします。

   {
       "compilerOptions": {
         "module": "NodeNext",
         "target": "ES2022", // Supports top-level await
         "moduleResolution": "NodeNext",
         "skipLibCheck": true, // Avoid type errors from node_modules
         "strict": true // Enable strict type-checking options
       },
       "include": ["*.ts"]
   }
   

3. TypeScript から JavaScript にトランスパイルします。

   tsc
   

4. 次のコマンドを使用して、コードを実行します。

   node text-in-audio-out.js