Tokenizer.Encode(String) 메서드
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
입력 텍스트를 개체로 인코딩하면 토큰 목록, 토큰 ID, 토큰 오프셋 매핑이 있습니다.
public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResult매개 변수
- sequence
- String
토큰화할 텍스트입니다.
반환
토큰화 결과에는 토큰 목록, 토큰 ID, 토큰 오프셋 매핑이 포함됩니다.