TokenizingByCharactersEstimator Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>
type TokenizingByCharactersEstimator = class
inherit TrivialEstimator<TokenizingByCharactersTransformer>
Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)
- Vererbung
Hinweise
Stimatoreigenschaften
Muss dieser Schätzer die Daten untersuchen, um seine Parameter zu trainieren? | Yes |
Eingabespaltendatentyp | Skalar oder Vektor von Text |
Ausgabespaltendatentyp | Variabler Vektor des Schlüsseltyps . |
Exportierbar in ONNX | Yes |
Der Schätzer tokenisiert Zeichen, indem Text in Sequenzen von Zeichen mithilfe eines Gleitfensters aufgeteilt wird. Während der Schulung erstellt der Schätzer ein Schlüsselwert-Paarwörterbuch mit den gefundenen Sequenzen von Zeichen.
Durch TokenizingByCharactersTransformer die Anpassung des Schätzators wird eine neue Spalte erstellt, die in den Parametern für die Ausgabespaltennamen angegeben ist, die die Schlüssel der Zeichensequenzen enthält, die in der Eingabe aufgetreten sind.
Überprüfen Sie den Abschnitt "Siehe auch", um Links zu Verwendungsbeispielen zu finden.
Methoden
Fit(IDataView) |
IEstimator<TTransformer> für die TokenizingByCharactersTransformer. (Geerbt von TrivialEstimator<TTransformer>) |
GetOutputSchema(SchemaShape) |
Gibt das SchemaShape Schema zurück, das vom Transformator erzeugt wird. Wird für die Schemaverteilung und Überprüfung in einer Pipeline verwendet. |
Erweiterungsmethoden
AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Fügen Sie einen "Zwischenspeicherungsprüfpunkt" an die Schätzkette an. Dadurch wird sichergestellt, dass die nachgelagerten Schätzer anhand zwischengespeicherter Daten trainiert werden. Es ist hilfreich, einen Cache-Prüfpunkt vor Trainern zu haben, die mehrere Datendurchläufe übernehmen. |
WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Wenn sie eine Schätzung erhalten, geben Sie ein Umbruchobjekt zurück, das einen Delegaten aufruft, sobald Fit(IDataView) er aufgerufen wird. Es ist häufig wichtig, dass ein Schätzer Informationen darüber zurückgibt, was passt, weshalb die Fit(IDataView) Methode ein speziell typiertes Objekt zurückgibt, anstatt nur ein allgemeines ITransformerObjekt zurückzugeben. IEstimator<TTransformer> Gleichzeitig werden jedoch häufig Pipelines mit vielen Objekten gebildet, daher müssen wir möglicherweise eine Kette von Schätzern erstellen, über EstimatorChain<TLastTransformer> die der Schätzer, für den wir den Transformator erhalten möchten, irgendwo in dieser Kette begraben wird. Für dieses Szenario können wir über diese Methode eine Stellvertretung anfügen, die aufgerufen wird, sobald sie aufgerufen wird. |