Modellrückschluss mit TensorFlow und TensorRT
Das Beispielnotebook in diesem Artikel veranschaulicht den empfohlenen Deep Learning-Rückschlussworkflow von Azure Databricks mit TensorFlow und TensorFlowRT. In diesem Beispiel wird gezeigt, wie Sie ein trainiertes ResNet-50-Modell mit TensorRT für den Modellrückschluss optimieren.
NVIDIA TensorRT ist ein leistungsstarker Rückschlussoptimierer und eine Laufzeit, die eine niedrige Latenz und einen hohen Durchsatz für Deep Learning-Rückschlussanwendungen bietet. TensorRT wird in der GPU-fähigen Version von Databricks Runtime für Machine Learning installiert.