Freigeben über

Erstellen und Ausführen des ersten Experiments

  • Artikel

In dieser exemplarischen Vorgehensweise wird Folgendes thematisiert:

  • Erstellen Sie ein Experimentierprojekt im Partner Center, das mehrere Remotevariablen definiert, die den Text und die Farbe einer App-Schaltfläche darstellen.
  • Erstellen Sie eine App mit Code, der die Remotevariablenwerte abruft, diese Daten verwendet, um die Hintergrundfarbe einer Schaltfläche zu ändern, und protokolliert Ansichts- und Konvertierungsereignisdaten zurück in Partner Center.
  • Erstellen Sie ein Experiment im Projekt, um zu testen, ob das Ändern der Hintergrundfarbe der App-Schaltfläche die Anzahl der Schaltflächenklicks erfolgreich erhöht.
  • Führen Sie die App aus, um Experimentdaten zu sammeln.
  • Überprüfen Sie die Ergebnisse des Experiments im Partner Center, wählen Sie eine Variante aus, um für alle Benutzer der App zu aktivieren und das Experiment abzuschließen.

Eine Übersicht über A/B-Tests mit Partner Center finden Sie unter Ausführen von App-Experimenten mit A/B-Tests.

Voraussetzungen

Um diese exemplarische Vorgehensweise zu befolgen, müssen Sie über ein Partner Center-Konto verfügen und Ihren Entwicklungscomputer konfigurieren, wie unter Ausführen von App-Experimenten mit A/B-Tests beschrieben.

Erstellen eines Projekts mit Remotevariablen im Partner Center

  1. Melden Sie sich bei Partner Center an.
  2. Wenn Sie bereits über eine App im Partner Center verfügen, die Sie zum Erstellen eines Experiments verwenden möchten, wählen Sie diese App im Partner Center aus. Wenn Sie noch keine App im Partner Center haben, erstellen Sie eine neue App, indem Sie einen Namen reservieren und dann diese App im Partner Center auswählen.
  3. Klicken Sie im Navigationsbereich auf "Dienste " und dann auf "Experimentieren".
  4. Klicken Sie im Abschnitt "Projekte " der nächsten Seite auf die Schaltfläche "Neues Projekt ".
  5. Geben Sie auf der Seite "Neues Projekt " den Namen "Button Click Experiments " für Ihr neues Projekt ein.
  6. Erweitern Sie den Abschnitt "Remotevariablen ", und klicken Sie viermal auf "Variable hinzufügen". Jetzt sollten vier leere Variablenzeilen vorhanden sein.
  • Geben Sie in der ersten Zeile "buttonText " für den Variablennamen ein, und geben Sie "Graue Schaltfläche" in die Spalte "Standardwert " ein.
  • Geben Sie in der zweiten Zeile r für den Variablennamen ein, und geben Sie 128 in der Spalte "Standardwert " ein.
  • Geben Sie in der dritten Zeile "g " für den Variablennamen und " 128 " in der Spalte "Standardwert " ein.
  • Geben Sie in der vierten Zeile "b " für den Variablennamen und " 128 " in der Spalte "Standardwert " ein.
  1. Klicken Sie auf "Speichern", und notieren Sie sich den Projekt-ID-Wert, der im SDK-Integrationsbereich angezeigt wird. Im nächsten Abschnitt aktualisieren Sie Den App-Code und verweisen auf diesen Wert in Ihrem Code.

Codieren des Experiments in Ihrer App

  1. Erstellen Sie in Visual Studio ein neues Universelle Windows-Plattform Projekt mit Visual C#. Nennen Sie das Projekt SampleExperiment.

  2. Erweitern Sie in Projektmappen-Explorer den Projektknoten, klicken Sie mit der rechten Maustaste auf Verweise, und klicken Sie auf "Verweis hinzufügen".

  3. Erweitern Sie im Verweis-Manager universelle Windows-Geräte, und klicken Sie auf Erweiterungen.

  4. Aktivieren Sie in der Liste der SDKs das Kontrollkästchen neben Microsoft Engagement Framework , und klicken Sie auf OK.

  5. Doppelklicken Sie in Projektmappen-Explorer auf "MainPage.xaml", um den Designer für die Hauptseite in der App zu öffnen.

  6. Ziehen Sie eine Schaltfläche aus der Toolbox auf die Seite.

  7. Doppelklicken Sie auf die Schaltfläche im Designer, um die Codedatei zu öffnen und einen Ereignishandler für das Click-Ereignis hinzuzufügen.

  8. Ersetzen Sie den gesamten Inhalt der Codedatei durch den folgenden Code. Weisen Sie die projectId Variable dem Projekt-ID-Wert zu, den Sie aus partner Center im vorherigen Abschnitt abgerufen haben.

    using System;
using Windows.UI.Xaml;
using Windows.UI.Xaml.Controls;
using Windows.UI.Xaml.Media;
using System.Threading.Tasks;
using Windows.UI;
using Windows.UI.Core;

// Namespace for A/B testing.
using Microsoft.Services.Store.Engagement;

namespace SampleExperiment
{
    public sealed partial class MainPage : Page
    {
        private StoreServicesExperimentVariation variation;
        private StoreServicesCustomEventLogger logger;

        // Assign this variable to the project ID for your experiment from Dev Center.
        private string projectId = "";

        public MainPage()
        {
            this.InitializeComponent();

            // Because this call is not awaited, execution of the current method
            // continues before the call is completed.
#pragma warning disable CS4014
            InitializeExperiment();
#pragma warning restore CS4014
        }

        private async Task InitializeExperiment()
        {
            // Get the current cached variation assignment for the experiment.
            var result = await StoreServicesExperimentVariation.GetCachedVariationAsync(projectId);
            variation = result.ExperimentVariation;

            // Check whether the cached variation assignment needs to be refreshed.
            // If so, then refresh it.
            if (result.ErrorCode != StoreServicesEngagementErrorCode.None || result.ExperimentVariation.IsStale)
            {
                result = await StoreServicesExperimentVariation.GetRefreshedVariationAsync(projectId);

                // If the call succeeds, use the new result. Otherwise, use the cached value.
                if (result.ErrorCode == StoreServicesEngagementErrorCode.None)
                {
                    variation = result.ExperimentVariation;
                }
            }

            // Get remote variables named "buttonText", "r", "g", and "b" from the variation
            // assignment. If no variation assignment is available, the variables default
            // to "Grey button" for the button text and grey RGB value for the button color.
            var buttonText = variation.GetString("buttonText", "Grey Button");
            var r = (byte)variation.GetInt32("r", 128);
            var g = (byte)variation.GetInt32("g", 128);
            var b = (byte)variation.GetInt32("b", 128);

            // Assign button text and color.
            await button.Dispatcher.RunAsync(
                CoreDispatcherPriority.Normal,
                () =>
                {
                    button.Background = new SolidColorBrush(Color.FromArgb(255, r, g, b));
                    button.Content = buttonText;
                    button.Visibility = Visibility.Visible;
                });

            // Log the view event named "userViewedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userViewedButton");
        }

        private void button_Click(object sender, RoutedEventArgs e)
        {
            // Log the conversion event named "userClickedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userClickedButton");
        }
    }
}

  9. Speichern Sie die Codedatei, und erstellen Sie das Projekt.

Erstellen des Experiments im Partner Center

  1. Kehren Sie zur Projektseite "Schaltflächenklickexperimente " im Partner Center zurück.
  2. Klicken Sie im Abschnitt "Experimente " auf die Schaltfläche "Neues Experiment ".
  3. Geben Sie im Abschnitt "Experimentdetails " den Namen "Clicks optimize button clicks" im Feld "Experiment name " ein.
  4. Geben Sie im Abschnitt "View"-Ereignis "userViewedButton" im Feld "Ereignisname anzeigen" ein. Beachten Sie, dass dieser Name mit der Ansichtsereigniszeichenfolge übereinstimmt, die Sie im Code protokolliert haben, den Sie im vorherigen Abschnitt hinzugefügt haben.
  5. Geben Sie im Abschnitt "Ziele und Konvertierungsereignisse " die folgenden Werte ein:
  • Geben Sie im Feld "Zielname" die Schaltflächenklicks vergrößern ein.
  • Geben Sie im Feld "Konvertierungsereignisname " den Namen "userClickedButton" ein. Beachten Sie, dass dieser Name mit der Konvertierungsereigniszeichenfolge übereinstimmt, die Sie im Code protokolliert haben, den Sie im vorherigen Abschnitt hinzugefügt haben.
  • Wählen Sie im Feld "Ziel" die Option "Maximieren" aus.
  1. Vergewissern Sie sich im Abschnitt "Remotevariablen und Variationen ", dass das Kontrollkästchen "Gleichmäßig verteilen" aktiviert ist, damit die Variationen gleichmäßig an Ihre App verteilt werden.
  2. Fügen Sie Ihrem Experiment Variablen hinzu:
    1. Klicken Sie auf das Dropdown-Steuerelement, wählen Sie "buttonText" aus, und klicken Sie auf " Variable hinzufügen". Die Zeichenfolge "Grau" sollte automatisch in der Spalte "Variation A " angezeigt werden (dieser Wert wird von den Projekteinstellungen abgeleitet). Geben Sie in der Spalte "Variation B " den Text "Blaue Schaltfläche" ein.
    2. Klicken Sie erneut auf das Dropdown-Steuerelement, wählen Sie r aus, und klicken Sie auf " Variable hinzufügen". Die Zeichenfolge 128 sollte automatisch in der Spalte "Variation A " angezeigt werden. Geben Sie in der Spalte "Variation B" "1" ein.
    3. Klicken Sie erneut auf das Dropdown-Steuerelement, wählen Sie g aus, und klicken Sie auf " Variable hinzufügen". Die Zeichenfolge 128 sollte automatisch in der Spalte "Variation A " angezeigt werden. Geben Sie in der Spalte "Variation B" "1" ein.
    4. Klicken Sie erneut auf das Dropdown-Steuerelement, wählen Sie "b" aus, und klicken Sie auf " Variable hinzufügen". Die Zeichenfolge 128 sollte automatisch in der Spalte "Variation A " angezeigt werden. Geben Sie in der Spalte "Variation B " den Typ 255 ein.
  3. Klicken Sie auf " Speichern" , und klicken Sie dann auf "Aktivieren".

Wichtig

Nachdem Sie ein Experiment aktiviert haben, können Sie die Experimentparameter nicht mehr ändern, es sei denn, Sie haben beim Erstellen des Experiments auf das Kontrollkästchen "Bearbeitbares Experiment " geklickt. In der Regel wird empfohlen, das Experiment in Ihrer App vor der Aktivierung des Experiments zu codieren.

Ausführen der App zum Sammeln von Experimentdaten

  1. Führen Sie die sampleExperiment-App aus, die Sie zuvor erstellt haben.
  2. Vergewissern Sie sich, dass entweder eine graue oder blaue Schaltfläche angezeigt wird. Klicken Sie auf die Schaltfläche, und schließen Sie die App.
  3. Wiederholen Sie die obigen Schritte mehrmals auf demselben Computer, um zu bestätigen, dass Ihre App dieselbe Schaltflächenfarbe anzeigt.

Überprüfen der Ergebnisse und Abschließen des Experiments

Warten Sie mindestens mehrere Stunden nach Abschluss des vorherigen Abschnitts, und führen Sie dann die folgenden Schritte aus, um die Ergebnisse Ihres Experiments zu überprüfen und das Experiment abzuschließen.

Hinweis

Sobald Sie ein Experiment aktivieren, beginnt Partner Center sofort mit dem Sammeln von Daten aus allen Apps, die zum Protokollieren von Daten für Ihr Experiment instrumentiert sind. Es kann jedoch mehrere Stunden dauern, bis Experimentdaten im Partner Center angezeigt werden.

  1. Kehren Sie im Partner Center zur Experimentierseite für Ihre App zurück.

  2. Klicken Sie im Abschnitt "Aktive Experimente" auf "Schaltflächenklicks optimieren", um zur Seite für dieses Experiment zu wechseln.

  3. Vergewissern Sie sich, dass die ergebnisse, die in den Abschnitten "Ergebnissezusammenfassung " und "Ergebnisse" angezeigt werden, den erwarteten Ergebnissen entsprechen. Weitere Informationen zu diesen Abschnitten finden Sie unter Verwalten Ihres Experiments im Partner Center.

    Hinweis

    Partner Center meldet nur das erste Konvertierungsereignis für jeden Benutzer in einem Zeitraum von 24 Stunden. Wenn ein Benutzer innerhalb eines Zeitraums von 24 Stunden mehrere Konvertierungsereignisse in Ihrer App auslöst, wird nur das erste Konvertierungsereignis gemeldet. Dies soll dazu beitragen, dass ein einzelner Benutzer mit vielen Konvertierungsereignissen die Experimentergebnisse für eine Beispielgruppe von Benutzern abkehrt.

  4. Jetzt können Sie das Experiment beenden. Klicken Sie im Zusammenfassungsabschnitt "Ergebnisse" in der Spalte "Variation B" auf "Wechseln". Dadurch werden alle Benutzer Ihrer App auf die blaue Schaltfläche umgeschaltet.

  5. Klicken Sie auf "OK ", um zu bestätigen, dass Sie das Experiment beenden möchten.

  6. Führen Sie die SampleExperiment-App aus, die Sie im vorherigen Abschnitt erstellt haben.

  7. Vergewissern Sie sich, dass eine blaue Schaltfläche angezeigt wird. Beachten Sie, dass es bis zu zwei Minuten dauern kann, bis Ihre App eine aktualisierte Variationszuweisung erhält.