단위 테스트 순서 지정

아티클
08/26/2024

경우에 따라 단위 테스트를 특정 순서로 실행해야 할 수도 있습니다. 이상적으로는 단위 테스트가 실행되는 순서가 중요하지 않아야 하며 단위 테스트 순서를 사용하지 않는 것이 모범 사례입니다. 그럼에도 단위 테스트를 수행해야 할 수도 있습니다. 이 문서에서는 그러한 경우 테스트를 실행하는 순서를 지정하는 방법을 보여 줍니다.

소스 코드를 찾아보려면 .NET Core 단위 테스트 순서 지정 샘플 리포지토리를 참조하세요.

팁

이 문서에서 설명하는 순서 지정 기능 외에 Visual Studio를 사용하여 사용자 지정 재생 목록 만들기를 대안으로 고려할 수도 있습니다.

사전순으로 순서 지정

MSTest는 테스트 클래스에서 정의된 순서와 동일한 순서로 테스트를 검색합니다.

테스트 탐색기(Visual Studio 또는 Visual Studio Code)를 통해 실행하는 경우 테스트는 테스트 이름에 따라 알파벳순으로 정렬됩니다.

테스트 탐색기 외부에서 실행하는 경우 테스트 클래스에서 정의된 순서대로 테스트가 실행됩니다.

참고 항목

2가 14보다 작지만 Test14라는 테스트는 Test2보다 먼저 실행됩니다. 이는 테스트 이름 순서 지정이 테스트의 텍스트 이름을 사용하기 때문입니다.

using Microsoft.VisualStudio.TestTools.UnitTesting;

namespace MSTest.Project;

[TestClass]
public class ByAlphabeticalOrder
{
    public static bool Test1Called;
    public static bool Test2Called;
    public static bool Test3Called;

    [TestMethod]
    public void Test2()
    {
        Test2Called = true;

        Assert.IsTrue(Test1Called);
        Assert.IsFalse(Test3Called);
    }

    [TestMethod]
    public void Test1()
    {
        Test1Called = true;

        Assert.IsFalse(Test2Called);
        Assert.IsFalse(Test3Called);
    }

    [TestMethod]
    public void Test3()
    {
        Test3Called = true;

        Assert.IsTrue(Test1Called);
        Assert.IsTrue(Test2Called);
    }
}

xUnit 테스트 프레임워크를 사용하면 테스트 실행 순서를 보다 세밀하게 제어할 수 있습니다. 클래스 또는 테스트 컬렉션에 대한 테스트 사례의 순서를 제어하려면 ITestCaseOrderer 및 ITestCollectionOrderer 인터페이스를 구현합니다.

사전순으로 테스트 사례 순서 지정

테스트 사례를 해당 메서드 이름에 따라 순서를 지정하려면 ITestCaseOrderer를 구현하고 순서 지정 메커니즘을 제공합니다.

using Xunit.Abstractions;
using Xunit.Sdk;

namespace XUnit.Project.Orderers;

public class AlphabeticalOrderer : ITestCaseOrderer
{
    public IEnumerable<TTestCase> OrderTestCases<TTestCase>(
        IEnumerable<TTestCase> testCases) where TTestCase : ITestCase =>
        testCases.OrderBy(testCase => testCase.TestMethod.Method.Name);
}

그런 다음 테스트 클래스에서 TestCaseOrdererAttribute를 사용하여 테스트 사례 순서를 설정합니다.

using Xunit;

namespace XUnit.Project;

[TestCaseOrderer(
    ordererTypeName: "XUnit.Project.Orderers.AlphabeticalOrderer",
    ordererAssemblyName: "XUnit.Project")]
public class ByAlphabeticalOrder
{
    public static bool Test1Called;
    public static bool Test2Called;
    public static bool Test3Called;

    [Fact]
    public void Test1()
    {
        Test1Called = true;

        Assert.False(Test2Called);
        Assert.False(Test3Called);
    }

    [Fact]
    public void Test2()
    {
        Test2Called = true;

        Assert.True(Test1Called);
        Assert.False(Test3Called);
    }

    [Fact]
    public void Test3()
    {
        Test3Called = true;

        Assert.True(Test1Called);
        Assert.True(Test2Called);
    }
}

사전순으로 컬렉션 순서 지정

테스트 컬렉션을 해당 표시 이름에 따라 순서를 지정하려면 ITestCollectionOrderer을 구현하고 순서 지정 메커니즘을 제공합니다.

using Xunit;
using Xunit.Abstractions;

namespace XUnit.Project.Orderers;

public class DisplayNameOrderer : ITestCollectionOrderer
{
    public IEnumerable<ITestCollection> OrderTestCollections(
        IEnumerable<ITestCollection> testCollections) =>
        testCollections.OrderBy(collection => collection.DisplayName);
}

테스트 컬렉션은 잠재적으로 병렬로 실행되므로 CollectionBehaviorAttribute를 사용하여 컬렉션의 테스트 병렬 처리를 명시적으로 사용하지 않도록 설정해야 합니다. 그런 다음 TestCollectionOrdererAttribute에 대한 구현을 지정합니다.

using Xunit;

// Need to turn off test parallelization so we can validate the run order
[assembly: CollectionBehavior(DisableTestParallelization = true)]
[assembly: TestCollectionOrderer(
    ordererTypeName: "XUnit.Project.Orderers.DisplayNameOrderer",
    ordererAssemblyName: "XUnit.Project")]

namespace XUnit.Project;

[Collection("Xzy Test Collection")]
public class TestsInCollection1
{
    public static bool Collection1Run;

    [Fact]
    public static void Test()
    {
        Assert.True(TestsInCollection2.Collection2Run);     // Abc
        Assert.True(TestsInCollection3.Collection3Run);     // Mno
        Assert.False(TestsInCollection1.Collection1Run);    // Xyz

        Collection1Run = true;
    }
}

[Collection("Abc Test Collection")]
public class TestsInCollection2
{
    public static bool Collection2Run;

    [Fact]
    public static void Test()
    {
        Assert.False(TestsInCollection2.Collection2Run);    // Abc
        Assert.False(TestsInCollection3.Collection3Run);    // Mno
        Assert.False(TestsInCollection1.Collection1Run);    // Xyz

        Collection2Run = true;
    }
}

[Collection("Mno Test Collection")]
public class TestsInCollection3
{
    public static bool Collection3Run;

    [Fact]
    public static void Test()
    {
        Assert.True(TestsInCollection2.Collection2Run);     // Abc
        Assert.False(TestsInCollection3.Collection3Run);    // Mno
        Assert.False(TestsInCollection1.Collection1Run);    // Xyz

        Collection3Run = true;
    }
}

사용자 지정 특성별로 순서 지정

사용자 지정 특성을 사용하는 xUnit 테스트의 순서를 지정하려면 먼저 사용할 특성이 필요합니다. 다음과 같이 TestPriorityAttribute를 정의합니다.

namespace XUnit.Project.Attributes;

[AttributeUsage(AttributeTargets.Method, AllowMultiple = false)]
public class TestPriorityAttribute : Attribute
{
    public int Priority { get; private set; }

    public TestPriorityAttribute(int priority) => Priority = priority;
}

다음으로 ITestCaseOrderer 인터페이스의 다음 PriorityOrderer 구현을 고려합니다.

using Xunit.Abstractions;
using Xunit.Sdk;
using XUnit.Project.Attributes;

namespace XUnit.Project.Orderers;

public class PriorityOrderer : ITestCaseOrderer
{
    public IEnumerable<TTestCase> OrderTestCases<TTestCase>(
        IEnumerable<TTestCase> testCases) where TTestCase : ITestCase
    {
        string assemblyName = typeof(TestPriorityAttribute).AssemblyQualifiedName!;
        var sortedMethods = new SortedDictionary<int, List<TTestCase>>();
        foreach (TTestCase testCase in testCases)
        {
            int priority = testCase.TestMethod.Method
                .GetCustomAttributes(assemblyName)
                .FirstOrDefault()
                ?.GetNamedArgument<int>(nameof(TestPriorityAttribute.Priority)) ?? 0;

            GetOrCreate(sortedMethods, priority).Add(testCase);
        }

        foreach (TTestCase testCase in
            sortedMethods.Keys.SelectMany(
                priority => sortedMethods[priority].OrderBy(
                    testCase => testCase.TestMethod.Method.Name)))
        {
            yield return testCase;
        }
    }

    private static TValue GetOrCreate<TKey, TValue>(
        IDictionary<TKey, TValue> dictionary, TKey key)
        where TKey : struct
        where TValue : new() =>
        dictionary.TryGetValue(key, out TValue? result)
            ? result
            : (dictionary[key] = new TValue());
}

그런 다음 테스트 클래스에서 TestCaseOrdererAttribute를 PriorityOrderer로 지정하여 테스트 사례 순서를 설정합니다.

using Xunit;
using XUnit.Project.Attributes;

namespace XUnit.Project;

[TestCaseOrderer(
    ordererTypeName: "XUnit.Project.Orderers.PriorityOrderer",
    ordererAssemblyName: "XUnit.Project")]
public class ByPriorityOrder
{
    public static bool Test1Called;
    public static bool Test2ACalled;
    public static bool Test2BCalled;
    public static bool Test3Called;

    [Fact, TestPriority(5)]
    public void Test3()
    {
        Test3Called = true;

        Assert.True(Test1Called);
        Assert.True(Test2ACalled);
        Assert.True(Test2BCalled);
    }

    [Fact, TestPriority(0)]
    public void Test2B()
    {
        Test2BCalled = true;

        Assert.True(Test1Called);
        Assert.True(Test2ACalled);
        Assert.False(Test3Called);
    }

    [Fact]
    public void Test2A()
    {
        Test2ACalled = true;

        Assert.True(Test1Called);
        Assert.False(Test2BCalled);
        Assert.False(Test3Called);
    }

    [Fact, TestPriority(-5)]
    public void Test1()
    {
        Test1Called = true;

        Assert.False(Test2ACalled);
        Assert.False(Test2BCalled);
        Assert.False(Test3Called);
    }
}

우선 순위로 순서 지정

명시적으로 테스트의 순서를 지정하기 위해 NUnit은 OrderAttribute를 제공합니다. 이 특성이 지정된 테스트는 그렇지 않은 테스트보다 먼저 시작합니다. 순서 값은 단위 테스트를 실행하는 순서를 결정하는 데 사용됩니다.

using NUnit.Framework;

namespace NUnit.Project;

public class ByOrder
{
    public static bool Test1Called;
    public static bool Test2ACalled;
    public static bool Test2BCalled;
    public static bool Test3Called;

    [Test, Order(5)]
    public void Test1()
    {
        Test1Called = true;

        Assert.That(Test2ACalled, Is.False);
        Assert.That(Test2BCalled, Is.True);
        Assert.That(Test3Called, Is.True);
    }

    [Test, Order(0)]
    public void Test2B()
    {
        Test2BCalled = true;

        Assert.That(Test1Called, Is.False);
        Assert.That(Test2ACalled, Is.False);
        Assert.That(Test3Called, Is.True);
    }

    [Test]
    public void Test2A()
    {
        Test2ACalled = true;

        Assert.That(Test1Called, Is.True);
        Assert.That(Test2BCalled, Is.True);
        Assert.That(Test3Called, Is.True);
    }

    [Test, Order(-5)]
    public void Test3()
    {
        Test3Called = true;

        Assert.That(Test1Called, Is.False);
        Assert.That(Test2ACalled, Is.False);
        Assert.That(Test2BCalled, Is.False);
    }
}

다음 단계

단위 테스트 코드 검사

다음을 통해 공유