릴리스 및 작업 항목 인사이트

아티클
10/15/2024

릴리스 및 작업 항목 인사이트는 소프트웨어 개발 수명 주기를 최적화하는 데 매우 중요합니다. 애플리케이션이 발전함에 따라 각 릴리스 및 해당 작업 항목을 면밀히 모니터링하는 것이 중요합니다. 이러한 인사이트는 성능 병목 상태를 강조 표시하고 팀이 문제를 사전에 해결할 수 있도록 하여 원활한 배포 및 사용자 환경을 보장합니다. 개발자와 관련자가 의사 결정을 내리고, 프로세스를 조정하고, 고품질 소프트웨어를 제공할 수 있도록 합니다.

Azure Pipelines는 Application Insights와 통합되어 소프트웨어 개발 수명 주기 내내 Azure DevOps 릴리스 파이프라인을 지속적으로 모니터링할 수 있습니다.

지속적으로 모니터링하여 릴리스 파이프라인이 Application Insights 및 기타 Azure 리소스의 모니터링 데이터를 통합할 수 있습니다. 릴리스 파이프라인이 Application Insights 경고를 감지하면 파이프라인은 경고가 해결될 때까지 배포를 제어하거나 롤백할 수 있습니다. 모든 검사에 통과하면 수동 개입 없이도 테스트에서 프로덕션까지 자동으로 진행할 수 있습니다.

연속 모니터링 구성

Azure DevOps에서 조직 및 프로젝트를 선택합니다.
프로젝트 페이지의 왼쪽 메뉴에서 파이프라인>릴리스를 선택합니다.
새로 만들기 옆에 있는 드롭다운 화살표를 선택하고 새 릴리스 파이프라인을 선택합니다. 또는 파이프라인이 아직 없는 경우 표시되는 페이지에서 새 파이프라인을 선택합니다.
템플릿 선택 창에서 연속 모니터링을 사용하여 Azure App Service 배포를 검색하고 선택한 후 적용을 선택합니다.
스테이지 1 상자에서 스테이지 작업 보기에 대한 하이퍼링크를 선택합니다.

스테이지 1 구성 창에서 다음 필드를 채워 넣습니다.

매개 변수	값
스테이지 이름	스테이지 이름을 제공하거나 그대로 스테이지 1으로 둡니다.
Azure 구독	드롭다운 화살표를 선택하고 연결된 사용하려는 Azure 구독을 선택합니다.
앱 유형	드롭다운 화살표를 선택하고 앱 유형을 선택합니다.
App Service 이름	Azure App Service의 이름을 입력합니다.
Application Insights의 리소스 그룹 이름	드롭다운 화살표를 선택하고 사용할 리소스 그룹을 선택합니다.
Application Insights 리소스 이름	드롭다운 화살표를 선택하고 선택한 리소스 그룹에 대한 Application Insights 리소스를 선택합니다.

기본 경고 규칙 설정을 사용하여 파이프라인을 저장하려면 Azure DevOps 창의 오른쪽 위 모서리에 있는 저장을 선택합니다. 설명을 입력하고 확인을 선택합니다.

경고 규칙 수정

기본적으로 연속 모니터링을 사용하여 Azure App Service 배포 템플릿에는 가용성, 실패한 요청, 서버 응답 시간및 서버 예외의 네 가지 경고 규칙이 있습니다. 규칙을 추가하거나 서비스 수준 요구 사항에 맞게 규칙 설정을 변경할 수 있습니다.

경고 규칙 설정을 수정하려면:

릴리스 파이프라인 페이지의 왼쪽 창에서 Application Insights 경고 구성을 선택합니다.

인라인 스크립트를 통해 네 가지 기본 경고 규칙을 만듭니다.

$subscription = az account show --query "id";$subscription.Trim("`"");$resource="/subscriptions/$subscription/resourcegroups/"+"$(Parameters.AppInsightsResourceGroupName)"+"/providers/microsoft.insights/components/" + "$(Parameters.ApplicationInsightsResourceName)";
az monitor metrics alert create -n 'Availability_$(Release.DefinitionName)' -g $(Parameters.AppInsightsResourceGroupName) --scopes $resource --condition 'avg availabilityResults/availabilityPercentage < 99' --description "created from Azure DevOps";
az monitor metrics alert create -n 'FailedRequests_$(Release.DefinitionName)' -g $(Parameters.AppInsightsResourceGroupName) --scopes $resource --condition 'count requests/failed > 5' --description "created from Azure DevOps";
az monitor metrics alert create -n 'ServerResponseTime_$(Release.DefinitionName)' -g $(Parameters.AppInsightsResourceGroupName) --scopes $resource --condition 'avg requests/duration > 5' --description "created from Azure DevOps";
az monitor metrics alert create -n 'ServerExceptions_$(Release.DefinitionName)' -g $(Parameters.AppInsightsResourceGroupName) --scopes $resource --condition 'count exceptions/server > 5' --description "created from Azure DevOps";

스크립트를 수정하고 경고 규칙을 더 추가할 수 있습니다. 경고 조건을 수정할 수도 있습니다. 또한 배포 목적에 맞지 않는 경고 규칙을 제거할 수 있습니다.

배포 조건 추가

릴리스 파이프라인에 배포 게이트를 추가하는 경우 설정된 임계값을 초과하는 경고는 원치 않는 릴리스 프로모션을 방지합니다. 경고를 해결하면 배포는 자동으로 진행됩니다.

배포 게이트를 추가하려면:

기본 파이프라인 페이지의 스테이지에서 연속 모니터링 게이트가 필요한 스테이지에 따라 배포 전 조건 또는 배포 후 조건 기호를 선택합니다.
배포 전 조건 구성 창에서 게이트를 사용으로 설정합니다.
배포 게이트옆의 추가를 선택합니다.
드롭다운 메뉴에서 Azure Monitor 경고 쿼리를 선택합니다. 이 옵션을 사용하면 Azure Monitor 및 Application Insights 경고에 모두 액세스할 수 있습니다.
평가 옵션에서 게이트 재평가 사이의 시간 및 게이트가 실패한 후의 시간 제한 같은 설정에 대해 원하는 값을 입력합니다.

릴리스 로그 보기

릴리스 로그의 배포 게이트 동작 및 기타 릴리스 단계를 확인할 수 있습니다. 로그를 열려면:

파이프라인 페이지의 왼쪽 메뉴에서 릴리스를 선택합니다.
릴리스를 선택합니다.
스테이지에서 스테이지를 선택하여 릴리스 요약을 확인합니다.
로그를 보려면 릴리스 요약에서 로그 보기를 선택하고, 스테이지에서 성공 또는 실패하이퍼링크를 선택하거나 스테이지를 마우스로 가리키고 로그를 선택합니다.

주석은 새 빌드를 배포한 위치나 다른 중요한 이벤트를 표시합니다. 주석으로 변경 내용이 애플리케이션의 성능에 영향을 주었는지 여부를 쉽게 확인할 수 있습니다. 주석은 Azure Pipelines 빌드 시스템에서 자동으로 만들 수 있습니다. PowerShell에서 주석을 만들어 원하는 이벤트에 대한 플래그를 지정하는 주석을 만들 수도 있습니다.

Azure Pipelines 빌드를 사용한 릴리스 주석

릴리스 주석은 Azure DevOps의 클라우드 기반 Azure Pipelines 서비스 기능입니다.

다음 조건이 모두 충족되면 배포 작업에서 릴리스 주석을 자동으로 만듭니다.

배포할 리소스는 APPINSIGHTS_INSTRUMENTATIONKEY 앱 설정을 통해 Application Insights에 연결됩니다.
Application Insights 리소스는 배포할 리소스와 동일한 구독에 있습니다.

다음 Azure DevOps 파이프라인 작업 중 하나를 사용하고 있습니다.

작업 코드	작업 이름	버전
AzureAppServiceSettings	Azure App Service 설정	모두
AzureRmWebAppDeployment	Azure App Service 배포	V3 이상
AzureFunctionApp	Azure 기능	모두
AzureFunctionAppContainer	컨테이너용 Azure Functions	모두
AzureWebAppContainer	Azure Web App for Containers	모두
AzureWebApp	Azure 웹앱	모두

참고 항목

Application Insights 주석 배포 작업을 계속 사용 중인 경우 해당 작업을 삭제해야 합니다.

릴리스 주석 구성

이전 섹션에서 배포 작업 중 하나를 사용할 수 없는 경우에는 배포 파이프라인에 인라인 스크립트 작업을 추가해야 합니다.

새 파이프라인 또는 기존 파이프라인으로 이동하여 작업을 선택합니다.
새 작업을 추가하고 Azure CLI를 선택합니다.
관련 Azure 구독을 지정합니다. 스크립트 유형을 PowerShell로 변경하고 스크립트 위치를 인라인으로 변경합니다.
다음 섹션의 2단계에서 PowerShell 스크립트를 인라인 스크립트에 추가합니다.

다음 인수를 추가합니다. 꺾쇠 괄호로 묶인 자리 표시자를 스크립트 인수에 대한 사용자의 값으로 바꿉니다. -releaseProperties은 선택 사항입니다.

    -aiResourceId "<aiResourceId>" `
    -releaseName "<releaseName>" `
    -releaseProperties @{"ReleaseDescription"="<a description>";
         "TriggerBy"="<Your name>" }

다음은 build 및 release 변수를 사용하여 선택적 releaseProperties 인수에서 설정할 수 있는 메타데이터의 예입니다.

-releaseProperties @{
 "BuildNumber"="$(Build.BuildNumber)";
 "BuildRepositoryName"="$(Build.Repository.Name)";
 "BuildRepositoryProvider"="$(Build.Repository.Provider)";
 "ReleaseDefinitionName"="$(Build.DefinitionName)";
 "ReleaseDescription"="Triggered by $(Build.DefinitionName) $(Build.BuildNumber)";
 "ReleaseEnvironmentName"="$(Release.EnvironmentName)";
 "ReleaseId"="$(Release.ReleaseId)";
 "ReleaseName"="$(Release.ReleaseName)";
 "ReleaseRequestedFor"="$(Release.RequestedFor)";
 "ReleaseWebUrl"="$(Release.ReleaseWebUrl)";
 "SourceBranch"="$(Build.SourceBranch)";
 "TeamFoundationCollectionUri"="$(System.TeamFoundationCollectionUri)" }

저장을 선택합니다.

Azure CLI를 사용하여 릴리스 주석 만들기

CreateReleaseAnnotation PowerShell 스크립트를 사용하여 Azure DevOps를 사용하지 않고도 원하는 모든 프로세스에서 주석을 만들 수 있습니다.

Azure CLI에 로그인합니다.

다음 스크립트의 로컬 복사본을 만든 후 CreateReleaseAnnotation.ps1로 지칭합니다.

param(
    [parameter(Mandatory = $true)][string]$aiResourceId,
    [parameter(Mandatory = $true)][string]$releaseName,
    [parameter(Mandatory = $false)]$releaseProperties = @()
)

# Function to ensure all Unicode characters in a JSON string are properly escaped
function Convert-UnicodeToEscapeHex {
  param (
    [parameter(Mandatory = $true)][string]$JsonString
  )
  $JsonObject = ConvertFrom-Json -InputObject $JsonString
  foreach ($property in $JsonObject.PSObject.Properties) {
    $name = $property.Name
    $value = $property.Value
    if ($value -is [string]) {
      $value = [regex]::Unescape($value)
      $OutputString = ""
      foreach ($char in $value.ToCharArray()) {
        $dec = [int]$char
        if ($dec -gt 127) {
          $hex = [convert]::ToString($dec, 16)
          $hex = $hex.PadLeft(4, '0')
          $OutputString += "\u$hex"
        }
        else {
          $OutputString += $char
        }
      }
      $JsonObject.$name = $OutputString
    }
  }
  return ConvertTo-Json -InputObject $JsonObject -Compress
}

$annotation = @{
    Id = [GUID]::NewGuid();
    AnnotationName = $releaseName;
    EventTime = (Get-Date).ToUniversalTime().GetDateTimeFormats("s")[0];
    Category = "Deployment"; #Application Insights only displays annotations from the "Deployment" Category
    Properties = ConvertTo-Json $releaseProperties -Compress
}

$annotation = ConvertTo-Json $annotation -Compress
$annotation = Convert-UnicodeToEscapeHex -JsonString $annotation  

$accessToken = (az account get-access-token | ConvertFrom-Json).accessToken
$headers = @{
    "Authorization" = "Bearer $accessToken"
    "Accept"        = "application/json"
    "Content-Type"  = "application/json"
}
$params = @{
    Headers = $headers
    Method  = "Put"
    Uri     = "https://management.azure.com$($aiResourceId)/Annotations?api-version=2015-05-01"
    Body    = $annotation
}
Invoke-RestMethod @params

참고 항목

Azure Portal에 표시되려면 주석에 범주가 배포로 설정되어 있어야 합니다.
"요청에 엔터티 본문은 있지만 Content-Type 헤더가 없습니다."라는 오류가 표시되면 다음 줄에서 바꾸기 매개 변수를 제거해보세요.

$body = (ConvertTo-Json $annotation -Compress)

다음 코드를 사용하여 PowerShell 스크립트를 호출합니다. 꺾쇠 괄호로 묶인 자리 표시자를 사용자의 값으로 바꿉니다. -releaseProperties은 선택 사항입니다.

     .\CreateReleaseAnnotation.ps1 `
      -aiResourceId "<aiResourceId>" `
      -releaseName "<releaseName>" `
      -releaseProperties @{"ReleaseDescription"="<a description>";
          "TriggerBy"="<Your name>" }

인수	정의	참고 항목
`aiResourceId`	대상 Application Insights 리소스에 대한 리소스 ID입니다.	예시: /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/MyRGName/providers/microsoft.insights/components/MyResourceName
`releaseName`	생성된 릴리스 주석을 지정할 이름입니다.
`releaseProperties`	사용자 지정 메타데이터를 주석에 연결하는 데 사용됩니다.	선택 사항

주석 보기

참고 항목

현재 Application Insights의 메트릭 창에서 릴리스 주석을 사용할 수 없습니다.

릴리스 템플릿을 사용하여 새 릴리스를 배포할 때마다 주석이 Application Insights로 전송됩니다. 다음 위치에서 주석을 볼 수 있습니다.

성능:
실패:
사용법:
통합 문서:

모든 로그 기반 통합 문서 쿼리에서는 x축이 시간을 나타내도록 시각화됩니다.

통합 문서에서 주석을 활성화하려면 고급 설정으로 이동하여 주석 표시를 선택합니다.

주석 표시 확인란이 강조 표시된 고급 설정 메뉴를 보여 주는 스크린샷.

주석 마커를 클릭하면 요청자, 소스 제어 분기, 릴리스 파이프라인, 환경 등 릴리스에 대한 세부 정보를 열어볼 수 있습니다.

API 키를 사용한 릴리스 주석

릴리스 주석은 Azure DevOps의 클라우드 기반 Azure Pipelines 서비스 기능입니다.

Important

API 키를 사용하는 주석은 사용되지 않습니다. 대신 Azure CLI를 사용하는 것이 좋습니다.

주석 확장 설치(한 번)

릴리스 주석을 만들려면 Visual Studio Marketplace에서 사용 가능한 여러 Azure DevOps 확장 중 하나를 설치합니다.

Azure DevOps 프로젝트에 로그인합니다.
Visual Studio Marketplace 릴리스 주석 확장 페이지에서 Azure DevOps 조직을 선택합니다. 설치를 선택하여 Azure DevOps 조직에 확장을 추가합니다.

Azure DevOps 조직에 대해 한 번만 확장을 설치하면 됩니다. 이제 조직의 모든 프로젝트에 대해 릴리스 주석을 구성할 수 있습니다.

API 키를 사용하여 릴리스 주석 구성

Azure Pipelines 릴리스 템플릿 각각에 대해 별도의 API 키를 만듭니다.

Azure Portal에 로그인하고 애플리케이션을 모니터링하는 Application Insights 리소스를 엽니다. Application Insights 리소스가 없다면, 새 Application Insights 리소스를 만듭니다.
API 액세스 탭을 열고 Application Insights ID를 복사합니다.
별도의 브라우저 창에서, Azure Pipelines 배포를 관리하는 릴리스 템플릿을 열거나 만듭니다.
작업 추가를 선택한 후 메뉴에서 Application Insights 릴리스 주석 작업을 선택합니다.

참고 항목

릴리스 주석 작업은 현재 Windows 기반 에이전트만 지원합니다. Linux, macOS 또는 다른 유형의 에이전트에서는 실행되지 않습니다.
API 액세스 탭에서 복사한 Application Insights ID를 애플리케이션 ID 아래에 붙여넣습니다.
Application Insights 창으로 돌아가서 API 액세스 창에서 API 키 만들기를 선택합니다.
API 키 만들기 창에 설명을 입력하고, 주석 작성을 선택한 다음, 키 생성을 선택합니다. 새 키를 복사합니다.
릴리스 템플릿 창의 변수 탭에서 추가를 선택하여 새 API 키에 대한 변수 정의를 만듭니다.
이름에 ApiKey를 입력합니다. 이름 아래에 API 액세스 탭에서 복사한 API 키를 붙여넣습니다.
메인 릴리스 템플릿 창에서 저장을 선택하여 템플릿을 저장합니다.

참고 항목

API 키의 한도는 REST API 속도 한도 설명서에 설명되어 있습니다.

새 릴리스 주석으로 전환

새 릴리스 주석을 사용하려면:

릴리스 주석 확장을 제거합니다.
Azure Pipelines 배포에서 Application Insights 릴리스 주석 작업을 제거합니다.
Azure Pipelines 또는 Azure CLI를 사용하여 새 릴리스 주석을 만듭니다.

작업 항목 통합 기능을 사용하면 관련 Application Insights 데이터가 포함되어 있는 GitHub 또는 Azure DevOps에서 쉽게 작업 항목을 만들 수 있습니다.

새 작업 항목 통합은 클래식에 비해 다음과 같은 기능을 제공합니다.

담당자, 프로젝트 또는 이정표와 같은 고급 필드.
GitHub와 Azure DevOps 통합 문서를 구분할 수 있도록 리포지토리 아이콘.
임의의 수의 리포지토리 또는 작업 항목에 대한 다중 구성.
Azure Resource Manager 템플릿을 통한 배포.
작업 항목에 Application Insights 데이터를 추가하기 위한 사전 구축 및 사용자 지정 가능한 KQL(키워드 쿼리 언어) 쿼리입니다.
사용자 정의 가능한 통합 문서 템플릿.

작업 항목 템플릿 만들기 및 구성

작업 항목 템플릿을 만들려면 Application Insights 리소스로 이동하여 ‘구성’ 아래 왼쪽에서 작업 항목을 선택하고 맨 위에서 새 템플릿 만들기를 선택합니다.

현재 템플릿이 없는 경우 엔드투엔드 간 트랜잭션 세부 정보 탭에서 작업 항목 템플릿을 만들 수도 있습니다. 이벤트를 선택하고 오른쪽에서 작업 항목 만들기, 통합 문서 템플릿으로 시작을 차례로 선택합니다.
새 템플릿 만들기를 선택하면 추적 시스템을 선택하고 통합 문서 이름을 지정하고 선택한 추적 시스템에 연결하고 템플릿을 저장할 지역(기본값은 Application Insights 리소스가 있는 지역)을 선택할 수 있습니다. URL 매개 변수는 리포지토리의 기본 URL입니다(예: https://github.com/myusername/reponame 또는 https://dev.azure.com/{org}/{project}).

템플릿 자체에서 직접 특정 작업 항목 속성을 설정할 수 있습니다. 버전 제어 공급자에 따라 담당자, 반복 경로, 프로젝트, 등이 포함됩니다.

참고 항목

온-프레미스 Azure DevOps 환경의 경우 https://dev.azure.com/test/test와 같은 샘플 URL을 Azure DevOps 프로젝트 URL에 대한 자리 표시자로 사용할 수 있습니다. 작업 항목 템플릿이 만들어지면 생성된 Azure 통합 문서 내에서 URL과 해당 유효성 검사 규칙을 수정할 수 있습니다.

작업 항목 만들기

성능, 오류, 가용성 또는 기타 탭에서 액세스할 수 있는 엔드투엔드 트랜잭션 세부 정보에서 새 템플릿에 액세스할 수 있습니다.

작업 항목을 만들려면 엔드투엔드 트랜잭션 세부 정보로 이동하여 이벤트를 선택하고 작업 항목 만들기를 선택하고 작업 항목 템플릿을 선택합니다.
브라우저에 추적 시스템을 선택하는 새 탭이 열립니다. Azure DevOps에서는 버그나 작업을 만들 수 있고 GitHub에서는 리포지토리에 새 이슈를 만들 수 있습니다. Application Insights에서 제공하는 컨텍스트 정보로 새 작업 항목이 자동으로 만들어집니다.