Databricks 도우미 영향 측정
이 문서에서는 채택, egagement 및 보고된 생산성 향상 측면에서 Databricks Assistant의 영향을 측정하는 방법에 대한 정보를 제공합니다.
요구 사항
Databricks Assistant의 영향을 측정하려면 다음이 필요합니다.
- 시스템 테이블을 사용하도록 설정하는 데 필요한 계정 관리자 권한입니다. 시스템 테이블 사용을 참조 하세요.
- 팀의 길잡이에 대한 주관적인 피드백을 얻기 위한 내부 설문 조사입니다.
데이터와 메트릭 비교
시스템 테이블 및 설문 조사에서 원시 데이터를 가져옵니다. 도우미 영향을 이해하려면 데이터를 분석하고 메트릭으로 보고해야 합니다. 메트릭은 도우미 영향과 관련된 특정 측면 또는 활동을 측정하는 데 사용하는 계산 값입니다. 또한 이 문서에서는 메트릭을 측정값으로 참조합니다.
도우미 영향을 측정하기 위한 팁
조직에서 Databricks Assistant를 사용하는 방법을 이해하려면 먼저 Databricks Assistant와의 채택 및 참여를 측정합니다. 이 데이터는 시스템 테이블에서 계산할 수 있습니다.
데이터를 정기적으로 검토하고 공유 대시보드에서 쉽게 사용할 수 있도록 합니다. 대시보드 예제 및 템플릿은 Databricks Assistant 시스템 테이블 참조 및 예제를 참조하세요.
도우미 영향 메트릭
다음은 시스템 테이블과 사용자 피드백 모두에서 도우미 영향의 권장 측정값입니다. 메트릭 계산의 예를 들어 GitHub에서 Assistant 이벤트 대시보드 파일을 다운로드하고 JSON에서 계산을 읽습니다. 대시보드 파일을 가져오는 방법을 알아보려면 대시보드 파일 가져오기를 참조 하세요.
또한 조직을 조사하면 도우미와의 참여 효율성을 이해하는 데 도움이 됩니다. 권장 설문 조사 질문을 참조하세요.
| 측정값 | 정의 | 단계 | 데이터 원본 |
|---|---|---|---|
| 전체 상위 사용자 | 길잡이와 가장 자주 상호 작용하는 지정된 기간의 사용자 | 채택 | Databricks Assistant 시스템 테이블 데이터에서 계산합니다. |
| 제출 데이터: 작업 영역당 및 합계 | 작업 영역당 및 계정당 Assistant에 제출된 요청 수 | 채택 | Databricks Assistant 시스템 테이블 데이터에서 계산합니다. |
| 일별 및 월별 활성 사용자 | 지정된 날짜에 1개 이상의 제안을 받고 수락했거나 1개 이상의 채팅에 참여한 고유 사용자입니다. | 참여 | Databricks Assistant 시스템 테이블 데이터에서 계산합니다. |
| 작업 영역당 활성 사용자 | Assistant와 상호 작용하는 지정된 작업 영역의 고유 사용자 | 참여 | Databricks Assistant 시스템 테이블 데이터에서 계산합니다. |
| Databricks Assistant를 사용하는 상위 작업 역할 | 조직에서 길잡이를 사용하는 각 역할의 사용자 수 | 참여 | 조직 설문 조사 |
| 도우미의 주요 작업 | 가장 일반적인 작업 도우미는 | 참여 | 조직 설문 조사 |
| 길잡이 사용 빈도 | 사용자당 Assistant 사용의 자체 보고 빈도 | 참여 | 조직 설문 조사 |
| 도우미 사용의 상위 영역 | 자체 보고 사용 영역: SQL 편집기, Notebook 또는 둘 다 | 참여 | 조직 설문 조사 |
| 도우미 도움말에 대한 사용자 만족도 | 1-5의 규모로 도우미의 답변에 대한 자체 보고 만족도 | 사용자 만족도 | 조직 설문 조사 |
| 사용자 생산성 향상 | 1-5의 규모로 Assistant를 사용하여 얻은 자체 보고 생산성 증가 | 사용자 만족도 | 조직 설문 조사 |
| 도우미를 사용하여 사용자가 저장하는 시간 | Assistant를 사용하여 작업을 완료하여 저장한 자체 보고 시간 비율 | 사용자 만족도 | 조직 설문 조사 |
권장 설문 조사 질문
시스템 테이블은 조직에서 Databricks Assistant를 사용하는 방법에 대한 모든 정보를 캡처하지 않습니다. 아래와 같은 설문 조사 질문을 사용하여 조직에서 Assistant를 사용하는 방법을 이해합니다.
- 귀하의 역할은 무엇인가요? 조직의 역할 나열
- 길잡이를 얼마나 자주 사용합니까?
- 시간당
- 매일
- 매주
- 매월
- AI 길잡이는 어디에서 사용합니까?
- SQL 편집기
- Notebooks
- 모두
- Assistant의 주요 사용 사례는 무엇인가요?
- 오류 수정/문제 해결
- 코드 작성 도움말
- 코드 리팩터링
- SQL 쿼리 작성
- 단위 테스트 작성
- 설명서 조회
- 길잡이의 답변에 얼마나 만족하시나요? 1-5의 규모, 매우 만족에 만족하지 않음
- AI Assistant를 사용하기 때문에 생산성이 더 높아진다고 말하시겠습니까? 1-5의 규모, 생산성이 훨씬 낮아 생산성 향상
- 길잡이를 사용하여 평균 작업에 얼마나 많은 시간을 절약할 수 있을까요?
- 0-10%
- 10-30%
- 30~50%
- 50-70%
- 70% 이상