# DATUMO Docs

## Home

- [Developer Platform](https://docs.datumo.com/readme.md): Welcome to your team’s developer platform

## Documentation

- [Overview](https://docs.datumo.com/documentation/readme.md)
- [Quickstart](https://docs.datumo.com/documentation/readme/quickstart.md)
- [핵심 개념과 구조](https://docs.datumo.com/documentation/get-started/publish-your-docs.md)
- [사용 방법](https://docs.datumo.com/documentation/get-started/undefined.md)
- [1. Workspace 생성](https://docs.datumo.com/documentation/get-started/undefined/1.-workspace.md)
- [2. User 관리](https://docs.datumo.com/documentation/get-started/undefined/2.-user.md)
- [3. Gen\&Judge 모델 등록](https://docs.datumo.com/documentation/get-started/undefined/3.-gen-and-judge.md)
- [4. Application 생성](https://docs.datumo.com/documentation/get-started/undefined/4.-application.md)
- [5. Application API 연동](https://docs.datumo.com/documentation/get-started/undefined/5.-application-api.md)
- [핵심 개념과 구조](https://docs.datumo.com/documentation/evaluation/editor.md)
- [사용 방법](https://docs.datumo.com/documentation/evaluation/undefined.md)
- [E-1. Criteria 생성 & 관리](https://docs.datumo.com/documentation/evaluation/undefined/e-1.-criteria-and.md)
- [E-2. Task 관리](https://docs.datumo.com/documentation/evaluation/undefined/e-2.-task.md)
- [E-3. Benchmark셋 관리](https://docs.datumo.com/documentation/evaluation/undefined/e-3.-benchmark.md)
- [E-4. Metric 추가&관리](https://docs.datumo.com/documentation/evaluation/undefined/e-4.-metric-and.md)
- [E-5. Run Eval](https://docs.datumo.com/documentation/evaluation/undefined/e-5.-run-eval.md)
- [E-6. Eval Result](https://docs.datumo.com/documentation/evaluation/undefined/e-6.-eval-result.md)
- [E-7. Dashboard](https://docs.datumo.com/documentation/evaluation/undefined/e-7.-dashboard.md)
- [E-8. Run Report](https://docs.datumo.com/documentation/evaluation/undefined/e-8.-run-report.md)
- [핵심 개념과 구조](https://docs.datumo.com/documentation/simulation-studio/undefined.md): Agent Policy(기획/정책 문서)를 업로드하면 Datumo가 평가 시나리오를 자동으로 만들고, 가상 사용자와 에이전트간의 멀티턴 대화를 진행한 뒤, 평가 시나리오에 따라 에이전트의 답변을 평가합니다.
- [사용 방법](https://docs.datumo.com/documentation/simulation-studio/undefined-1.md)
- [S-1. Simulation Studio](https://docs.datumo.com/documentation/simulation-studio/undefined-1/s-1.-simulation-studio.md): 에이전트의 기획/정책 문서(Agent Policy)만 올리면 Datumo가 평가 시나리오를 자동으로 만들고, 가상 사용자와 대화시킨 뒤, 정책을 지켰는지까지 채점합니다. 테스트 대화를 직접 만들지 않아도 "이 에이전트가 정책대로 응대하는가"를 바로 확인할 수 있습니다.
- [Selectstar](https://docs.datumo.com/documentation/redteaming/selectstar.md)
- [핵심 개념과 구조](https://docs.datumo.com/documentation/redteaming/undefined.md)
- [사용 방법](https://docs.datumo.com/documentation/redteaming/undefined-1.md)
- [R-1. 개요(Overview)](https://docs.datumo.com/documentation/redteaming/undefined-1/r-1.-overview.md): 진행 중인 평가 현황을 모니터링하고 평가 이력, 분석, 시드 관리로 바로 이동합니다.
- [R-2. 평가 이력(Runs)](https://docs.datumo.com/documentation/redteaming/undefined-1/r-2.-runs.md): 배치, 타깃, 알고리즘, 시드, 상태별로 레드 티밍 실행을 추적하고 관리합니다.
- [R-3. 대시보드(Dashboard)](https://docs.datumo.com/documentation/redteaming/undefined-1/r-3.-dashboard.md): 실행, 택소노미, 공격 전략별로 자동 레드 티밍 결과를 분석합니다.
- [R-4. 시드 관리(Seed Management)](https://docs.datumo.com/documentation/redteaming/undefined-1/r-4.-seed-management.md): 업로드, 생성을 포함하여 테스트에 사용되는 시드 세트를 관리합니다.
- [R-5. 모델 설정(Model Setting)](https://docs.datumo.com/documentation/redteaming/undefined-1/r-5.-model-setting.md): 판정, 시드 생성, 레드팀 실행에 사용되는 기본 모델과 알고리즘별 설정을 구성합니다.
- [핵심 개념과 구조](https://docs.datumo.com/documentation/evaluation-lab/undefined.md)
- [사용 방법](https://docs.datumo.com/documentation/evaluation-lab/undefined-1.md)
- [EL-1. Task 생성 및 설정](https://docs.datumo.com/documentation/evaluation-lab/undefined-1/el-1.-task.md)
- [EL-2. 테스터 공격 수행](https://docs.datumo.com/documentation/evaluation-lab/undefined-1/el-2..md)
- [EL-3. 결과 확인 및 Task 관리](https://docs.datumo.com/documentation/evaluation-lab/undefined-1/el-3.-task.md)
- [핵심 개념과 구조](https://docs.datumo.com/documentation/observability/undefined.md): Observability는 고객사의 AI Application에서 발생한 실제 유저 사용 로그를 Datumo Platform으로 연동해, 서비스가 현재 잘 작동하고 있는지를 지속적으로 확인하는 기능입니다. 사전에 구성한 벤치마크로 평가하는 Evaluation과 달리, 운영 중인 서비스의 실사용 데이터를 대상으로 안전성과 품질을 점검합니다.
- [사용 방법](https://docs.datumo.com/documentation/observability/undefined-1.md)
- [O-1. Setting](https://docs.datumo.com/documentation/observability/undefined-1/o-1.-setting.md)
- [O-2. Fail Case](https://docs.datumo.com/documentation/observability/undefined-1/o-2.-fail-case.md): Fail Case는 평가 결과 1개 이상의 Metric에서 위반이 발견된 턴을 모아 보여주는 페이지입니다. 운영 중인 서비스에서 어떤 유저 입력에 대해 어떤 문제가 발생했는지 직접 확인할 때 활용합니다.
- [O-3. Admin Page](https://docs.datumo.com/documentation/observability/undefined-1/o-3.-admin-page.md): Admin Page의 Chat Test는 QA 목적으로 제공되는 채팅 테스트 페이지입니다. 실제 로그 연동 없이 채팅을 발생시켜 Session / Turn이 올바르게 부여되는지, System Prompt 변경이 평가 결과에 어떻게 반영되는지를 확인할 때 사용합니다.

## Changelog

- [Changelog](https://docs.datumo.com/changelog/readme.md): New updates and improvements

## Help Center

- [Help Center](https://docs.datumo.com/help-center/readme.md)