예측확률 보정 평가 계산기: Brier score·구간별 관측확률
예측확률 보정 평가 계산기 사용법
- 입력 항목은 실제 레이블 0/1, 예측 양성 확률·동일 너비 구간 수입니다.
- 실제 0·1 결과와 예측확률을 입력하고 동일 너비 구간 수를 선택합니다. Brier 점수와 구간별 예측·관측 비율을 비교합니다.
- 계산하기를 누르면 Brier 점수·구간 기반 ECE 결과를 확인할 수 있습니다. 아래 고정 예시와 비교할 때는 입력 조건도 같아야 합니다.
| 입력 항목 | 예시 값 | 입력 안내 |
|---|---|---|
| 실제 레이블 0/1, 예측 양성 확률 | 1 0.9 0 0.8 1 0.7 0 0.4 1 0.3 0 0.1 | 한 행씩 줄바꿈, 열은 공백 또는 쉼표로 구분합니다. 표 안에서는 천 단위 쉼표를 쓰지 마세요. |
| 동일 너비 구간 수 | 5 | 2~20 정수 · 천 단위 쉼표 사용 가능 |
| 결과 항목 | 예시 결과 |
|---|---|
| Brier 점수 | 0.233333333 |
| 구간 기반 ECE | 0.366666667 |
| 구간 하한 | 구간 상한 | 표본수 | 평균 예측확률 | 관측 양성비율 |
|---|---|---|---|---|
| 0 | 0.2 | 1 | 0.1 | 0 |
| 0.2 | 0.4 | 1 | 0.3 | 1 |
| 0.4 | 0.6 | 1 | 0.4 | 0 |
| 0.6 | 0.8 | 1 | 0.7 | 1 |
| 0.8 | 1 | 2 | 0.85 | 0.5 |
위 표는 고정된 예시입니다. 직접 입력한 값의 결과는 입력란 아래에 표시됩니다. 실제 이용 시에는 아래 계산 방법과 적용 조건을 함께 확인하세요.
계산 방법
입력 자료를 다음 방식으로 계산합니다. Brier score·구간별 관측확률
알아두세요
마지막 구간만 상한 1을 포함합니다. ECE는 선택한 구간 수와 표본수에 민감합니다. 입력 범위 안의 모형 계산이며 실제 자료의 가정 충족 여부를 자동 판정하지 않습니다.
자주 묻는 질문
ECE가 구간 수를 바꿀 때 달라지는 이유는 무엇인가요?
구간을 나누는 방법에 따라 관측 비율의 평균이 달라지기 때문입니다. 작은 표본의 ECE 한 값만으로 확률 보정 성능을 단정하지 않습니다.
계산 방식 참고: scikit-learn 모델 평가 참고 — 관련 계산 원리 참고
입력·결과 안내 점검: · 생활 계산기