0. 개요
면접을 복기하는 과정에서, 확률에 대한 검증을 하는 방법을 정리했었다.
대학교 공학수학 찍먹정도의 지식수준 + GPT + Gemini 로 복기한 탓에 맞는 방법인지는 모르겠지만, 그래도.. 맞다고 생각한다.
요약하자면, 커뮤니케이션을 정량적으로 하기위해, 즉 숫자로 대화하기 위한 복기다.
- 수학 공식 관련 설정 했는데 .. 나오지 않는 이슈..수정 예정..
($$ 관련 마크다운은 이슈입니다..)
1. 문제 정의
당신은 1% 확률에 대한 검증을 해야 한다.
이런 확률에 대한 검증은 무한에 가까운 시행을 하면, 해당 확률에 근접한 값이 나오기 때문에 검증을 할 수 있다.
하지만, 무한한 시행은 시간적으로나, 기술적으로 불가능할 가능성이 있다.
그렇기에, 두가지 케이스가 발생할 수 있다.
2. 확률 기능이 정상일 가능성은 얼마나 될까?
문제를 조금 정의 해보자.
만약 1% 확률을 10,000번 시행했다. 그 결과, 110개의 당첨 결과가 나왔다.
그럼 이 확률 기능이 정상 작동하고 있을 가능성은 얼마나 될까?
$μ±Zσ$ 공식을 통해 그 답을 알 수 있다.
μ = 기댓값 (평균)
σ = 표준편차, $σ=\sqrt {np(1−p)}$
Z = 신뢰 수준
Z 값, 즉 신뢰 수준은, "이게 맞을 확률"정도로 해석이 가능하다.
95%의 신뢰도라 하면, 95% 확률로 결과를 신뢰할 수 있다는 뜻.
통계에서는 95% = 1.96, 99% = 2.58 과 같은 Z 값이 정해져있다.
표준편차는 약 9.95, 기댓값은 100. 약 80 ~ 120 이라는 범위가 나온다.
즉, 정규분포표에 따르면, 80 ~ 120개가 나왔을 때 95% 확률로 이 결과를 신뢰해도 좋다는 뜻이다.
3.최소 몇번을 시행해야 믿을만한 결과를 얻을 수 있을까?
우선 수학 공식이 있다.
$$n = Z^2 \times \frac{p(1-p)}{e^2}$$
n = 시행 횟수
Z = 신뢰 수준
e = 허용 오차
p = 확률
으로 계산이 가능하다.
그렇다면, p 값을 알고있기 때문에, Z 값과 e 값을 설정하면 된다.
e 값, 즉 허용 오차는, "이정도는 납득할만한 오차" 정도로 해석이 가능하다.
1% 확률이었으니, 0.8%~1.2% 정도만 되면 납득하겠다 정도로 해석이 가능하다.
이 값에 대한 설정은 정성적으로 설정될 수 밖에 없다.
확률이 너무나도 중요하면, Z 값은 높아지고 , e 값은 낮아진다.
그럼 n 값이 너무 커지고, 그럼 시행 횟수가 너무나도 높아지기 때문에 현실적인 값을 설정해야 한다.
신뢰도가 95% ( Z = 1.96) 로 설정되어 있고, 허용 오차를 조절하면
| 허용 오차 | n 값 | |
| 0.8% ~ 1.2 % | 9,500 | |
| 0.9% ~ 1.1 % | 38,000 | |
| 0.95% ~ 1.05 % | 153,000 | |
만약 커뮤니케이션 한다면,
0.8% ~ 1.2% 가 1%라는 가정 하에 9,500번 시행했고, 이 결과가 올바를 가능성은 95%다.
라고 할 수 있다.
4. 이걸 어디에 쓸까?
만약, 회사 프로덕트에 다양한 확률 관련 상품들이 나오기 시작했다.
그래서, 최대한 많이 시행해서 그 테스트 결과를 보고하기로 했다.
1만번 했는데 110번 나온 상황에서
❌"대충 100이랑 비슷하니까 맞지 않을까요?"
✅"80 ~ 120 범위 안에 들면 95% 확률로 믿을만 한 결과입니다."
라는 답변이 더욱 신뢰가는 리포트일 것 같다.
커뮤니케이션 역량과도 연관이 있다.
"가끔, 종종, 자주"보다는 "20%, 50%, 80% 가능성으로" 라는 표현이 더욱 정량적이다.
또한 본인의 테스트 기준을 숫자로도 표현이 가능하다.
❌"그냥 많이 했다"
✅"허용 오차나 신뢰도는 이정도로 설정해서 했다"
를 말하면 팀의 기준으로도 설정하기 바람직하지 않을까 생각한다.
5. 마무리
사실 p-value를 통해 어쩌구 저쩌구가 더 있다.
하지만, 커뮤니케이션을 위한 정도라면 이정도면 적절한 것 같다는 생각에 정확하게 찾아보지는 않았다.
당연히 틀린부분이 많이 있을 것 같다. 통계학 척척박사님들이 알려주면 수정할 예정!
GPT와 Gemini가 다 알려주는 세상이지만, 그 답변을 이해하지 못한다면 이 답이 맞는 소리인지 모른다.
또한 문제를 정의하는 것도 결국 문제상황을 잘 이해해야 정의하고, 질문할 수 있다.
맞는지 틀린지는 모르지만 아무튼 복기 끝!
'노트 > QA' 카테고리의 다른 글
| [QA] shift-left testing에 대해 (0) | 2025.06.13 |
|---|



































