[tolli #9] 유의하지 않은 A/B 테스트 결과로 무엇을 결정할 수 있을까? 학습 도입부 실험을 마친 과정

·
프로젝트
tolli의 학습 도입부를 2가지로 나눠서 8월 1일부터 9월 26일까지 실험해봤다.이미 익숙한 기존 사용자들은 실험 데이터에 오염을 유발할 수 있다고 판단했고, 이들을 제외하고 실험을 시작한 뒤 새로 가입한 총 82명을 2개의 그룹으로 나눴다.결론적으로 학습 완주율은 지금 플로우(A)가 84.4%, 바꿔 보려던 플로우(B)가 75.7%였다. 하지만 순열 검정의 p값은 0.40이었다.(순열 검정과 p값은 아래에서 설명하겠다.) 즉, 어느 쪽이 낫다고 말할 수 없는 결과였지만, 그래도 결정은 내려야 했다.이 글은 "A가 더 좋다"가 아니라 "B로 바꿀 근거가 없다"로 실험을 마친 과정에 대한 이야기다.이전 글들에도 말해왔지만 tolli는 성경 구절 하나를 7단계로 외우는 앱이다.학습은 도입부 화면 하나로 ..