정의
통계학에서 p‑값은 귀무가설이 참이라고 가정할 때, 실제로 관측된 것만큼 또는 그보다 극단적인 결과가 나올 확률입니다.
p = P( 관측된 것만큼 극단적인 데이터 | H₀가 참 )
귀무가설은 재미없는 설명입니다. 효과가 없고, 차이가 없고, 우연 말고는 아무것도 없다는 것입니다. p‑값이 작다는 것은 그 재미없는 설명 아래에서는 관측된 데이터가 나오기 어렵다는 뜻이고, 그것이 귀무가설에 반하는 근거가 됩니다. p‑값이 크다는 것은 데이터가 "아무 일도 없었다"와 완벽하게 양립한다는 뜻입니다.
0.05는 어디서 왔는가
오래된 관행에 따라 기준은 α = 0.05입니다. p < 0.05인 결과를 통계적으로 유의하다고 부릅니다.
이 기준은 자연법칙이 아니라 관행입니다. 1920년대에 로널드 피셔가 널리 퍼뜨렸고, 0.05라는 특정한 값 자체는 임의적입니다. 분야마다 타당한 이유로 다른 기준을 씁니다. 입자물리학은 사용성 연구보다 훨씬 엄격한 근거를 요구합니다.
p‑값이 아닌 것 세 가지
흔한 오해
가설이 참일 확률이 아닙니다.
결과가 우연히 발생한 확률이 아닙니다.
효과 크기의 척도가 아닙니다. 표본이 충분히 크면, 실용적으로 무의미할 만큼 미세한 차이도 매우 작은 p‑값을 만들 수 있습니다.
p‑값 0.03은 무슨 뜻입니까?
귀무가설이 참이라면, 관측된 것만큼 극단적인 데이터가 나올 확률이 3%라는 뜻입니다. 관행적 기준인 α = 0.05 아래이므로 통계적으로 유의하다고 부릅니다.
p‑값이 작으면 더 좋은 제품입니까?
아닙니다. 그리고 바로 여기가 함정입니다. 유의성은 효과가 아마 실재한다고 말할 뿐, 그 효과가 당신에게 의미 있을 만큼 큰지는 말하지 않습니다. 두 질문은 별개이고 둘 다 답이 필요합니다.
왜 회사 이름을 이걸로 지었습니까?
대부분의 제품 주장은 신호로 포장된 소음입니다. 상호를 이 통계 용어로 지은 것은 반대 습관을 지키겠다는 약속입니다. 무엇을 측정했는지 밝히고, 무엇과 비교해 측정했는지 밝히고, 차이가 없을 때는 없다고 인정하는 것입니다.