Y.Siyeon

5 분 소요

가설검정

  • 총 3가지 검정 실시
  • 주지표인 N일 이내의 구매전환율
  • 부지표인 Path,Funnel 두 가지 진행
  • Path 분석 : View -> buy (Direct), View -> cart -> buy (viacart)
  • Funnel 분석 : view -> cart, cart -> buy

1. N일 이내의 구매전환율

기간 Z-stat P-value Effect Size CI Lower CI Upper
1일 8.4755 ≈ 0 0.00125 0.00096 0.00153
7일 8.1983 2.22e-16 0.00123 0.00094 0.00153
14일 8.3525 ≈ 0 0.00127 0.00097 0.00156
30일 8.4842 ≈ 0 0.00129 0.00099 0.00159

1일

검정통계량(Z=8.48), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00125)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 다만 효과의 크기는 절대적으로 매우 작아 실제 영향력은 제한적일 수 있다.

2일

검정통계량(Z=8.20), p-value≈0(2.22e-16)으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00123)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 매우 작아 실제 영향력은 제한적일 수 있다.

14일

검정통계량(Z=8.35), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00127)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 다만 효과의 크기는 절대적으로 매우 작아 실제 영향력은 제한적일 수 있다.

30일

검정통계량(Z=8.48), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00129)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 절대적으로 매우 작아 실제 영향력은 제한적일 수 있다.

2. Path

View → Cart

기간 Z-stat P-value Effect Size CI Lower CI Upper
1일 6.4367 1.22e-10 0.00152 0.00106 0.00199
7일 6.4717 9.69e-11 0.00157 0.00110 0.00205
14일 6.4063 1.49e-10 0.00156 0.00109 0.00204
30일 6.5586 5.43e-11 0.00161 0.00113 0.00209

Cart → Purchase

기간 Z-stat P-value Effect Size CI Lower CI Upper
1일 6.1333 8.61e-10 0.02970 0.02021 0.03919
7일 5.5976 2.17e-08 0.02679 0.01741 0.03618
14일 5.8053 6.43e-09 0.02771 0.01835 0.03707
30일 5.8156 6.04e-09 0.02770 0.01836 0.03703

1일

  • View→Cart 결과 검정통계량(Z=6.44), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00152)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 절대적으로 매우 작아 실제 영향력은 제한적일 수 있다.

  • Cart→Purchase 결과 검정통계량(Z=6.13), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.0297)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 다만, 효과의 크기가 상대적으로 크긴 하지만 여전히 주의 깊은 해석이 필요하다.

7일

  • View→Cart 결과 검정통계량(Z=6.47), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00157)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 매우 작아 실제 영향력은 제한적일 수 있다.

  • Cart→Purchase 결과 검정통계량(Z=5.60), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.0268)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다.

14일

  • View→Cart 결과 검정통계량(Z=6.41), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00156)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 매우 작아 실제 영향력은 제한적일 수 있다.

  • Cart→Purchase 결과 검정통계량(Z=5.81), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.0277)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다.

30일

  • View→Cart 결과 검정통계량(Z=6.56), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.00161)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 효과의 크기는 매우 작아 실제 영향력은 제한적일 수 있다.

  • Cart→Purchase 결과 검정통계량(Z=5.82), p-value≈0으로 유의수준 0.05보다 충분히 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. 또한 Effect Size가 양수(0.0277)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다.

3. Funnel

Direct (View → Purchase)

기간 Z-stat P-value Effect Size CI Lower CI Upper
1일 -2.194 0.0282 -0.01097 -0.02078 -0.00117
7일 -1.630 0.1030 -0.00766 -0.01686 0.00155
14일 -1.477 0.1396 -0.00688 -0.01601 0.00225
30일 -1.536 0.1245 -0.00710 -0.01617 0.00196

Viacart (view → cart → Purchase)

기간 Z-stat P-value Effect Size CI Lower CI Upper
1일 2.194 0.0282 0.01097 0.00117 0.02078
7일 1.630 0.1030 0.00766 -0.00155 0.01686
14일 1.477 0.1396 0.00688 -0.00225 0.01601
30일 1.536 0.1245 0.00710 -0.00196 0.01617

1일

  • Direct 검정통계량(Z=-2.19), p-value=0.028으로 유의수준 0.05보다 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. Effect Size=-0.01097(음수)이므로 A가 B보다 더 큰 효과를 가진다고 볼 수 있다. 다만, 효과의 크기는 절대적으로 매우 작아 실제 영향력은 제한적일 수 있다.

  • ViaCart 검정통계량(Z=2.19), p-value=0.028으로 유의수준 0.05보다 작으므로 귀무가설을 기각한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다. Effect Size=0.01097(양수)이므로 B가 A보다 더 큰 효과를 가진다고 볼 수 있다. 그러나 역시 효과의 크기는 매우 작다.

7일

  • Direct 검정통계량(Z=-1.63), p-value=0.103으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다고 보기 어렵다. Effect Size=-0.00766(음수)이지만, 신뢰구간이 0을 포함하므로 해석에 주의가 필요하다.

  • ViaCart 검정통계량(Z=1.63), p-value=0.103으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 존재한다고 보기 어렵다. Effect Size=0.00766(양수)이지만, 역시 신뢰구간이 0을 포함한다.

14일

  • Direct 검정통계량(Z=-1.48), p-value=0.140으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 없다고 해석된다. Effect Size=-0.00688(음수)이지만, 신뢰구간이 0을 포함한다.

  • ViaCart 검정통계량(Z=1.48), p-value=0.140으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 없다고 해석된다. Effect Size=0.00688(양수)이지만, 신뢰구간이 0을 포함한다.

30일

  • Direct 검정통계량(Z=-1.54), p-value=0.125으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 없다고 해석된다. Effect Size=-0.00710(음수)이지만, 신뢰구간이 0을 포함한다.

  • ViaCart 검정통계량(Z=1.54), p-value=0.125으로 유의수준 0.05보다 크므로 귀무가설을 기각하지 못한다. 따라서 A와 B 사이에는 통계적으로 유의미한 차이가 없다고 해석된다. Effect Size=0.00710(양수)이지만, 신뢰구간이 0을 포함한다.

4. 최종 요약 및 의사결정

N일 이내 구매전환율

  • 1일, 7일, 14일, 30일 모든 기간에서 Z-stat이 매우 크고, p-value≈0으로 귀무가설 기각
  • A와 B 사이에 통계적으로 유의미한 차이 존재
  • Effect Size는 항상 양수(0.0012~0.0013 수준) → B가 A보다 조금 더 큰 효과.
  • 다만 효과 크기는 절대적으로 매우 작음 → 실제 비즈니스 효과는 제한적일 수 있음.
  • B 선택이 합리적

Path (View→Cart, Cart→Purchase)

  • View→Cart: 모든 기간에서 유의미한 차이, Effect Size 양수 → B가 A보다 더 효과적 (다만 차이는 매우 미미)
  • Cart→Purchase: 모든 기간에서 유의미한 차이, Effect Size 약 0.027~0.030 수준 → B가 A보다 확실히 더 효과적
  • B가 A보다 일관적으로 우세! 특히 Cart→Purchase에서 의미 있는 개선

Direct vs. ViaCart (전체 구매 경로 분해)

  • 1일차: Direct는 A가 우세, ViaCart는 B가 우세 → 경로별 차이가 상반.
  • 7일·14일·30일: Direct/ ViaCart 모두 p-value > 0.05 → 유의미한 차이 없음.
  • A가 일부 우세하나, 장기적으로는 유의미한 차이가 없음
  • 전체적으로 초반에는 유의미한 차이를 보이지만 장기적으로는 유의미한 차이가 없음

최종 결정

  • N일 전환율 + Path 분석에서는 B가 A보다 일관적으로 더 효과적임
  • Direct vs. ViaCart 경로 분석에서는 장기적으로 차이가 거의 없음
  • 따라서 최종적으로 B 선택이 합리적
  • 효과 크기는 절대적으로 작지만, 모든 주요 지표에서 B가 우세
  • 특히 Cart→Purchase 단계에서 의미 있는 개선이 있음

참고