앱스토어에서의 A/B 테스트 — 실험 세팅하기
지난 한달 동안 테스트성 실험을 제외하고, 세 번의 실험 사이클을 돌아보았다. 한두번의 사이클 정도면 더 이상의 시행착오는 없으리라 생각했는데, 솔직히 아직도 시행착오를 겪고 있는 기분이 들 정도로 뭐랄까 fully 잘 활용하고 있는 느낌이 들지 않는다. 여전히 구글링을 해보아도, 앱스토어 서포트 페이지를 살펴보아도 내 머릿속 물음표들을 해소시켜주는 답을 찾지 못하고 있다. 오히려 여러 번 실험 사이클을 돌아보며 스스로 답을 찾아가는 방향이 더 빠르게 답을 찾아주고 있다.
본 글은 앱스토어 실험 세팅 과정에서 필연적으로 겪게 될 물음표들과 그 답을 공유하는 것을 목표로 한다. 모쪼록 필자를 비롯한 많은 분들이 서로의 시행착오를 적극적으로 공유하며 일종의 집단지성으로 부족한 앱스토어의 가이드를 보충해 나갔으면 하는 마음이다.
Q1.
“아직 업로드되어 처리 중입니다.” 에 멈춰있어요.
A1. 스토어 어셋 사양에 문제가 있을 수 있습니다. 나갔다가 다시 들어오시면 그 문제가 무엇인지 알려줍니다. 나갔다가 다시 들어와도 기존에 세팅한 실험 내용들은 보존되니 염려마세요.
지난 글 말미에 살짝 등장한 내용으로, 앱 미리보기 영상 실험에서도 목격되었고 스크린샷 실험에서도 목격되었다. 스토어 어셋 사양을 빠삭하게 인지한 상태에서 세팅한다 하더라도, 충분히 발생하기 쉬운 이슈이다. 가령 피그마에서 여러 이미지들을 추출하는 과정에서 개중 1개 정도는 JPG 가 아니라 PNG 로 추출하는 실수 같은 것이다. 그저 이것을 앱스토어는 명확하게 “스토어 어셋에 문제가 있습니다.” 라고 말해주지 않고 “아직 업로드 중입니다.” 라는 에러 메세지를 띄움으로써 이용자에게 물음표를 선사한다. 진리의 껐켰 (껐다 켜기)을 시전하고 싶지만 세팅한 내용이 날라갈까봐, 아쉬운 마음에 좀더 기다려본다. 하지만 반나절을 기다려도 여전히 업로드 중이라는 에러창이 떴고, 아이러니 하게도 껐켰을 하고 나서야 올바른 에러 메세지를 띄워준다.
일단, 동영상 소재는 FPS (Frame per Second)가 30이 넘지 않도록 조심하고,이미지 소재는 PNG 가 아닌 JPG 여야 한다는 것 정도만 명심해보자.
Q2.
심사 제출 화면을 보니 세팅한 실험 내용이 누락되어 보여요. 심사에 제출이 안되는 걸까요.
A2. 화면 출력상에만 누락되어 보이는 것이지, 실제로는 심사 대상에 포함되어 제출됩니다.
왜 이러한 버그가 있는 것인지 도무지 이해할 수 없지만, 실상이 위와 같다. 산 넘어 산이라고, 어셋에 문제가 있다는 사실을 다소 이상한 방식으로 (나갔다가 들어오는 방식으로) 파악하여 해결했는데, 바로 다음 화면에서 뭔가 누락되어 보이는 것이다. 제출 내역에 누락되는 것처럼 보여 불안한 마음으로 제출했지만 실제로 심사는 제대로 진행이 되었음을 알 수 있었다. (왜냐면 리젝 되었기 때문에…)
Q3.
분석 결과를 보려 하는데, 자꾸 에러가 떠요.
제대로 진행되지 않고 있는 것인지 불안해요.
A3. 실제로 에러가 있을 수도 있습니다만, 저 같은 경우는 나중에 실험을 중단하고 나니 분석 결과가 뜨더라구요.
보통 실험 세팅 이후 첫 1–2일은 분석 결과 조회가 되지 않았다. 이럴 때는 “아직 데이터 수집 중입니다” 정도의 에러창이 뜬다면 참 친절할 것 같은데, 실상은 위와 같은 에러창이 뜨거나, 보고자 하는 실험이 리스트에 누락되어 있는 화면이 뜸으로써 담당자를 불안하게 만든다. 제품 페이지 분석 결과 탭인데, 예전 실험만 리스팅 되고 이번에 세팅한 실험이 리스팅 되지 않는 것이다. 위 화면에서 말하듯 ‘문제가 지속되면 다음을 클릭하십시오’에 따라 문의를 넣었지만 일반적인 매크로 답변을 받을 뿐이었다.
그로부터 7일 정도 시간이 지나 밑져야 본전이라는 마음으로 실험을 중단했더니, 그제서야 실험 결과가 확인되었다. 알 수 없는 버그가 아직 곳곳에 있는 앱스토어 실험 모듈…
물론 앱 스토어는 지금도 열심히 각종 버그들을 우선순위에 맞춰 해결하고 있을 것이기에, 본 글의 내용은 언젠가 무쓸모 내용이 될 일이다. 에러 메세지도 정교해질 것이고, 가이드도 업데이트 될 것이다. 하지만 시간이 자산인 실험 입장에서는 그 날을 기다릴 수 없기에, 계속해서 자체적으로 학습해 나갈 수밖에.
본 시리즈의 마지막 편은 ‘분석’이다. 앱스토어 실험의 분석 결과에서 보여지는 매트릭과 디멘션은 가이드에도 잘 나와 있으니, 실제로 실험을 진행해본 입장에서 느끼는 묘한 ‘답답함’을 주제로 글을 써보려 한다. 동일한 가설의 실험은 앱스토어에도 해보고, 구글 플레이스토어에도 해보았을 때 두 실험 모듈의 결과 해석이 크게 달랐다. 앱 인스톨을 늘리기 위한 가설을 실험하는 한편, 두 스토어의 실험 모듈이 어떻게 다른 결과를 내는지 살펴보기 위한 실험도 돌리기 시작했다.
위 실험 내용에 대해서는 다음 글에서 살펴보도록 하자.
딜라이트룸에서 값진 경험을 함께 하실 분들을 모십니다 🙋♂
👉 어떤 포지션이 열려있는지 알아볼래요
가벼운 커피챗도 열려있으니 편히 연락주세요 ☕️
mail : stephan@delightroom.com
instagram : @seosinghan