알라미는 건강검진을 얼마나 자주 할까 (feat. 광고 지표)

지표를 효율적으로 모니터링하는 방법

요즘은 복지의 일환으로 매년마다 건강검진을 제공하는 회사들이 많은 것 같습니다. 개인적으로는 최애 복지 중 하나인데, 1년이라는 적당한 주기에 나이가 들면서 달라지는 나의 몸 상태를 객관적인 숫자의 지표들로 확인할 수 있어서 일종의 경각심을 느끼게 하면서 앞으로의 관리 방향을 고민하게 해주어서 고맙게 느껴집니다. (체지방률과 근육량은 해마다 안 좋아지는 건 슬프네요 ㅠ)

프로덕트도 비슷합니다. 프로덕트의 상태가 어떤지 감이 아닌 객관적인 숫자로 파악하면서 발전방향을 고민하게 해주는 측면에서 제품의 건강검진은 필수적인 부분이죠. 제품의 건강검진이라고 한다면 데이터로 KPI 및 관련 지표들의 변화를 살펴보는 것. 목표로 하는 형태의 제품으로 구체화되어 가고 있는지 이를 측정할수 있는 구체적인 지표와 함께 살펴보는 것은 건강한 제품을 만들기 위한 필수적인 과정으로 인식되는 것 같습니다.

딜라이트룸에서는 보통 “지표 미팅”의 이름으로 각 스쿼드에서 주기적으로 스쿼드의 건강을 체크하는 미팅이 운영되고 있습니다.

왕도는 없지만,

상황에 차별적이지 않는 미팅은 없습니다. 제품의 처한 상황과 조건에 따라 맞게 적절하게 데이터를 살펴보면 됩니다. 하지만 나름의 가이드라고 한다면 제품의 개발 주기를 따라서 지표를 살펴보면 좋지 않을까요. 제품은 한 달 주기로 개발이 되는데 지표를 매일 한 시간씩 들여서 살펴보는 게 큰 효용을 얻기 어려울 수 있습니다. 왜냐면 일 단위로 아무런 변화가 제품 쪽에서는 발생하지 않았으니 높은 확률로 제품에서도 큰 변화가 발생하지 않았을 확률이 높으니깐요. 데이터를 보아도 사실 어제본 것과 크게 다르지 않을 가능성이 높습니다. 반대로 분기에 한 번씩 데이터로 지표를 확인하는 건 너무 느슨하게 느껴집니다. 3번의 제품 개발 주기(1달 x 3) 동안 발생한 여러 변화를 제때 파악하지 못할 가능성이 높기 때문이죠.

(시스템 지표들, 이를테면 서버 성능지표들은 논외. 서비스의 정상적인 운영과 관련된 해당 지표들은 당연하게 실시간으로 트래킹 되어야 함!)

결국은 리소스와 한계효용

사실 가장 좋은 건 수시로 데이터를 살펴보는 것이라는 데에는 이견이 없을 것 같습니다. 문제는 리소스. 결국 고민하게 되는 건, 지금 이 순간 투입하는 리소스의 한계효용이 기대하는 수준이 되어야 하는데 리소스 투입의 따른 효용은 체감하는 성격을 가지기에 적당한 수준의 리소스를 찾으려는 것이 우리의 목적이 되어야 합니다.

데이터 탐색의 리소스 투입의 형태를 크게 두 가지로 나누어 보자면 1)탐색의 빈도, 2)탐색의 강도 로 나누어볼 수 있습니다. 빈도의 관점에서, 잦은 주기로 데이터를 탐색할수록 지표의 변화에 대해 기민하게 파악할 수 있는 장점이 있는 반면 기존의 알고 있던 정보 대비 추가적인 정보 획득의 양이 줄어들기에 들이는 리소스 대비 효용이 줄어드는 단점이 있습니다.

탐색 강도의 경우는 깊은 탐색은 표면적인 지표 변화의 원인을 파악하는데 필수적입니다. 강도가 약하면 표면적이거나 후행하는 지표 들을 확인하는데 그치기 쉽습니다. 변화의 원인 규명을 위해서는 단위 모니터링당 어느 정도의 리소스 투입은 필수적이라고 봅니다.

모니터링도 그 목적에 따라 적절한 방법이 있을 것 같습니다. 가령, 빠르게 이슈를 파악하는 것이 목적이라면 잦은 주기로 탐색의 빈도를 늘려서 빠르게 큰 변화들을 캐치하는 것이 중요할 것 같습니다. 이와는 다르게 이슈의 원인을 규명하고 고민하는 것이 목적이라면 데이터를 살펴볼 때 충분한 리소스 확보를 한 뒤, 현상에 대해 깊게 고민하고 논리를 찾는 것이 중요할 것입니다.

광고 지표의 성격

광고 시장의 특징 중 한 가지는, 광고 지형의 변화가 빠르다는 점이 아닐까 합니다. 시도하는 액션에 대한 시장의 피드백도 빠를뿐더러, 퍼블리셔의 액션과 무관한 시장의 변화도 하루가 다르게 변화무쌍하니 매일 데이터를 체크하는 입장에서는 하루하루가 기대되면서 걱정되는 것도 사실입니다. 제품의 개발은 단방향으로 제품 → 사용자에게 전달되는 데에 반해 광고 수익화 생태계는 다양한 이해관계자들의 행동의 결과들이 실시간으로 제품에 반영되기에 예측하기가 쉽지 않습니다..

퍼블리셔, 광고주, 광고 중계 플랫폼(미디에이션, SSP, DSP 등) 그리고 유저들의 피드백 등이 모두 모여 광고지표의 변화를 설명하고 있는 것이죠.

그렇기에 퍼블리셔 입장에서는 뾰족하게 원인을 알 수 없는 광고 지표의 변화가 심심찮게 보입니다. 게재하고 싶은 광고주의 의도가 반영이 되어 변화하기도 하고 programatic 하게 입찰하는 과정에서 광고 지면의 매력도가 미세한 변화에 의해 달라지기도 하면서 퍼블리셔 입장에서는 알 수 없는 변화들이 아주아주 빈번하게 발생하게 됩니다.

딜라이트룸의 모니터링 프로세스

광고 지표의 변화가 하루가 다르게 변하다 보니 빠르게 변화를 감지해야 함은 필수적이라고 할 수 있습니다. 원인을 직관적으로 알기 어려운 경우는 많지만 변화의 임팩트는 가시적으로 확인이 가능하니(e.g. 매출의 변화) 한 번의 모니터링에 많은 리소스가 들지 않더라도 굵직한 변화들은 확인이 가능합니다.

감지된 변화들에 대해서는 내부 공유와 함께 왜 변했는지에 대한 원인 탐색 역시 필요합니다. 하지만 모든 변화에 대해 즉각적인 탐색 다이브가 필요한 것은 아닐 수 있습니다. 변화의 중요도에 따라서 기민하게 대응하기도 하고 버퍼를 가지고 보기도 하는 것 같습니다.

제가 속해있는 광고 수익화를 담당하는 스쿼드에서는 3가지 레이어로 지표의 변화를 살펴보고 있습니다.

1. Daily Anomaly Report

모니터링의 최소 단위를 나눌 때 보통 동질성/이질성 을 기준으로 나누게 되는데, 이를테면 광고 지면의 형태(배너, 네이티브, 리워드 등) 단위로 나누어 변화를 관찰하기도 하고, 조금 더 세부적으로 광고 지면 단위로 모니터링의 단위를 구분하기도 합니다.

현재 본 스쿼드에서는 플랫폼 x 광고 지면 x 주요 국가 그룹(~미디에이션 그룹) 단위로 최소 모니터링 단위를 구분하고 있습니다. 예를 들면 “iOS 미국 A지면” , “Android 미국 B지면”, “Android 한국 A지면” 은 서로 다른 모니터링 단위가 되는 형태.

문제는 변화하는 상태를 “잘” 파악하는 데에 있어서 구분하는 단위가 너무 많다는 점. 해상도를 낮추어서, 즉 모니터링하는 단위를 줄이면 (e.g. 플랫폼 단위로 지표 확인) 중요한 변화 정보들이 희석되고 반대로 너무 상세하게 쪼개어 보면 들이는 시간이 너무 많은 문제에 봉착하게 됩니다. 자동화 모니터링이 필요한 지점이라고 생각합니다.

Anomaly detection 을 통해 트래픽, 주요 매출의 변화에 대해서 기계적으로 매일매일 변화를 체크하고 있습니다. 결국 가장 중요한 건 매출의 변화. 변화의 임팩트는 변화하는 매출의 크기와 동치되는 경우가 많아서 매출 변화의 정도만 보아도 중요한 내용들은 어느정도 인지할수 있습니다.

2. Daily Manual Monitoring

매일 구성원들이 정해진 시간만큼을 할애하여 지표 변화들을 함께 살펴보고 있습니다. Anomaly Report를 통해 관리하는 모니터링 단위에 대해서 수익의 변화가 체크되고, 하이라이트 내용들에 대해서는 구성원들이 조금 더 상세하게 매출 변화의 원인들을 찾아보려 데이터를 살펴보고 논의하는 프로세스라고 보시면 됩니다. 변화를 공유하는 목적과 함께 중요도에 대한 논의하여 추가적인 리소스를 써서 봐야 하는 내용인지 등을 결정합니다.

1차적으로, 살펴볼 필요가 있는 모니터링 단위들을 anomaly detection에서 필터링을 해준 덕분에 추려진 내용들을 매뉴얼하게 살펴보며 원인들을 같이 찾아보는데 집중할 수 있는 장점을 가집니다.

3. Weekly Review Meeting

주 단위로 상세하게 지표들을 점검하고 퍼포먼스를 리뷰하는 미팅입니다. 앞선 프로세스들이 daily 단위로 상세한 변화보다는 중요한 변화와 그 원인들을 빠르게 체크하는 데에 목적이 있는 반면에 주 단위 리뷰 미팅에서는 주차를 정리하며 지표들을 요약하고 이슈사항들을 상세하게 체크하는 목적을 가집니다. 매출로 반영되지 않은 변화들에 대해서는 앞선 프로세스에서 놓치기도 하는데 이 미팅에서는 주 단위로 앱 전반에 대해 상세하게 논의하기 때문에 한 주간의 변화들을 최대한 확인하고 있습니다. 물론 들이는 시간도 앞선 일 단위 모니터링에 비해서는 많습니다.

마치며

“헬스 체크”의 본질은 제품의 변화를 빠르게 파악하고 앞으로의 방향성에 대한 고민을 하게 해주는 것입니다. 단순히 변화와 원인을 확인하는 데에 그치지 않고 앞으로의 구체적인 액션들까지 도출할 수 있다면 더할 나위 없을 것 같습니다. 그 과정에서 중요한 한 가지는 함께 데이터를 보고 의견을 나누는 문화와 환경. 누군가에 일임된 내용은 편향되고 오류가 생기기 쉽습니다. 상황에 대한 정확한 판단을 위해서도 관련 구성원 각자가 데이터를 보고 calibration 하는 과정으로써 논의들이 필수적이라고 생각합니다. 동시에 이러한 논의들은 제품을 만들어 나가는 구성원들의 심리적인 연대와 동기부여 측면에서도 의미를 가지기에 어떠한 방식으로든 제품 지표와의 스킨십을 늘리고 구성원들과의 대화할 수 있는 시간을 확보하시기를 바랍니다.

⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌

• 딜라이트룸 채용 공고 살펴보기 ⏰
  (+ 여기서 지원하면 입사 축하금 100만원💸)