데이터 분석가의 역할을 정의할 때, 그리고 분석가 스스로에게 기대하는 바를 물었을 때, 아마 가장 먼저 나오는 답은 ‘데이터에서 인사이트를 찾아 의사결정에 반영하는 것’이 아닐까 합니다. 분석가가 실제로는 다양한 역할을 수행하고 있음에도 이 부분에 방점을 두는 이유는, 맥락과 사고력이 필요한 영역이라 쉽게 대체되기 어렵고 그만큼 분석가 자신의 존재 이유를 가장 강하게 느끼는 지점이기 때문이 아닐까요. 분석 결과가 실제 의사결정에 반영되고 지표가 움직이는 경험은 반복 업무에서는 느끼기 어려운 종류의 보람이니까요.
‘의사결정에 쓰이는’ 인사이트란
그런데 여기서 한 가지 구분이 필요합니다. ‘인사이트를 찾는 것’과 ‘의사결정에 쓰이는 인사이트를 찾는 것’은 같지 않습니다.
‘의사결정에 쓰이는’이라는 단서에는 여러 함의가 담겨 있습니다. 액션할 수 있는가, 충분한 임팩트를 기대할 수 있는가, 비용이 감당 가능한가, 지금 필요한 정보인가. 이런 조건들이 빠져 있으면 인사이트는 “그래서 뭐?”, “임팩트가 너무 작아”, “당장 필요하지는 않아”라는 반응과 함께 단순히 재미있는 데이터로 귀결되기 쉽습니다.
사실보다 사실에 대한 판단
여기서 한 걸음 더 나아가면, 분석가에게 진짜 중요한 것은 사실 그 자체가 아니라 사실에 대한 판단입니다.
“전환율이 95%이다”는 사실입니다. 하지만 이 사실만으로는 아무 일도 일어나지 않습니다. 이 전환율이 충분히 높은 건지, 아니면 낮은 건지, 그 판단이 붙어야 비로소 의사결정이 시작됩니다. 95%라는 숫자가 업계 평균 대비 높은 건지, 지난 분기보다 떨어진 건지, 이 제품의 특성상 더 높아야 하는 건지에 따라 같은 숫자도 “잘하고 있다”가 될 수도 있고 “문제가 있다”가 될 수도 있습니다.
데이터를 보고 사실을 정리하는 것은 시작일 뿐이고, 그 사실이 어떤 의미인지를 판단하는 것이 분석가의 본질적인 역할입니다.
‘찾는다’는 행위의 어려움
인사이트를 찾는 과정은 가설에서 시작해 데이터를 하나씩 확인해 나가는 과정입니다. 모래알 속에서 진주를 골라내는 일처럼 느껴지기도 합니다. 이것이 쉽지 않은 이유는 두 가지입니다.
가설 수립 자체가 막연합니다. 아무 땅이나 파는 것이 아니라 어디를 파야 할지부터 정해야 하는데, 그 가설을 세우기 위한 사전 데이터와 맥락이 필요합니다. 현실에서는 어느 정도의 막연함 속에서 출발하게 되는 경우가 많습니다.
깊이 파고들수록 임팩트가 작아지는 딜레마가 있습니다. 표면적인 데이터는 이미 모두가 알고 있기 때문에 새로운 사실을 찾으려면 더 깊이 들어가야 하지만, 깊이 들어갈수록 대상이 좁아지고 임팩트도 줄어듭니다.
이런 어려움을 생각하면, 인사이트에 대한 접근 방식을 달리 해볼 필요가 있습니다. 인사이트를 두 가지로 나눠 보면,
- 발견 — 몰랐던 사실을 찾아서 제시하는 것
- 판단 — 기존의 사실을 문제라고 지적하는 것
저는 이 둘 중 판단에 무게를 둡니다. 누구나 접근 가능한 데이터 속에서 “이것이 문제다”라고 이야기할 수 있는 감각과 관점. 이것이 곧 분석가의 중요한 자질중 하나라고 생각합니다.
많은 조직에서 신규 입사자에게 서비스에 대한 의견을 묻거나 인터뷰를 하는 경우들이 있는데요, 기존 구성원에게는 너무나 익숙하여 당연하게 여겨서 보지 못하는 것들이 그들에게는 편견 없는 순수함의 시선으로 발견할 수 있기 때문이죠.
“이게 왜 이렇게 되어 있는 거지? 원래 그랬어? 그러면 이게 맞는 거야?”
시간이 지나면서 이러한 감각이 무뎌지는건 자연스러운 현상입니다. 그렇기 때문에 의도적으로 이런 질문을 던지는 것이 핵심입니다. 기존에 알고 있던 사실, 그 사실에 대한 이해가 정말 맞는지를 한 번 더 의심해 볼 필요가 있습니다. 판단이라는 것이 상황에 의존적이기 때문에, 과거에는 미처 인지하지 못했거나 당시에는 문제로 보이지 않았을 수 있습니다. 상황이 바뀌면 같은 사실도 다르게 읽힙니다.
1. 비교 기준 찾기
판단이 제대로 작동하려면 비교 기준이 있어야 합니다. 기준 없는 판단은 감에 가깝고, 감만으로는 설득하기 어렵습니다. (저는 이 감각자체가 느껴지는것도 어렵더라구요)
예를 들어보겠습니다. 유저에게 신규 시스템 권한을 요청하는 화면을 추가했습니다. 이 화면의 권한 획득률이 90%라면, 충분히 높으니 문제없다고 봐야 할까요? 이 숫자만으로는 판단이 어렵습니다. 하지만 비교 기준이 있다면 이야기가 달라집니다. 비슷한 위치에 이미 존재하는 다른 권한 획득 페이지가 있다면, 해당 페이지를 베이스라인으로 참고해 볼 수 있습니다. 베이스라인이 97%라면, 신규 권한의 획득률에는 개선할 여지가 남아 있다는 확신이 꽤 서게 됩니다.
또 다른 예시입니다. 최초 온보딩 과정에서 유독 전환율이 떨어지는 화면들이 있었습니다. 이 화면들의 공통점은 서버와의 네트워크 송수신이 필요한 화면이라는 점이었습니다. 네트워크 통신 과정에서의 딜레이나 오류로 유저들이 이탈한다는 가설은 현상을 설명하기에는 충분히 설득력이 있어보입니다.
- 페이지 1 전환율: 60% (**임의의 예시값)
- 페이지 2 전환율: 60% (**임의의 예시값)
언뜻 보면 문제점이 명확해 보이고 액션만 하면 될 것 같습니다. 하지만 곰곰이 생각해 보면 이상한 점이 있습니다. 순차적으로 페이지 1 -> 페이지 2로 이어지는 경험이라면, 이미 페이지 1에서 네트워크 이슈를 겪는 유저들이 한 차례 걸러진 상태고 페이지2의 도달한 유저들은 전환가능성이 더 높은 유저들 이라고 볼수 있습니다. 그럼에도 페이지 2의 전환율이 페이지 1과 비슷하다는 것은 페이지 2에는 네트워크 외에 다른 이탈 요인이 있을 수 있다는 뜻입니다. 이러한 “뭔가 이상하다”는 감각을 가질 수 있어야 합니다. 실제로 두 페이지의 전환율을 비교한 덕분에 꽤 중요한 UX 개선 포인트를 발견할 수 있었습니다.
위와 같이 비교할수 있는 베이스라인이 있으면, 문제가 있는지 또는 문제가 없는지를 판단하기가 수월해집니다.
2. 서비스에 대한 이해도 높이기
숫자만 보고는 판단할 수 없습니다. 그 숫자가 놓인 맥락과 비즈니스, 사용자, 플랫폼에 대한 이해가 있어야 의미 있는 판단이 가능합니다.
예를 들어, Android<>iOS 간 알람이 울렸을때의 해제율이 다르다면 특정 플랫폼에 문제가 있다고 판단해야할까요? Android와 iOS에서 알람이 울리는 방식은 각 플랫폼의 네이티브 정책에 따라 다릅니다. 정책은 아래와 같습니다.
- Android — 알람이 울리면 잠금화면에서 알람 해제 화면이 자동으로 노출됩니다.
- iOS — 잠금화면을 해제한 뒤 직접 앱에 진입해야 해제 화면이 노출됩니다.
이 차이를 모른 채 두 플랫폼의 첫 울림 이탈률을 비교하면, 한쪽에 문제가 있다고 단정짓기 쉽습니다. 하지만 실제로는 플랫폼 정책의 차이에서 비롯된 자연스러운 결과일 수 있습니다. 해제화면 진입까지의 물리적인 어려움이 iOS에서 더 높고 이로인한 낮은 해제율은 꽤나 설득력이 있어보입니다. 이 맥락을 알고 있다면, 이탈률 차이가 플랫폼 특성으로 설명 가능한 범위인지, 아니면 그 이상의 문제가 있는 건지를 구분할 수 있게 됩니다.
도메인에 대한 이해는 이처럼 데이터를 오독하지 않게 막아주는 동시에, 더 정확한 판단의 출발점이 됩니다.
세모눈 뜨고 살펴보기
두루뭉술한 이야기를 한 것 같기도 합니다. 하지만 요즘 분석가의 역량에서 꽤 중요하다고 느끼는 부분들을 글로 옮겨보았습니다. 비교할만 기준을 찾는것, 서비스의 이해도를 높이는 것을 다소 뻔하게 서술하긴 했지만 사실 저도 이러한 감각, 문제를 문제라고 인식할수 있는 능력을 어떻게 키워야 하는지 잘 모르겠습니다. 전문적인 스킬이라기보다는 보편적이고 일반적인 역량에 가까워 보여서 더 그런지도 모르겠습니다. 좋은 분석가, 능력 있는 분석가를 정의하고 그 능력을 키워나가는 일은 제게 여전히 모호한 구석이 많습니다. 혹시 좋은 방법을 아시는분들이 계시다면 공유해 주세요.
분석가에게 기대하는 역량은 시대에 따라 다양해지고 변하겠지만, 그럼에도 그 본질은 언제나 비슷할 것이라는 믿음에는 변함이 없습니다. 많은 분석가분들도 비슷한 생각이 아닐까 감히 짐작해 봅니다. “인사이트를 찾아서 의사결정에 반영하는것”은 무언가를 찾는 행위의 능력치 보다는 인식하는 능력이 중요한것은 아닐까 생각을 하게됩니다. 이러한 생각의 바탕에서, 현재 주어진 데이터와 눈앞에 보이는 수치들이 정말 그럴듯한 수치인지, 주기적으로 점검해 보는 노력들은 꽤나 갇혀있던 시야를 환기 시켜주는것 같습니다. 얼핏 보면 그냥 지나치기 쉽습니다. 하지만 각 잡고 한번 들여다본다면, 미처 발견하지 못했던 문제들이 보이지 않을까요. “문제를 삼으면 문제가 된다”는 보통 부정적인 상황에서 쓰는 표현이지만 때로는 세모 눈을 하고 현재의 상태를 문제라고 생각하며 데이터를 바라보면 의외의 지점에서 몰랐던 사실들을 발견하여 서비스를 개선시킬수 있지 않을까 생각해봅니다.
⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌
