향상도(Lift) 그래프 분석법과 A/B Testing 활용하기

CRM효과 측정을 위한 분석법 알아보기!

안녕하세요, 뷰저블입니다. 지난 ABC분석, 롱테일 법칙에 이어 고객 관리를 위한 개념과 데이터 분석에 대해 이야기해보려고 합니다. 오늘은 고객을 이해하기 위한 개념인 CRM에 대해서 알아보고, CRM 측정을 위한 분석법까지 소개해드릴게요!



여러분 CRM이라는 단어를 들어보신 적 있으신가요? 

Customer Relationship Management의 약자로 ‘고객 관계 관리’로 해석되고, ‘고객을 깊이 있게 이해함으로써 기업과 고객간의 장기적이고 우호적인 관계를 형성하는 전략법’을 의미합니다. 보통 대기업에서는 실행 전략을 수립하기 위한 CRM팀이 따로 존재하기도 합니다.


다양하게 정의되는 CRM의 의미들


  • 가트너 그룹 : 기업의 현재 고객과 잠재 고객 관련 정보를 정확히 파악하여 고객 관계 관리를 효과적으로 지원하기 위한 경영 전략의 일종
  • 오범(Ovum) : 기업이 우수 고객을 지속적으로 유지하는 동시에, 신규 고객을 학보하고 고객 관련 비용을 최소화하여 기업의 경쟁력을 향상시킴으로써 기업 가치를 극대화하기 위한 경영 개념
  • 오범(Ovum)은 영국 런던에 본사를 둔 시장 조사 및 컨설팅 기업입니다.

위에서 설명한 것처럼,CRM이란 서비스의 지속적인 성장을 유지하기 위해 ‘가치’ 있는 고객 특성을 파악하여 획득 및 유지하는 일련의 활동이라고 볼 수 있으며 단순히 전산 시스템의 변화에 그치지 않고 경영전략과 조직 프로세스, 고객접점 채널상의 모든 변화를 아우르는 개념입니다.



일반적으로 CRM팀에서 수행하는 역할


보통 CRM팀은 기업의 규모와 업태에 따라 하는 일이 달라지지만 보통은 데이터웨어하우스부터 멤버십 정책 관리까지 폭넓게 담당하는데요, 백오피스부터 프론트 오피스, 데이터 웨어하우스, 데이터 마이닝, 마케팅 접점까지 모두를 아울러 전략을 수립합니다.


  • 고객 관리를 위한 전략 및 세부 실행 계획 수립 (고객 성장과, 이탈방어, 신규고객 확보)
  • 고객의 실적 달성을 유도하기 위한 마케팅 실행 (로열티 강화, 업셀링 달성)
  • 고객 행동 분석 (VOC 관리, 시장 조사, 데이터 분석 등)
  • 자동화 시스템과 데이터를 활용한 마케팅 최적화와 리포팅, 주요 KPI 관리

마케팅팀도 아니고 데이터분석팀이라고 하기도 애매하죠. 그래서 상대적으로 기업의 히스토리가 짧은 젊은 조직(예를 들어 이커머스나 온라인 플랫폼 기업, 스타트업 등)에서는 다양한 역할이 여러 팀으로 나뉘어져 운영되고 있습니다. 

기술이 발전하면서 기존 대규모 제품 판매 중심 마케팅에서 ‘실시간 타이밍’이 중요한 1:1 마케팅으로 변화하고, 일방적으로 고객에게 메시지를 보내는 것을 넘어 양방향 커뮤니케이션하는 것이 중요해졌는데요, 이에 따라 CRM팀의 역할 또한 날로 중요해지고 있습니다.



CRM에서 고객을 이해하기 위한 기본! 
향상도 그래프(Lift Chart) 이해하기


CRM을 이해하고 전략들을 실행하기 위해서는 향상도(Lift)라는 개념을 가장 먼저 이해하고 분석할 수 있어야 합니다. 

이 향상도(Lift)는 실행 전략이 얼마나 효율적인가를 계산할 수 있는 지표인데요, 전략을 실행하지 않았을 때에 비해 실행했을 때의 결과 값이 얼마나 어떻게 달라지는지를 파악할 수 있습니다! 하나씩 살펴볼까요?

향상도는 불특정 다수 고객을 대상으로 프로모션이나 캠페인, 개인화 추천 등을 집행하지 않았을 때의 결과에 대해 ‘세그먼트(또는 특정 조건)를 설정하여 전략을 실행하였을 때’와 같은 규칙을 만들어 집행하였을 때의 그 결과가 얼마나 개선되는지를 알 수 있는 개념입니다.


향상도(Lift) 

캠페인 등의 방안을 집행했을 때의 결과 / 집행하지 않았을 때의 결과 (‘전체 반응률 대비 해당 분위의 반응률 비교’라고 이해할 수 있습니다. %개념이 아니기 때문에 ‘향상률’이라고 말하지 않아요!) 



1. CRM 전략 집행 비용을 효과적으로 줄일 수 있는 향상도 차트 그려보기


향상도는 특정 상품A를 구입한 고객에게 상품B를 추천하는 것이 고객 ‘전체’에게 상품B를 추천한 것보다 얼마나 구매확률이 높아졌는지를 측정할 수 있는 지표입니다. 

상품A를 구매한 고객에게 상품B를 추천함에 있어 애당초 상품A를 구매한 고객이 다른 고객에 비해 상품B를 구매할 확률이 높지 않다면 상품을 추천할 의미가 없어집니다. 

고객의 상품구매수와 MMS 발송 건 수를 이용한 향상도 지표입니다. 12,500명이 50%의 매출을 달성한 구간과 51,200명이 80%의 매출을 달성한 구간이 강조되어 있습니다.

CRM 방안을 효과적으로 실시하기 위해서는 ‘구매가 예상되는 고객인가?’를 정의내릴 수 있어야 하며, 향상률은 비용 절감을 위해 매우 중요하게 관리되는 지표가 되어야 합니다. 

예를 들어 불특정 다수 10만명에게 MMS를 보냈을 때 약 1천명이 상품을 구매해주었다고 합시다. 그럼 최종적인 구매 확률은 1%입니다. MMS를 보내는 비용이 1명에게 약 1천원이 든다면 전체 비용은 1억원입니다. 1억원의 비용을 들이더라도 1명의 고객 당 10만원 정도의 상품만을 구매해주었다면 이익은 발생할 수 없습니다. 


자, 다시 구매확률이 1.5%인 사람 5만명을 확보하였다고 합시다.

그럼 MMS를 보내는 비용은 똑같이 1천원이지만 5만명에게만 보내기 때문에 마케팅 집행 비용은 5천만원입니다. 그러면서도 구매확률은 1.5%이기 때문에 1.5배나 늘어나죠. 5만명에게 보내면 750명이 상품을 구매해주고 7500만원의 이익이 남습니다. 마케팅 집행 비용이 5천원 이었기 때문에 최종적으로 2,500만원 상당의 이익이 남습니다.

이처럼 구매확률이 높은 고객에게 집중적으로 프로모션을 실시한다면 굉장히 효과적으로 서비스를 운영할 수 있게 됩니다. 

  • ※ MMS는 Multimedia Messaging Service의 약자로 말그대로 멀티 문자 메시지 서비스입니다. 사진, 문서, 음악 파일 등을 첨부할 수 있어 SMS(Short Message Service, 단문 메시지 서비스), LMS(Long Message Service, 장문 메시지 서비스)에 비해 단가가 훨씬 비쌉니다.


2. 마케팅 집행 비용의 ROI 구하여 실행 최적화하기

  • ROI(투자수익률, Return on Investment) 

다음으로는 불특정 다수가 아닌 구매확률이 높은 순으로 고객을 줄을 세워 분석해봅시다.

아래 표를 다시 살펴봐주세요. 왼쪽 고객일수록 구매확률이 높고 오른쪽으로 갈수록 구매확률이 낮아집니다. 이렇게 고객을 줄 세울 수 있다면 12,500명에게 MMS를 보낼 때 전체 매상의 50%인 500개의 상품이 판매됩니다. 또한 51,200명에게 MMS를 보내면 80%인 800개의 상품이 팔리게 됩니다.

영업이익과 MMS 발송 건 수를 이용해 마케팅 집행 비용의 ROI를 구한 지표입니다. 12,500명에게 MMS를 보낼 때 최대 영업 이익 달성 구간이 생기고, 발송 건 수가 많아질수록 구매확률은 낮아집니다.

그렇다면 이 때 얻을 수 있는 이익도 계산해 볼 수 있지 않을까요?

10만명의 고객에게 MMS를 보냈을 때는 위의 세로 축 상품 구매 수에서도 알 수 있듯 그렇게 큰 이익이 발생하지 않습니다. 게다가 마케팅 집행을 위한 초기 세팅 비용 등을 고려하면 오히려 적자일 수도 있죠. 영업 이익을 극대화하기 위해서는 몇 통의 MMS를 보내야할지 예측 표를 그려봅시다. 아래처럼 엑셀로 누구나 간단히 시각화할 수 있습니다. 

세로축을 상품 구매 수가 아닌 영업 이익이나 매출로 바꿔보세요. 보이시나요? 약 19,000건의 MMS를 보냈을 때 가장 높은 ROI를 달성할 수 있었습니다. 그럼 CRM 담당자나 마케터는 19,000건보다 더 비용을 들여 굳이 MMS를 보낼 필요가 없어집니다!



뷰저블로 사용성 검증하고 구매확률 높이기!


전략을 실행하지 않았을 때에 비해 실행했을 때의 결과 값이 얼마나 어떻게 달라지는지, 좀 더 쉽고 확실하게 확인할 수 있는 방법은 없을까요? 

뷰저블의 A/B Testing 기능을 활용하면 전략을 실행한 고객과 실행하지 않은 고객의 차이를 시각적으로 바로 확인할 수 있습니다.


  • A/B Testing이란 웹 사이트 방문자를 임의로 두 집단으로 나눠 한 집단에는 기존 사이트, 또 한 집단에는 새롭게 개선한 사이트를 보여준 뒤 어떤 집단의 성과가 더 뛰어난지를 평가하는 방식을 의미합니다. 여기서 말하는 성과, 즉 KPI는 웹 사이트 형태, 종류마다 다르며 보통 이커머스라면 회원가입, 구매 등을 예로 들 수 있습니다.

참고하면 좋을 글: 간과하기 쉬운 A/B 테스트에 대한 5가지 오해


뷰저블의 A/B Testing은 기준이 되는 A페이지와 비교할 B페이지의 URL만 있다면, 손쉽게 실행이 가능합니다. 등록 후, 충분한 표본 PV(Page View)가 누적된 이후에는 테스팅 리포트와 히트맵 비교를 통해 결과를 확인하실 수 있습니다.



1. 테스팅 리포트


테스팅 리포트에서는 간단한 A,B 페이지 정보와 a.요약, b.링크별 Conversion Rate, c.요소별 Clicks per PV Top 5를 확인할 수 있습니다.


a. 요약


A/B Testing의 요약 기능입니다. A,B페이지의 결과값을 선 그래프로 비교해 보여주고, 요약된 결과값을 표로 제공합니다.

요약에서는 A,B페이지의 결과값을 선 그래프로 비교해 보여줍니다. 비교해 보여주는 결과값은 Conversion Rate(전환율), Click per PV, Click PV Rate, Exit Rate, Avg Duration으로 총 5가지입니다. 하단 표에서는 각 요소에서 더 높은 결과가 나타난 부분을 강조해 한 눈에 결과값을 비교할 수 있습니다.


  • Conversion Rate: 전환 비율 
  • Click per PV: PV 별 전체 클릭 수 비율 
  • Click PV Rate: 전체 PV중, 클릭을 수행한 PV 의 비율  
  • Exit Rate: 전환되지 않고 종료된 비율 (ConversionRate 의 반대 개념)
  • Avg Duration: 체류시간

b. 링크별 Conversion Rate


A/B Testing의 링크별 Conversion Rate Top 5를 보여주는 기능입니다.

전환된 페이지의 URL 순위를 비교할 수 있는 기능입니다. 전반적인 전환율이 어떻게 나타나는지, 어떤 부분에서 차이가 나타나는지 살펴보세요!


c. 요소별 Clicks per PV Top 5


A/B Testing의 요소별 Clicks per PV Top 5를 보여주는 기능입니다. 페이지의 콘텐츠에서 어떤 차이가 나타나는 지 확인할 수 있습니다.

클릭이 가장 많이 발생한 콘텐츠의 차이를 순위별로 비교할 수 있는 기능입니다. A,B 페이지에서 각각 어떤 콘텐츠의 클릭이 높았는 지 확인하고 공통적인 콘텐츠와 차이가 나는 콘텐츠를 집중적으로 비교 분석해보세요!



2. 히트맵 비교


A/B Testing의 히트맵 비교 화면입니다. A,B 페이지에 따라 나타나는 고객 행동 패턴의 차이를 한 눈에 확인하실 수 있습니다.

히트맵 비교는 위와 같이 A,B 페이지에서 나타난 고객의 행동 패턴을 한 눈에 확인할 수 있는 기능입니다. 디바이스, 유입경로, 신규/재방문과 같은 다양한 세그멘팅 기능을 활용해 고객의 행동 패턴이 어떤 차이를 보이는 지 확인해보세요! 어떤 콘텐츠에서 고객의 클릭이 많이 발생하는지, 어느 지점까지 스크롤 탐색을 하는지, 고객의 탐색 여정이 어떻게 달라지는 지 등 다양한 인사이트를 얻으실 수 있습니다. 



CRM을 위해 마케팅을 집행하기 위해서는 비용이 반드시 발생하게 되고 이는 피할 수 없습니다. 보통 기업에서 ROI를 고려하지 못하고 전 고객을 대상으로 매스(MASS)로 캠페인이나 마케팅을 집행해버리곤 하는데요, 거꾸로 고객 입장에서 스팸이라고 받아들여질 수도 있고 고객과의 관계를 저해하는 요소로 자리잡게 됩니다. 

향상도의 개념을 이용하여 전략의 효과성을 분석할 수 있게 된 여러분은 이제 더 똑똑히 고객과의 관계를 강화해나갈 거라 믿습니다!


[참고] 향상도를 활용할 수 있는 다양한 예시들

  • 마케팅 캠페인/프로모션 집행 효과성 (예: 앱 푸시 발송, 친구 추천 이벤트, SMS나 MMS, 알림톡 이벤트)
  • VIP, VVIP 등 등급별 쿠폰 건 수 및 금액에 따른 발급 효과성
  • 특정 기능 오픈에 따른 UX 개선 효과성 등


Share This Post

Share on facebook
Share on linkedin
Share on twitter
Share on email

More To Explore