[인포팀] A/B 테스트가 우리 앱에 부적절한 방법인 이유

내가 속한 인포팀은 GIST 학생회 산하 개발단체이다.

https://introduce.gistory.me/

 

한 가지 아쉬운 점이라면, 데이터를 수집하고 이를 활용하는 것이 거의 이루어지지 않는다는 것이다.

인력이 부족한 탓도 있고, 정기행사 기획이나 당장의 개발 이슈에 우선순위가 계속 밀리기 때문이기도 하다.

 

UI 변경에 따른 사용자의 행동 변화, 앱 유저의 사용행태 등을 추적하지 못하는 상황이었다.

 

인포팀이 개발하고 있는 대표적인 앱들 중 하나인 지글은, 기존 공지 게시자가 공지 하나를 올리기 위해 거쳐야 했던 여러 절차를 축소하고 학사공지, 학교 공지사항과 같은 GIST 학생들이 확인해야하는 공지를 한 곳에 모아 더 편리하게 만들겠다는 목표로 만들어져 운영되고 있다.

기존: 여러 학번의 카카오톡 채팅방에 초대받고 → 공지 내용을 복사해서 각각 전송
현재: 지글 플랫폼에 전송  

 

내가 느꼈던 Pain Point는 대부분의 의사 결정이 팀 내에서의 논의로만 결정되고, 외부 사용자의 의견이 거의 반영되지 못하고 있었다는 것이다. 이는 팀원 스스로가 사용자인 탓도 있지만, 애초에 타 사용자들의 의견을 수집하는 프로세스가 제대로 갖추어지지 않았었기 때문이기도 하다.

 

이러한 문제 의식을 바탕으로, 지글 정기회의에서 A/B 테스트를 논의 안건으로 올렸다. 팀원들의 생각을 듣고, 아직 그로스 해킹*이나 데이터 분석에 대한 경험이 많지 않는 내가 미처 생각하지 못했던 우려점들을 확인하기 위함이었디.

그로스 해킹: 서비스를 제공하는 방식과 형태 그리고 소비자의 니즈를 함께 생각하며 서비스(제품)을 완성해나가는 과정

A/B 테스트를 사용할 수 없었던 이유

처음 제안했던 방식은 공지 클릭율, 체류 시간과 같은 지표를 정의하고 UI 변경사항에 따라 A/B 테스트를 돌리자는 것이다.

조사를 했을 때, 대부분의 기업에서 이 방식을 채택하고 있어서 효과있는 방법이라 막연히 생각했었다.

 

하지만, 논의하면서 우리 앱에는 부적절한 방법이라는 것을 느꼈다.

지글의 경우 MAU가 500 정도인데, 충분한 모수를 모으기 위해 필요한 실험 기간이 몇 주 정도로 길어질 수 있고 반면 얻을 수 있는 이익에 비해 branch 관리와 같은 개발 공수가 많다는 것이었다.

 

표본이 30명 이하일 때도, p-value 검정을 시행할 수 있지만 그 차이가 극명해야 통계적으로 유의미하기에 유의미한 결과를 얻지 못하거나 실험 기간이 과하게 길어지는 상황이 예상되었다.

비교적 작은 앱에서 시도할 수 있는 데이터 수집 방법

결과적으로, 두 가지 방법으로 사용자 데이터를 얻기로 결정하였다.

1. 사용자 인터뷰

이 방법은 사용자 수가 적은 어플리케이션에도 적용할 수 있고, 또한 학교 구성원이 사용자이기에 비교적 쉽게 인터뷰 대상자를 만날 수 있다는 점이 큰 장점이다.

 

① 사용자의 앱 사용 모습을 관찰하며, 개선 사항을 정리하거나 지글의 경우, 공지글 작성자나 행사 주최자와 같은 ② 특정한 사용자층을 인터뷰하며, 새로운 기능을 모색해볼 수 있다.

2. 앱 내 설문조사

뱅크샐러드, 인스타그램과 같은 어플리케이션 사용 도중에 두 가지 UI 중에 어떤 것이 좋은지 질문을 받은 적이 있었는데, 같은 방식으로 UI안을 놓고 설문조사를 돌려보는 것이다.

 

사용자의 무의식적인 반응을 이끌어낼 수는 없지만 팀 내에서의 논의를 넘어 더 다양한 시각을 고려해 의사결정을 내릴 수 있다.