새 디자인 첫 주 지표가 튀는 이유, 노벨티 효과와 1차 효과

들어가며

새 디자인을 켠 지 사흘째. 대시보드에 우상향 곡선이 그려진다. 전환율이 평소 12%에서 15%로 뛰었다. 팀 채널에 샴페인 이모지가 올라온다. 누군가 이렇게 적는다: “새 디자인 대박입니다. 바로 전체 롤아웃 가시죠.”

여기서 잠깐 멈춰야 한다. 사흘치 급등은 새 디자인이 좋다는 증거일 수도 있지만, 그냥 새것이라서 튄 것일 수도 있다. 이 둘은 대시보드에서 똑같이 생겼다. 곡선만 봐서는 구분이 안 된다. 그런데 며칠 뒤 곡선이 슬금슬금 내려와 원래 자리로 돌아오면, 그제야 알게 된다. 대박이 아니라 착시였다는 걸.

이 착시에는 이름이 있다. 새것이라 잠깐 오르는 쪽을 노벨티 효과(novelty effect), 익숙함이 깨져서 잠깐 떨어지는 쪽을 1차 효과(primacy effect) 또는 변화 저항이라고 부른다. 이 글은 이 두 효과가 뭔지, 왜 초기 숫자를 믿으면 안 되는지, 그리고 진짜 수준을 어떻게 걸러내는지 정리한다.

노벨티 효과와 1차 효과는 반대 방향이다

두 효과는 방향이 정반대라서 같이 놓고 봐야 이해가 쉽다.

노벨티 효과는 새것에 대한 호기심으로 초기 지표가 과대하게 잡히는 현상이다. 예를 들어 홈 화면에 처음 보는 배너가 생기면, 사용자는 그게 뭔지 궁금해서 일단 눌러본다. 그 클릭이 진짜로 그 배너가 유용해서 누른 게 아니라, 그냥 새로 생긴 거라서 눌러본 거다. 그래서 첫 며칠 클릭률이 확 뛴다. 그런데 며칠 지나 다들 그 배너가 뭔지 알고 나면, 궁금하지 않은 사람은 더 안 누른다. 클릭률이 내려온다. 올라간 만큼이 실력이 아니라 호기심이었던 거다.

1차 효과는 반대다. 익숙한 흐름이 깨져서 초기 지표가 과소하게 잡히는 현상이다. 예를 들어 오래 쓰던 앱의 메뉴 위치를 바꿨다고 하자. 기존 사용자는 손이 이미 옛날 위치를 기억한다. 새 위치를 찾느라 헤매고, 짜증 내고, 어떤 사람은 그냥 이탈한다. 이게 새 디자인이 나빠서가 아니다. 그냥 바뀌었기 때문에 겪는 일시적 저항이다. 며칠 지나 새 위치에 손이 익으면, 저항은 사라지고 지표가 원래 실력만큼 회복된다.

한 문장으로 묶으면 이렇다. 노벨티 효과는 새것이라서 잠깐 더 좋아 보이고, 1차 효과는 익숙함이 깨져서 잠깐 더 나빠 보인다. 둘 다 핵심은 잠깐이다. 시간이 지나면 둘 다 진짜 수준으로 수렴한다. 문제는 그 잠깐 동안 우리가 결정을 내려버린다는 데 있다.

왜 초기 숫자를 믿으면 안 되나

초기 지표가 위험한 이유는, 그 숫자가 두 개의 서로 다른 것이 섞인 값이기 때문이다. 하나는 디자인의 진짜 실력이고, 다른 하나는 새것에 대한 일시적 반응이다. 대시보드에 찍힌 15%는 이 둘을 더한 값이다. 그런데 우리가 알고 싶은 건 진짜 실력 쪽뿐이다.

쉽게 말해, 물이 얼마나 뜨거운지 재려고 온도계를 넣었는데, 방금 손으로 온도계 끝을 만졌다고 해보자. 초기 몇 초 동안 온도계는 물 온도가 아니라 손 온도가 섞인 값을 보여준다. 이때 숫자를 읽으면 물이 실제보다 뜨겁다고 착각한다. 잠시 기다려 손 온도의 영향이 빠지고 나서 읽어야 진짜 물 온도가 나온다. 새 디자인 초기 지표도 똑같다. 새것에 대한 반응이 빠질 때까지 기다려야 진짜 수준이 보인다.

이게 왜 중요하냐면, 노벨티 효과에 속으면 별로인 디자인을 좋다고 오해해서 전체에 깔고, 1차 효과에 속으면 좋은 디자인을 나쁘다고 오해해서 버린다. 방향만 반대일 뿐 둘 다 틀린 결정으로 간다. 특히 1차 효과 쪽이 더 뼈아프다. 첫 주 지표가 떨어졌다는 이유로 접은 디자인이, 사실은 2주만 더 뒀으면 크게 이길 디자인이었을 수 있으니까.

여기서 지난 글 하나가 겹쳐 보인다. 로컬 옵티마를 다룬 글에서, 화면 구조를 통째로 바꾼 대안은 사용자가 익숙하지 않아서 처음엔 대개 진다고 적었다. 그 처음엔 진다의 정체가 바로 1차 효과다. 골짜기를 건너는 큰 변화일수록 초기 저항이 크고, 그래서 초기 숫자만 보면 골짜기 바닥에서 실험을 접게 된다. 노벨티와 1차 효과를 이해하는 건, 그 로컬 옵티마 글이 말한 처음엔 진다를 시간축 위에서 더 정밀하게 보는 일이다.

진짜 수준을 재는 법

그럼 새것에 대한 반응을 어떻게 걷어내고 진짜 실력만 볼까. 세 가지가 핵심이다. 시간 추세를 보는 것, 사용자를 나눠서 보는 것, 충분히 기다렸다가 재는 것.

첫째, 하나의 요약 숫자가 아니라 시간에 따른 추세를 본다. 노벨티 효과와 1차 효과의 공통점은 시간이 지나며 감쇠한다는 거다. 그러니 실험 기간 전체를 한 덩어리 평균으로 뭉개지 말고, 날짜별로 지표가 어떻게 움직이는지 그려봐야 한다. 예를 들어 새 디자인의 전환율이 첫날 15%, 그다음 14%, 13%, 12.5% 이렇게 계속 내려와 12% 근처에서 평평해지면, 초반의 3%p는 노벨티였고 진짜 수준은 12%라는 뜻이다. 반대로 첫날 9%에서 시작해 10%, 11%, 12%로 올라와 평평해지면, 초반의 하락은 1차 효과였고 진짜 수준은 12%다. 곡선이 평평해지는 지점, 그 안정된 값이 우리가 알고 싶은 진짜 수준이다. 곡선이 아직 기울어져 있는 동안 읽은 숫자는 전부 반응이 섞인 값이다.

둘째, 신규 사용자와 기존 사용자를 분리해서 본다. 두 효과는 다른 집단에서 다르게 나타나기 때문이다. 1차 효과, 그러니까 변화 저항은 정의상 기존 사용자에게만 있다. 옛날 화면에 익숙한 사람이라야 익숙함이 깨질 수 있으니까. 새 디자인을 처음 보는 신규 사용자에게는 옛날 화면이라는 기준 자체가 없어서 저항할 대상이 없다. 그래서 신규 사용자만 떼어서 보면, 변화 저항이 걷힌 상태의 지표에 더 가깝다. 신규 사용자 코호트(cohort)의 지표가 기존 사용자보다 훨씬 좋다면, 지금 전체 지표가 낮은 건 디자인이 나빠서가 아니라 기존 사용자의 일시적 저항 때문일 가능성이 크다. 여기서 코호트란 같은 시점에 들어왔거나 같은 조건을 공유하는 사용자 묶음을 말한다. 가입 시점으로 묶으면 가입 코호트, 실험에 처음 노출된 시점으로 묶으면 노출 코호트다.

셋째, 충분히 긴 관찰 기간을 잡고 워시아웃(washout) 이후에 측정한다. 워시아웃은 초기의 일시적 반응이 씻겨 나가고 지표가 안정될 때까지 기다리는 기간이다. 앞의 온도계 비유에서 손 온도가 빠질 때까지 기다리는 그 시간이 워시아웃이다. 실무에서는 보통 초기 며칠에서 몇 주를 워시아웃 구간으로 잡고, 그 구간의 데이터는 판단에서 빼거나 따로 표시한다. 그리고 워시아웃이 끝나 곡선이 평평해진 뒤의 구간만으로 최종 승패를 가린다. 얼마나 기다려야 하는지는 제품마다 다르다. 매일 쓰는 앱이면 사용자가 새 디자인에 익숙해지는 데 며칠이면 되지만, 한 달에 한두 번 여는 서비스면 사용자 대부분이 새 디자인을 두어 번 겪기까지 몇 주가 걸린다. 사용 주기가 길수록 워시아웃도 길게 잡아야 한다.

세 가지는 따로 노는 게 아니라 한 세트로 움직인다. 시간 추세를 보면 언제쯤 곡선이 평평해지는지 알 수 있고, 그 지점이 워시아웃이 끝나는 시점이며, 그 뒤 구간을 신규와 기존 코호트로 나눠 보면 두 효과가 각각 얼마나 남았는지 짚인다.

보고서에서 자주 나오는 실수

이 세 가지를 안 하면 보고서가 어떻게 어긋나는지, 자주 보는 장면 몇 개로 정리한다.

첫째, 실험을 며칠 만에 끝내고 그 며칠 평균으로 결론 낸다. 가장 흔하고 가장 위험하다. 첫 주 평균은 노벨티든 1차 효과든 반응이 잔뜩 섞인 값이라, 그걸로 정한 승패는 워시아웃 뒤에 뒤집히기 쉽다. 특히 급등한 지표를 보고 서둘러 전체 롤아웃하면, 노벨티가 빠진 뒤 지표가 주저앉는 걸 롤아웃 이후에 발견하게 된다.

디자이너: “첫 주에 15% 나왔으니 이겼습니다. 롤아웃하죠.” PM: “그 15%가 마지막 날에도 15%였나요, 아니면 첫날만 15%였나요?” 디자이너: “그건 안 봤는데요.”

이 대화에서 PM의 질문이 핵심이다. 같은 15%라도 유지된 15%와 첫날만 반짝한 15%는 완전히 다른 숫자다.

둘째, 신규와 기존 사용자를 안 나누고 전체 평균만 적는다. 그러면 기존 사용자의 변화 저항과 신규 사용자의 반응이 한 숫자에 뭉개진다. 전체 지표가 낮게 나왔을 때, 그게 디자인 문제인지 기존 사용자의 일시적 저항인지 구분할 근거가 사라진다. 코호트를 나눠 적어두기만 해도, 읽는 사람이 저항의 크기를 가늠할 수 있다.

셋째, 워시아웃 구간 데이터를 최종 판단에 그대로 섞는다. 초기 며칠을 빼지 않고 전체 기간 평균에 넣으면, 노벨티가 평균을 위로 밀거나 1차 효과가 아래로 당긴다. 워시아웃 구간은 판단에서 빼거나, 최소한 따로 표시해서 그 구간이 평균을 얼마나 흔들었는지 보이게 한다.

마무리

들어가며의 샴페인으로 돌아가자. 사흘째 15%를 보고 롤아웃을 외친 그 순간, 우리가 본 건 새 디자인의 실력이 아니라 새것에 대한 반응이 섞인 값이었다. 노벨티 효과라면 그 15%는 곧 내려앉고, 1차 효과가 걸린 다른 실험이었다면 반대로 첫 주의 하락이 곧 회복됐을 거다. 어느 쪽이든 초기 며칠 숫자로 내린 결론은 시간이 지나면 흔들린다.

그래서 새 디자인을 켰을 때 첫 질문은 지금 몇 퍼센트냐가 아니라, 이 숫자가 아직 반응이 섞인 구간인가다. 시간 추세로 곡선이 평평해졌는지 보고, 신규와 기존 코호트를 나눠 저항이 누구에게 남았는지 짚고, 워시아웃이 끝난 뒤의 구간으로 승패를 가린다. 이 세 가지를 거치고 나서야, 대시보드의 숫자가 진짜 실력을 말하기 시작한다.

로컬 옵티마 글의 처음엔 진다와 이 글은 결국 같은 이야기의 앞뒤다. 큰 변화는 초기에 저항으로 눌린다. 그 초기 골짜기를 실력 부족으로 오해해 접으면, 반대편 산의 오르막을 영영 못 본다. 초기 며칠의 숫자는 진짜 수준이 아니다. 진짜 수준은 곡선이 평평해진 뒤에, 그것도 사용자를 나눠서 봐야 비로소 보인다.