모든 리뷰는 평등하다?

카카오맵에서 음식점을 고를 때 가장 먼저 보는 것은 별점이다. 평점 4.8에 리뷰 500건이면 대부분의 소비자는 의심 없이 방문을 결정한다.

네이버는 2023년 음식점 별점을 폐지했다. 카카오도 결제 인증과 현장 사진 인증 제도를 도입하고 있는 걸 보면, 플랫폼 모두 별점의 한계를 인식하고 있는 셈이다.

그렇다면 카카오맵 별점은 실제로 얼마나 정확할까. 서울·경기 84,736개 가게의 175만 건 리뷰를 전수 분석해 별점의 신뢰도를 검증해봤다.

분석에는 'Gold 리뷰어'라는 개념을 도입했다. 카카오맵에서 50건 이상 리뷰를 작성하면서 평균 별점이 2.5~4.2점인 리뷰어, 즉 너무 후하지도 너무 혹독하지도 않은 균형 잡힌 평가자들이다. 이 Gold 리뷰어를 중심으로 전체 리뷰어에게 신뢰도 가중치를 매겨 가중 긍정률을 산출했다. 75% 이상이면 맛집, 50% 이상이면 괜찮음, 30% 미만이면 주의로 분류된다.

카카오 평점 4.8 이상인 가게 8,248곳을 이 기준으로 판정한 결과, 98.9%가 맛집으로 분류되는 것으로 나타났다. 괜찮음이 1.1%, 보통 이하는 0.02%에 불과했다. 5.0 만점 가게 2,995곳은 전부 맛집이었다.

카카오 평점 4.5 이상을 골랐을 때 보통 이하 판정이 나올 확률은 0.39%. 4.8이면 0.02%로 떨어진다. 수치만 보면 카카오 별점은 상당히 정확한 셈이다.

그렇다면 별점의 거짓말은 존재하지 않는 걸까. 데이터를 한 겹 더 들여다보면 이야기가 달라진다. 별점 자체가 아니라 그 별점을 구성하는 리뷰어의 질에서 문제가 나타나고 있었다.

일반적으로 리뷰가 많을수록 별점이 정확하다고 여겨진다. 500건이면 30건보다 믿을 만하다는 직관이다. 그러나 데이터는 다른 양상을 보여준다.

카카오 별점과 가중 분석 점수의 차이가 0.5점을 넘는 비율, 즉 '별점 오차율'을 리뷰 수가 아닌 Gold 리뷰어 수로 분류해 비교했다.

Gold 리뷰어가 한 명도 없는 가게에서는 3곳 중 1곳(33.6%)에서 카카오 별점이 실제와 0.5점 이상 어긋나는 것으로 나타났다. 반면 Gold가 20명 이상인 가게에서는 그 비율이 1.4%까지 떨어졌다. 별점의 정확도를 결정하는 것은 리뷰의 양이 아니라 리뷰어의 질임을 정량적으로 보여주는 대목이다.

실제로 리뷰 500건이어도 Gold 리뷰어가 한두 명에 불과한 가게는 별점 신뢰도가 낮았고, 리뷰 50건이어도 Gold가 10명 이상이면 오차율이 현저히 낮은 것으로 확인됐다.

분석에서는 별점 부풀림 수준을 3단계로 분류한다. 변별력 없는 리뷰 비율이 40%를 넘거나 카카오 별점과 가중 점수 차이가 0.5점을 넘으면 '주의', 20%/0.3점이면 '의심', 나머지는 '깨끗'이다.

주목할 만한 것은 '깨끗' 등급 가게들의 데이터다.

'깨끗' 등급 가게에서 카카오 별점은 가중 분석 점수보다 0.39점 낮은 것으로 나타났다. 까다로운 리뷰어들의 평가가 오히려 카카오 평균보다 후한 셈이다. 카카오 평점 3.9인 '깨끗' 가게가 실제로는 4.3 수준일 수 있다는 의미다.

반면 '주의' 등급에서는 카카오가 0.48점 과대평가되어 있었고, 보통+주의 판정 비율이 55%에 달했다. 같은 카카오 평점 4.3이어도 버블 등급에 따라 실체가 전혀 다른 것이다.

카카오 평점 4.0 이상이면서 '보통' 이하 판정을 받은 가게는 772곳이었다. 이 가게들의 카카오 별점과 가중 분석 점수 차이를 판정별로 나눠보면 일관된 패턴이 드러난다.

맛집 판정 가게들은 카카오 별점과 가중 점수 차이가 −0.07점으로, 사실상 동일한 수준이었다. 괜찮음도 +0.08점으로 오차 범위 안에 있다.

반면 '보통' 판정 가게에서는 카카오가 1.1점 과대평가되어 있었고, '주의' 판정은 1.32점 과대평가로 나타났다. 카카오 평점 4.2인 가게가 실제로는 2.9 수준이라는 의미다. 이 가게들의 공통점은 Gold 리뷰어가 평균 1.7~2.8명으로 거의 없다는 점이다.

구체적인 사례를 보면 이 패턴이 더 선명하게 드러난다.

양*** 삼성역점의 경우 카카오 평점 4.5이지만 가중 분석 점수는 1.38로, 3.12점의 괴리가 존재했다. Gold 리뷰어는 1명에 불과했다. 판** 수내직영점은 리뷰 573건으로 데이터량은 충분하지만, Gold는 2명뿐이었다. 리뷰 수가 많아도 신뢰할 수 있는 리뷰어가 부재하면 별점의 의미가 희석되는 것이다.

'보통' 이하 판정 가게 772곳의 공통점은 명확하다. 평균 Gold 리뷰어 2.4명, 카카오 평점 과대평가 폭 +1.1점. 별점을 검증할 균형 잡힌 평가자가 부재한 구조적 문제를 보여준다.

카카오 별점 자체가 거짓말을 하는 것은 아닌 것으로 확인됐다. 문제는 모든 리뷰가 평등하게 별점에 반영된다는 구조에 있다. 리뷰 3건을 쓴 초보 사용자와 200건 이상의 리뷰를 작성한 경험 많은 리뷰어의 별점이 같은 무게로 평균에 반영되고 있는 것이다.

네이버가 별점을 폐지한 것도, 카카오가 결제 인증과 현장 사진 인증을 도입한 것도 같은 문제 인식에서 출발한 것으로 보인다. 별점 자체보다 별점을 구성하는 리뷰어의 질을 평가하는 메커니즘이 부재하다는 점이 핵심적인 한계인 셈이다.

175만 건 분석의 결론은 명확하다. 카카오 평점 4.8은 거의 항상 정확했다. 거짓말은 별점 숫자가 아니라, Gold 리뷰어 없이 별점만 높은 가게에서 발생하고 있었다.

소비자 입장에서는 별점 숫자 자체보다 그 숫자를 만들어낸 리뷰어의 구성을 함께 확인하는 것이 중요하다. 리뷰 수를 세는 대신 경험 많고 균형 잡힌 리뷰어가 몇 명인지를 따지는 것이, 별점의 거짓말을 피하는 가장 현실적인 방법이 될 수 있다.