すべてのレビューは平等か？

Kakaoマップで飲食店を選ぶとき、最初に見るのは星評価だ。評価4.8にレビュー500件あれば、ほとんどの消費者は疑いなく訪問を決める。

Naverは2023年に飲食店の星評価を廃止した。Kakaoも決済認証や現地写真認証制度を導入していることを見ると、どのプラットフォームも星評価の限界を認識していると言える。

では、Kakaoマップの星評価は実際どれほど正確なのだろうか。ソウル・京畿の84,736店に寄せられた175万件のレビューを全数分析し、星評価の信頼性を検証してみた。

分析では「Goldレビュアー」という概念を導入した。Kakaoマップで50件以上のレビューを書き、平均星評価が2.5〜4.2点のレビュアー、つまり甘すぎず厳しすぎない、バランスの取れた評価者たちだ。このGoldレビュアーを中心に、全レビュアーへ信頼度の重み付けを行い、加重ポジティブ率を算出した。75%以上ならグルメ店、50%以上なら悪くない、30%未満なら注意に分類される。

Kakao評価4.8以上の店8,248店をこの基準で判定した結果、98.9%がグルメ店に分類されることが分かった。「悪くない」は1.1%、「普通」以下は0.02%にすぎなかった。満点5.0の店2,995店はすべてグルメ店だった。

Kakao評価4.5以上を選んだとき、「普通」以下の判定が出る確率は0.39%。4.8なら0.02%まで下がる。数字だけ見れば、Kakaoの星評価はかなり正確だと言える。

では、星評価の嘘は存在しないのだろうか。データをもう一段深く見ると、話は変わってくる。問題は星評価そのものではなく、その星評価を構成するレビュアーの質にあった。

一般的には、レビューが多いほど星評価は正確だと考えられている。500件なら30件より信頼できる、という直感だ。しかしデータは別の様相を示す。

Kakaoの星評価と加重分析スコアの差が0.5点を超える割合、つまり「星評価誤差率」を、レビュー数ではなくGoldレビュアー数で分類して比較した。

Goldレビュアーが1人もいない店では、3店に1店（33.6%）でKakaoの星評価が実態と0.5点以上ずれていることが分かった。一方、Goldが20人以上いる店では、その割合は1.4%まで下がった。星評価の正確性を決めるのはレビューの量ではなく、レビュアーの質であることを定量的に示す結果だ。

実際、レビューが500件あってもGoldレビュアーが1〜2人しかいない店は星評価の信頼性が低く、レビューが50件でもGoldが10人以上いれば誤差率が顕著に低いことが確認された。

分析では、星評価の水増しレベルを3段階に分類する。識別力のないレビューの割合が40%を超えるか、Kakaoの星評価と加重スコアの差が0.5点を超えれば「注意」、20%/0.3点なら「疑い」、それ以外は「クリーン」だ。

注目すべきなのは、「クリーン」等級の店のデータである。

「クリーン」等級の店では、Kakaoの星評価は加重分析スコアより0.39点低いことが分かった。厳しいレビュアーたちの評価のほうが、むしろKakao平均より高かったわけだ。Kakao評価3.9の「クリーン」な店が、実際には4.3レベルである可能性があるという意味だ。

一方、「注意」等級ではKakaoが0.48点過大評価されており、「普通+注意」判定の割合は55%に達した。同じKakao評価4.3でも、バブル等級によって実態はまったく異なるのだ。

Kakao評価4.0以上でありながら、「普通」以下の判定を受けた店は772店だった。これらの店について、Kakaoの星評価と加重分析スコアの差を判定別に分けてみると、一貫したパターンが浮かび上がる。

グルメ店判定の店は、Kakaoの星評価と加重スコアの差が−0.07点で、事実上ほぼ同じ水準だった。「悪くない」も+0.08点で誤差範囲内にある。

一方、「普通」判定の店ではKakaoが1.1点過大評価されており、「注意」判定では1.32点過大評価となった。Kakao評価4.2の店が、実際には2.9レベルという意味だ。これらの店の共通点は、Goldレビュアーが平均1.7〜2.8人と、ほとんどいないことだった。

具体的な事例を見ると、このパターンはさらに鮮明に表れる。

양*** 삼성역점のケースでは、Kakao評価は4.5だが、加重分析スコアは1.38で、3.12点の乖離があった。Goldレビュアーは1人にすぎなかった。판** 수내직영점はレビュー573件とデータ量は十分だが、Goldは2人しかいなかった。レビュー数が多くても、信頼できるレビュアーが不在なら、星評価の意味は薄れてしまうのだ。

「普通」以下の判定を受けた772店の共通点は明確だ。平均Goldレビュアー2.4人、Kakao評価の過大評価幅は+1.1点。星評価を検証するバランスの取れた評価者が不在であるという、構造的な問題を示している。

Kakaoの星評価そのものが嘘をついているわけではないことが確認された。問題は、すべてのレビューが平等に星評価へ反映されるという構造にある。レビュー3件の初心者ユーザーと、200件以上のレビューを書いた経験豊富なレビュアーの星評価が、同じ重みで平均に反映されているのだ。

Naverが星評価を廃止したことも、Kakaoが決済認証や現地写真認証を導入したことも、同じ問題意識から出発したように見える。星評価そのものより、星評価を構成するレビュアーの質を評価するメカニズムが不在である点こそが、核心的な限界なのだ。

175万件分析の結論は明確だ。Kakao評価4.8は、ほぼ常に正確だった。嘘が生じていたのは星評価の数字そのものではなく、Goldレビュアーがいないのに星評価だけ高い店だった。

消費者の立場では、星評価の数字そのものよりも、その数字を作り出したレビュアーの構成をあわせて確認することが重要だ。レビュー数を数える代わりに、経験豊富でバランスの取れたレビュアーが何人いるのかを見ることが、星評価の嘘を避ける最も現実的な方法になりうる。