買う前に商品URLを入れると「サクラ度80%」と出るサイトがあるじゃろ。あれは何を見て数字にしておるのかのう。当たっておるのかも、わしには分からん。
私も、当たっているかどうかを誰が確かめたのか、まず調べてみました。公開されている資料に当たって、確かめられた部分とそうでない部分を分けていきます。
判定サービスは「サクラらしさ」を推定している。当たった外れたを第三者が測った資料は、今回の調査では見つけられなかった。
調べた範囲では、サクラ判定サービスの精度を独立に検証した公開資料は見つからなかった。精度の数字は開発者や運営会社が自分で述べたもので、研究の世界で「約90%」と報告された例は、日本のAmazonの商品とは別の条件で測られている。以下、順に見ていく。
判定サービスは、何を手がかりにしているのか
日本で広く知られたのは「サクラチェッカー」だ。J-CAST ニュースが2019年に開発者へ取材した記事によると、これはAmazonの商品URLや商品名を入れると、レビューが信頼できるかを判定するサービスで、結果を「サクラ存在率」（記事中の例は80%）と「危険」などの区分で示す。
記事に書かれた手がかりは、価格、販売者の所在地域、レビューの日付、レビュー本文の日本語の自然さ、評価の分布だ。J-CAST の例では、USB充電器のレビューの日付と評価分布に偏りがあり、「危険」と判定されていた。開発者は、有償でレビューを書く人が集まる非公開のFacebookグループに入って情報を得たとも話している。
| 主体 | 公表されている手がかり | 出力 |
|---|---|---|
| サクラチェッカー（2019年時点） | 価格、販売者の地域、レビューの日付、本文の日本語の自然さ、評価の分布 | サクラ存在率（%）と危険などの区分 |
| Amazon（自社の審査） | 他のアカウントとの関連、利用者からの通報、危険な行動パターン、レビュー履歴、サインインの状況。機械学習と調査担当者を併用 | 投稿前にブロックするか否か（利用者には見えない） |
出典：J-CAST ニュース（2019年）、Amazon「How Amazon maintains a trusted review experience」をもとに編集部作成。
表1で目につくのは、手がかりの種類が同じ土俵にないことだ。外から見える判定サイトは、価格や日付や分布といった画面に出ている情報だけで推定する。一方のAmazonは、アカウント同士のつながりやサインインの記録という外部の人間が見られない情報を使っている。判定サイトは、Amazonが持っている材料のうち最も強いものを持たないまま推定している。
じゃあ、画面に出ておる範囲だけで見分けるしかないのじゃな。わしが目で見て「怪しい」と思うのと、どれほど違うのかのう。
そこが次の論点です。人の目と機械で、見分けられる程度が違うという研究が一つあります。ただし、その研究の条件は買い物の現場とだいぶ違います。
「約90%」という数字は、何の条件で測られたのか
偽レビューの判定で最もよく引かれる研究は、コーネル大学の Ott、Choi、Cardie、Hancock が2011年に発表した論文だ。シカゴのホテル20軒について、人に頼んでわざと書かせた好意的な偽レビューを集め、本物のレビューと見分けられるかを調べた。論文の要旨は、機械学習の分類器が「ほぼ90%」の精度に達したとしている。
調査：Ott et al.（2011）。偽レビューは、報酬を払って「好意的な偽レビューを書いて」と依頼した人が書いたもの。
読み方：検索で確認できた範囲では、人間の判定者3人は偶然程度（約50%）の成績だった。ただし本文までは直接読めておらず、判定者の数と成績は論文の紹介記事の記述による。
この研究から言えることは二つある。人の目だけでは見抜きにくいこと、そして条件がそろえば機械が人よりかなり高い精度を出せることだ。
しかし、そのまま通販サイトに当てはめるには無理がある。この「90%」は、ホテルという一つの分野で、依頼されて書かれた偽レビューを相手に、答えが分かっているデータで測った数字だ。実際の通販では、サクラが依頼文に従って書いているとは限らず、本物のレビューの中にも文章が不自然な人がいて、正解を知る人もいない。研究者本人が一般の通販に90%を保証したわけではない。
答えを知っておる状態で測った数字を、答えが分からん買い物の場で信じるわけにはいかんのじゃな。
「サクラ」は法律のどこに当たるのか
もう一つ整理しておきたいのが、法律の線だ。消費者庁は、2023年10月1日から、広告であるのに広告と分からない表示（いわゆるステルスマーケティング）を景品表示法違反とした。同庁のページによると、対象にはSNS投稿やレビュー投稿が含まれ、企業が第三者に依頼・指示した表示も含まれる。規制を受けるのは広告主である事業者で、依頼を受けた第三者は対象外とされている。
| 年 | 出来事 |
|---|---|
| 2011年 | Ott らが、偽レビューをホテルのデータで分類する研究を発表（ACL 2011） |
| 2019年 | サクラチェッカーが話題に。J-CAST が開発者に取材 |
| 2023年 | 10月1日、ステルスマーケティングが景品表示法違反に。Amazonは同年に2億5,000万件超の疑わしい偽レビューを事前に止めたと自社で公表 |
| 2025年 | 5月22日、Mozilla が偽レビュー判定サービス Fakespot の終了を発表（報道によれば7月1日にサービス終了） |
出典：各社・各機関の公表資料をもとに編集部作成。
ここで大事なのは、法の線とサクラの線が別物だということだ。法規制が見ているのは「事業者が依頼・指示した表示で、依頼したことが分からないもの」であって、レビューが本心かどうかではない。事業者が関与しない善意の高評価と、お金をもらって書かれた★5は、中身の文章だけで区別できるとは限らない。判定サイトが出す「サクラ度」は、法律の定義に当てはまるかどうかの判定ではない。
さらに、Fakespot の例が示すとおり、判定サービス自体も続く保証がない。Mozilla は終了の理由を「考え方は共感されたが、維持できる形にならなかった」と説明している。買い物の判断の杖にしたサービスが、ある日なくなることがある。
補足します。Amazon は「利用者が見る商品の99%超は本物のレビューだけ」と公表していますが、これも自己申告です。独立した監査の結果は、今回の調査では確認できませんでした。
私たちも「数字で語る側」にいる
この記事を書きながら気づいたことがある。「サクラ度80%」のような数字は、画面に出た瞬間に結論に見える。これは the NTM の記事でも同じで、「スコア」や「％」を見出しに出せば読まれやすい。判定サイトを批判しているが、数字を前に出して読者の注意を引く誘惑は、私たちも持っている。だから今回は、数字の出所と条件を表の形で先に並べた。
「検証済み」の表示がどこまで信頼を支え、どこで盲点になるかは、ファクトチェックの権威化を扱った記事でも書いた。
数字が出ると、わしは中身を見ずに安心してしまう。……覚えがあるぞ。市で「八分通り甘い」と札の付いた柿を、味見もせずに買うて帰ったことがあるのじゃ。
主な参照資料:
- J-CAST ニュース「ヤラセレビュー見抜ける？『サクラチェッカー』話題」 — 2019年。開発者への取材。精度は開発者の自己申告で、記事は検証していない
- Ott, Choi, Cardie, Hancock（2011）「Finding Deceptive Opinion Spam by Any Stretch of the Imagination」 — ACL 2011。要旨を確認。判定者の成績などの細部は紹介記事経由で、本文は未読
- Amazon「How Amazon maintains a trusted review experience」 — 自社の審査方法と2023年の件数。自己申告
- 消費者庁「ステルスマーケティング規制」 — 2023年10月1日施行。運用基準のPDFそのものは未確認
- TechCrunch「Mozilla is shutting down read-it-later app Pocket」 — Fakespot 終了の発表と Mozilla の説明
参考文献・検証ログ
Score Breakdown
参照は 5 本あります。監査はまだ保留で、公開前の確認が残っています。
調べる
参照 5 本。一次情報 1 本 / 二次情報 0 本を当てて、本文の芯を固める。
確かめる
監査メタデータを残して、あとから追えるようにする。
残す
公開 0 回。更新の入口を開けておいて、あとから辿れるようにする。
この経過表示は publish_audit.jsonl と記事の監査メタをもとに、 ビルド時にまとめて描画しています。更新は再デプロイで反映されます。
参考資料
- 参考J-CAST ニュース「ヤラセレビュー見抜ける？『サクラチェッカー』話題」j-cast.com
- 参考Ott, Choi, Cardie, Hancock（2011）「Finding Deceptive Opinion Spam by Any Stretch of the Imagination」arxiv.org
- 参考Amazon「How Amazon maintains a trusted review experience」trustworthyshopping.aboutamazon.com
- 一次消費者庁「ステルスマーケティング規制」caa.go.jp
- 参考TechCrunch「Mozilla is shutting down read-it-later app Pocket」techcrunch.com
