通販の★1レビューって、やたら長いじゃろ。怒りが収まらん人が延々と書いておる印象があるんじゃが、あれは本当に長いのかのう。それとも、長いのだけが目に残っておるだけかのう。
ネタ帳にもそう書いてあったので、私も「長い」前提でした。ただ、日本語のレビューを星ごとに分けて公開している研究用データがあります。先に数えてしまいましょう。
★1のレビューは、長くなかった。この21万件では、★1は星の中でも短い側に入る。
結論から書く。日本語のAmazonレビュー210,000件で、レビュー本文の長さ（中央値）は★1が68字、★5が74字だった。最長は★2の77字で、★1は5段階のうち最も短かった。
何を数えたのか
使ったのは、Keung らが2020年に公開した「The Multilingual Amazon Reviews Corpus」の日本語部分だ。2015年から2019年にかけて集めた Amazon のレビューを、星の数ごとに同数ずつ抜き出してある。
方法：レビューのタイトルと本文を分け、本文の文字数を数えた。語句の有無は字面の一致だけで数えた。
限界：星ごとに同数を抜き出してあるため、★1が全体で何割あるかは分からない。「役に立った」票も入っておらず、読まれやすさは測れない。商品カテゴリは混ぜている。
星ごとに同じ数だけ抜いてあるんじゃな。それなら、★1が多いか少ないかの話はできんのう。
はい。このデータが答えられるのは「書かれたレビューの長さが星でどう違うか」だけです。逆に言えば、そこは各星 42,000 件ずつの同じ条件で比べられます。
長さを星ごとに並べると、ほとんど差がない
本文の長さを星ごとにまとめたのが表1だ。
| 星 | 平均 | 中央値 | 長い方から25%点 | 長い方から10%点 | 200字以上（%） |
|---|---|---|---|---|---|
| ★1 | 93.8 | 68 | 114 | 184 | 8.2 |
| ★2 | 107.5 | 77 | 131 | 212 | 11.3 |
| ★3 | 101.2 | 71 | 123 | 204 | 10.5 |
| ★4 | 105.3 | 73 | 129 | 213 | 11.4 |
| ★5 | 98.8 | 74 | 122 | 189 | 8.7 |
出典：Keung et al.（2020）の日本語コーパスをもとに編集部集計。
中央値で見ると、★1と★5の差は6字しかない。長い方から10%点では、★1（184字）は★2〜★4（204〜213字）より短く、200字を超える長文の割合も★1は8.2%で、★2の11.3%や★4の11.4%を下回る。
★1と★2をまとめた平均は100.7字、★4と★5をまとめた平均は102.1字で、これもほぼ同じだ。この日本語データでは、低評価ほど長く書かれるという傾向は見えなかった。
じゃが、英語圏では「低評価の方が長い」と聞いた気がするぞ。日本語だけの癖なのかのう。
同じコーパスの英語部分も数えました。単語数の中央値は★1が23、★2が27、★5が20です。★1は★5より少し長いのですが、いちばん長いのはやはり★2でした。言語を変えても、「★1が最長」にはなりませんでした。
★1の特徴は長さではなく、書いてある中身にあった
長さが同じなら、★1と★5は同じような文章なのか。語句の有無を数えると、違いははっきり出た。
出典：Keung et al.（2020）の日本語コーパスをもとに編集部集計。
★1では、本文に返品・返金・交換のいずれかが出てくる割合が17.9%で、★5の2.0%の約9倍になる。問い合わせや連絡への言及も6.1%と1.1%で、約5.5倍だ。期間の表現も10.4%と3.2%で、「届いて3日で壊れた」「半年使って」のような経過の記述が★1に多い。
一方で、逆接の語が最も多いのは★2の37.4%で、★1は25.4%、★5は22.2%だった。（★3は38.7%で★2とほぼ並ぶ。）
★1の本文には、評価よりも「何があって、その後どうしたか」が書かれていた。逆接が多いのは、良い点と悪い点を天秤にかける★2・★3のほうだ。ここから先は字面の集計に基づく読みで、本文の意味を一件ずつ確かめたものではない。
★1は長う語るというより、起きたことを報告しておるんじゃな。迷った末の★2の方が、言い分が増えるわけじゃ。
そう読めますが、字面の話に留めます。「返品」という語が出るかどうかは、迷いの量とは別の物差しですから。確かめるなら、★2の本文を無作為に抜いて読む作業が要ります。
それでも「★1は長い」と感じるのはなぜか
長さに差がないなら、印象はどこから来たのか。このデータからは断定できない。ただ、いくつか手がかりはある。
② 返品や連絡の経緯が詳しい★1は、短くても印象に残りやすい。
③ 長い低評価は「役に立った」票を集めて上位に出やすい。
①は Hu、Pavlou、Zhang の研究が扱っている。彼らは Amazon のデータから、レビューの星の分布が「高評価が多く、低評価にも小さな山がある」形になると示し、その理由として、好意的な人ほど買って書きやすいこと（取得バイアス）と、極端な評価の人ほど書きやすいこと（過少報告バイアス）の二つを挙げた。ただし私たちは、論文の本文までは読めていない。参照したのは要旨レベルの記述で、ここが書く側の動機を示すとしても、長さまでは説明しない。
③は今回のデータでは確かめられない。「役に立った」票が入っていないからだ。
海外のレビュー基盤を運営する PowerReviews 社は、自社ブログで「★4・5のレビューは★1・2より一貫して短い」と述べている。ただし標本の数と集計期間は、そのページには書かれていなかった。今回の結果と食い違っており、サイトや言語、集計の仕方で変わる可能性がある。日本の別のECで同じ問いを確かめるには、国立情報学研究所が研究者向けに提供している楽天のレビューデータが使えるが、今回は取得していない。
測っていない間は、「長い」は印象でしかなかった。 注意したいのは、この表の外にも偏りがあることです。2015〜2019年のAmazonに限った話で、現在の画面や書き込みのルールが同じとは限りません。
自分たちも、測る前は同じ印象を信じていた
この記事の元になった切り口は、うちのネタ帳に「レビューの★1はなぜ文章が長いのか」と書かれていた。つまり私たちは、測る前に「長い」を前提にして、理由を探そうとしていた。
the NTM の記事も、見出しで「なぜ〜なのか」と問いを立てる。問いの前提が間違っていても、理由は後からいくらでも付けられる。読者にとっては、前提ごと読まされる形になる。今回は題を立てる前に数えたので、前提のほうを直せた。
見出しの型が読者の期待を作る話は、掲示板のスレタイの型を3つの板で数えた記事でも扱った。「検証済み」という印が読者の判断をどう助け、どこで盲点になるかはファクトチェックの権威化を扱った記事で書いた。
長い文を見ると、わしはつい「本気の訴えじゃ」と思い込む。……覚えがあるぞ。村の寄り合いで一番長く喋った男の言い分を、一番正しいと思うて頷いたことがあるのじゃ。
主な参照資料:
- Keung, Lu, Szarvas, Smith（2020）「The Multilingual Amazon Reviews Corpus」 — EMNLP 2020。2015〜2019年のレビューを星ごとに同数抜き出したコーパス
- mteb/amazon_reviews_multi（Hugging Face） — 今回集計に使った配布形態。日英とも約21万件
- Hu, Pavlou, Zhang「Why do Online Product Reviews have a J-shaped Distribution?」（2007年ワーキングペーパー） — 取得バイアスと過少報告バイアス。本文は未読、要旨レベルの確認
- PowerReviews「Why we built the Review Meter」 — 業者のブログ。標本数・期間の記載なし
- 国立情報学研究所 楽天データセット — 日本のEC別データの所在。今回は未使用
参考文献・検証ログ
Score Breakdown
参照は 5 本あります。監査はまだ保留で、公開前の確認が残っています。
調べる
参照 5 本。一次情報 1 本 / 二次情報 0 本を当てて、本文の芯を固める。
確かめる
監査メタデータを残して、あとから追えるようにする。
残す
公開 0 回。更新の入口を開けておいて、あとから辿れるようにする。
この経過表示は publish_audit.jsonl と記事の監査メタをもとに、 ビルド時にまとめて描画しています。更新は再デプロイで反映されます。
参考資料
- 参考Keung, Lu, Szarvas, Smith（2020）「The Multilingual Amazon Reviews Corpus」arxiv.org
- 参考mteb/amazon_reviews_multi（Hugging Face）huggingface.co
- 参考Hu, Pavlou, Zhang「Why do Online Product Reviews have a J-shaped Distribution?」（2007年ワーキングペーパー）archive.nyu.edu
- 参考PowerReviews「Why we built the Review Meter」powerreviews.com
- 一次国立情報学研究所 楽天データセットnii.ac.jp
