夜11時半、paulkuo.twのトップページを開き、アクセス分析の欄を見た。
訪問者:0。
おかしい。その日、記事を読んだ人も翻訳ツールを使った人もいた。Cloudflare Dashboardを開くと、Page viewsは193、Visitsは130だった。
別の分析画面では、Unique Visitorsが1,100と表示された。同じ日、同じサイトなのに、大きく違う数字が三つ。私はそれを一つに説明できる答えを急いで探した。
当時の答えは、ゼロはサンプリングの結果、130は人間、残りの大半はBotというものだった。この記事を見直し、その判断は取り下げなければならない。画面の数字は当時の観察だが、説明には同じだけの証拠がなかった。
Visitsは人数ではない
Visits 130を見て、私は自然に「今日は130人来た」と読んだ。その時点で単位を置き換えていた。
Cloudflareの現在の指標定義では、Web AnalyticsのVisitは他サイトまたは直接リンクから始まるページ閲覧で、判定には参照元のホスト名が関係する。一回のVisitに複数のPage viewが含まれ得る。一人ずつ本人を識別して人数を足す仕組みではない。
IPで重複を除いたUnique Visitorsも、そのまま個人の数とはみなせない。一つのオフィスが同じ外部IPを共有することもあれば、一人がネットワークを変えて別のIPになることもある。
つまり、少なくとも訪問回数と、特定の方法で重複を除いた訪問者指標という二つの単位があった。両方に「人」と付ければ、比較する前に意味が混ざる。
ここに残しているのは当時記録した数値で、当時のクエリは再現していない。現在の公式資料は解釈の修正には役立つが、そのリクエストの原記録に代わるものではない。
ブラウザーの報告とネットワークの要求は範囲が違う
Cloudflare Web Analyticsは、ページに置いたJavaScriptの小さなプログラムでデータを報告する。これはbeaconと呼ばれる。一方、HTTPトラフィック分析はネットワークサービスを通るリクエストを見る。観測する位置が違えば、見える活動の範囲も違い得る。Web Analytics公式説明
以前の私は「BotはJavaScriptを実行しないのでbeaconは人間だけを数える」と書いた。これは言いすぎだった。JavaScriptを実行できても、その向こうに読者が座っている証明にはならない。自動化されたブラウザーもページを開ける。逆に、人間の報告がブラウザーの設定や通信の問題で届かないこともある。
ネットワーク側の分析からブラウザーの報告へ移ったのは、読者の利用に近い指標がほしかったからだ。その目的は今も妥当だと思う。ただし、報告の成功が何を意味し、何を見落とすかを説明する必要がある。ツールの選択自体は正確さの保証にならない。
サンプリングは調査の手がかりで、ゼロの原因確定ではない
調査中、ある期間のAPI値に複数のゼロがあり、100の倍数も多いと気づいた。私はこれをadaptive samplingに結びつけ、「130が四捨五入で0になった」とまで書いた。
この説明は成立しない。通常、百の位に四捨五入しても130は0にならない。それ以上に、数字の並びだけでは、その照会でどんなサンプリングを何割行ったのか、別の問題がなかったのかはわからない。
Cloudflareのサンプリング資料によれば、DashboardとGraphQLの一部の数値は標本から総量を推定する。したがって「Dashboardは常に正確で、APIだけが標本を使う」とも言えない。現在の資料には一部Adaptiveデータセットの信頼区間を照会する方法もあるが、適用できるかはデータセットとフィールドの確認が必要だ。
この過去の出来事について残せる結論は、APIと画面に大きな差があり、当初の検収が足りなかったということだ。原因を確定するには、タイムゾーン、期間、ホストの絞り込み、データセット、指標をそろえた照会記録が必要で、その上でサンプリングや更新遅延を調べる。記録がなければ根本原因は未解明のままにする。もっともらしい専門用語で空白は埋められない。
私が間違えた三つの道
一つ目はフィールドだけの確認だった。APIからVisitsが取れることは確かめたが、計算方法を確認せず、数日分を画面と照合もしなかった。数字が取得できれば、意思決定に使えると思ってしまった。
二つ目はデータ源を急いで変えたことだ。ゼロを見て別のAPIならよいはずだと直感し、修正版を反映してから取り消した。往復の手間はかかったが、最も必要だった「二つの照会は何が違うのか」という情報は増えなかった。
三つ目は、人間の判別と数値の品質を一緒にしたことだ。自動アクセスを除外する仕組みがあっても、データの完全性、重複除去、サンプリングはそれぞれ確認しなければならない。
AIと仕事をするとき、私は調べてから動くよう自分に言い聞かせる。それでもトップページにゼロが出ると、早く直したくなった。残すべき教訓は、その衝動を止め、問題のクエリと結果を先に保存することだ。
自分で数えるなら、数え方も説明する
その後、独自のvisit beaconを追加した。ページ読み込み時にWorkerへ報告し、IPとUser-Agentの組み合わせで日ごとの重複を除く。User-Agentはブラウザーが送るソフトウェアの識別情報だ。この組み合わせは計数用のキーであり、個人の身分証明ではない。
独自の仕組みなら、イベントを定義し、調査用記録を残し、数値の作られ方を把握できる。それでも届いた報告しか見えない。重複除去で別人をまとめることも、一人を分けることもある。ハッシュ化だけで完全な匿名性を保証することもできず、保存や利用の方法を見る必要がある。
元の記事ではさらに、Zone AnalyticsのIP重複除去数から、beaconのIPとUser-Agentで重複除去した数を引き、差をAI/Bot訪問者とした。この計算は成立しない。単位、観測範囲、重複除去が異なる。一方が他方の人間だけの部分集合だと仮定する根拠はない。
したがって1,100から130を引いて970になるのは、ただの算術だ。970のBotがいた証明にはならず、訪問者の88%が機械だという証拠にもならない。
自動アクセスを調べるなら、リクエスト記録と識別根拠を別に見て、何を識別でき、何ができないかを説明する。クローラーが記事を取得しても、モデルが引用したことや影響が生まれたことを意味しない。それぞれ別の問いだ。
次にゼロを見たら何を残すか
この経験を整理する今なら、まず各指標に一文の定義を書き、トップページに載せるかを決める。
ブラウザー報告の傾向、ネットワークリクエストの変化、記事から来た問い合わせには、それぞれ用途がある。並べて見ることはできる。しかし見栄えのよい人間対機械の円グラフを作るために、異なる基準の数字を無理に一つにまとめてはいけない。
DashboardとAPIの差が大きければ、小さなことから始められる。同じ期間を選び、タイムゾーン、条件、指標名、完全な応答を記録する。両方が同じ問いを扱っていると確かめてから、更新遅延、収集漏れ、サンプリングを追う。独自ツールは選択肢の一つで、すべての小規模サイトが作り直す必要はない。
あの夜のゼロを見て、私は誰かが来たと証明したくなった。今は、トップページの「訪問者」という言葉で、読者に何を約束しているのかを先に知りたい。


💬 コメント
読み込み中...