Vercel、AIのクローラーとアシスタントを分けて数える画面

AIボットのアクセスと一口に言っても、中身は2種類ある。検索の索引づくりや学習のためにページを集めて回るクローラーと、利用者の操作や検索を受けて、その場でページを取りにくるアシスタントだ。

Webアプリの公開基盤Vercelは10月28日、監視機能のObservabilityに「AI Traffic」の画面を加え、この2つを分けて数えられるようにした。AI Trafficの画面はObservabilityの中にあり、Observability自体は全プランで使える。

5つの項目で、ボットの動きを追う

まず分かるのは、検証済みのAIボットごとのリクエスト数。時間の流れに沿って、クローラーとアシスタントの内訳を追える。

チーム全体でも、プロジェクトごとでも見られる。

画面の項目	分かること	近いCLIの指標
AIボットごとのリクエスト数	検証済みのボットごとの件数。クローラーとアシスタントの内訳も出る	vercel.ai_traffic.count
クローラーがよく取るページ	索引づくりや学習のために多く取られたページ	vercel.ai_traffic.crawler.count
Assistant retrievals	利用者の求めに応じて、アシスタントが取りにきたページ	vercel.ai_traffic.assistant.count
Markdownの要求	ボットがtext/markdownの形で求めたページ	vercel.ai_traffic.markdown_requests.count
エラー	ボットのリクエストがエラーになったページ	vercel.ai_traffic.failed_requests.count

右の列はCLIで同じ種類の件数を引くときに使う指標名だ。

「検証済み」については、Vercelがボット管理のドキュメントで説明している。Vercelは正規のボットの一覧を持ち、送信元のIPアドレスやDNSの逆引き、電子署名で身元を確認する。User-Agentでボットを名乗るだけのアクセスは、ボットごとの内訳に入らないとみられる。

一覧には分類も付いている。GPTBotやClaudeBotは「ai_crawler」、ChatGPT-UserやClaude-Userは「ai_assistant」の扱いだ。

意外なのは、Markdownで求められたページが独立した項目になっていることだ。

Vercel自身のドキュメントは同じURLでも、Acceptヘッダーでtext/markdownを求められればMarkdownを返す。形式を指定しないAIエージェントにも、Markdownで応じる。ボットがHTMLとMarkdownのどちらを欲しがっているかまで、件数で分かるようになった。

人の行動を追う解析とは、数える相手が違う

では、AIボットのアクセスを、なぜ人の訪問と分けて見たいのか。

掲載しているGoogleのGA4は、サイトとアプリをまたいで、顧客の行動を購入までの流れでとらえるツールだ。Microsoft Clarityも、訪問者がどこをクリックし、どこまでスクロールしたかを見る。どちらも主役は人の訪問者である。

一方のAI Trafficは、Vercelの配信網に届いたボットのリクエストを数える。

アシスタントは、利用者がAIに調べものを頼んだときにページを取りにくる。利用者はAIの答えを読むだけで、サイトを開かずに済ませることもあるだろう。その場合、ページは人の目に触れないまま、答えの材料として使われたことになる。Assistant retrievalsの件数はこうした読まれ方を映す数字だ。

クローラーとアシスタントを分けて数える意味も、ここにある。学習用のクローラーは断り、質問に答えるアシスタントには読ませる。そんな方針を取るなら、2つを合わせた件数だけでは判断がつかない。

CLIでの照会は、有料のPlusが前提

画面と同じ種類の数字は、Vercel CLIのvercel metricsでも引ける。ただし、CLIでの照会にはObservability Plusが要る。PlusはProとEnterpriseのチームが使える追加機能で、Hobbyでは使えない。

比べる点	Hobby	Pro	Enterprise
Observability	使える	使える	使える
Observability Plus	使えない（Proへの切り替えが要る）	使える。2026年4月3日以降に作成したか、Proへ切り替えたチームは最初から有効	使える。有効にする手続きが要る
Plusなしのデータ保持期間	12時間	1日	3日
Plusのデータ保持期間	対象外	30日	30日
vercel metricsでAI trafficの指標を引く	できない	Plusが有効なら引ける	Plusが有効なら引ける

Plusの有無でいちばん差が出るのは、データの保持期間だ。Plusなしだと、Proでも1日分。AI Trafficに限った保持期間の記載はない。それでも、先週と今週でボットの増減を比べるなら、Plusが前提になるとみてよい。

Plusの料金体系はイベントの数に応じた従量課金である。イベントは配信網へのリクエストや関数の呼び出しを1件ずつ数えたもの。プロジェクトごとにPlusの対象から外し、費用を抑える設定もある。金額はObservability Plusのドキュメントに載っている。

CLIで引けるのは件数だ。--format jsonを付ければ、結果をJSONで出せる。週に1度、ボットの件数を社内の表へ書き出すような使い方に向く。どの切り口で分けて集計できるかは、vercel metrics schemaに指標の名前を渡すと表示される。

robots.txtに1行足す前に

最初に見たいのはエラーの一覧だろう。AIボットがエラーを受けているページは、URLを変えたあと、リンクが切れたままのページかもしれない。人の訪問者にも同じエラーが出ていないか、あわせて見直したい。

Markdownで求められる回数が多いページは、Markdown版を返す候補になる。Vercelはナレッジベースで、Next.jsのアプリがAcceptヘッダーを見分け、同じURLでMarkdownを返す手順を案内している。

断る相手を決めるときは、VercelのAI bots managed rulesetが使える。既知のAIボットからのリクエストを、記録するか拒否するかを選ぶルールで、全プランが対象だ。いきなり拒否にせず、まず記録で動かし、AI Trafficの件数と見比べてから切り替える手もある。

ただ、このルールは学習用のクローラーに加え、検索や利用者の求めによる取得も対象にしている。クローラーだけを断るなら、User-Agentを条件にしたWAFのカスタムルールで、ボットを名指しする形になる。

もっとも、Vercelの前にCloudflareなどのリバースプロキシを置いている構成は事情が違う。Vercelはボット対策の説明で、リバースプロキシがボットを確実に見分ける妨げになると書いている。AI Trafficの件数にどこまで響くかは、ドキュメントに記載がない。

学習用のクローラーと、質問に答えるアシスタント。どちらにどのページを読ませるかを、件数を見て決められるようになった。