テクニカルSEO

クローラー

Web Crawler / Spider
クローラー
クローラー（Web Crawler / Spider）とは、インターネット上のウェブページを自動的に巡回し、コンテンツを取得・解析するプログラム。

関連する用語

構造化データ
検索エンジンにコンテンツの意味を機械可読な形で伝えるマークアップ。Schema.orgの語彙をJSO…
canonical
重複コンテンツがある場合に「正規のURL」を検索エンジンに指定するHTMLタグ。同一内容の複数URL…
関連記事
TECHNICAL
AIクローラーの種類と制御方法｜robots.txtとllms.txtの設定ガイド