robots.txt

robots.txtとは、robots.txt とは、ウェブサイトのルートディレクトリに配置する標準的なテキストファイルで、検索エンジンやAIのクローラーに対してクロール範囲を指示する。