#AIクローラー robots.txt 設定

GPTBot・Google-Extended等のAIクローラーを正しく制御する方法。robots.txt・llms.txtの書き方、ブロックvs許可の判断基準をコード例付きで解説。