【robots.txt分析ツール-SEO日記】Get被リンク

■robots.txt分析ツール

robots.txtといえば、ルートディレクトリに入れて、検索エンジンクローラーに、このページは読まないでください、巡回頻度はこうしてください、このクローラーは来ないでください等など要望をいうファイルです。