WordPress で Web サイトを作成する祭、robots.txt はどこにあるのだろうか。ブラウザに URL を打ち込んで直接見てみる。
ブラウザの URL 入力部分に「http://*****/robots.txt」と入力、表示してみよう。一応ページが表示されるはず。(何故か当方環境では Firefox では内容が表示されない)
WordPress で WEB サイトを作成直後、特に作成しなければ robots.txt は存在しない。ブラウザからのリクエストに応じて index.php が動的に作成している模様。これにより、Google ウェブマスターツールで robots.txt に対して 404エラーが発生しないようになっている。
自作の robots.txt を利用したければ、サーバー上のサイトルートディレクトリに置けばよい。
