Search Consoleのrobots.txtテスターは2023年12月12日に廃止されてしまいました。 その後Search Consoleには「robots.txtレポート」という機能が追加されましたが、以前のrobots.txtテスターのように個別URLをチェックする機能がなく、「ちょっと求めてるツールじゃないんだ ...

Python どうですか？楽しんでますか？ これまで進めてきて、 1．Google検索結果からURLを取得する 2．取得したURLのサイトのタイトルを取得する ここまでのコードを書くことができました。 関数を3つ作りましたね。 ・get_robots_txt() … robots.txt の内容を確認 ...

今日は、ちょっとSEO的な話題を。robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。その説明と、「いますぐこのrobots.txtに更新」させる方法を解説します。 念のためにおさらいしておくと、robots.txtとは、グーグルなどの検索 ...

生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘さ ...

最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか？ 知らなければうっかりハマってしまい、「コンテンツがインデックスされない！」となってしまうかも。 「実際の挙動の根拠は？」「どう ...

サーチエンジンのロボット向けに用意する robots.txt が原因で、秘密のページの存在がバレてしまう可能性があることに気付いていますか？ バレる原因と、バレないようにする対策のご紹介です。 (1) HTML中に meta タグを使ってファイルごとに指示する方法(※1 ...

Twitter（現・X）で、Google以外の検索エンジンのクローラーを巡回させないよう設定されたことが判明して波紋を呼んでいる。 これはTwitterが設置している「robots.txt」ファイルに7月25日ごろに加えられた変更によるもので、GoogleのクローラーであるGooglebotだけ ...

検索エンジンは、robots（またはspider）と呼ばれるプログラムが自動的にインター ネットのサイトにアクセスし、ページの情報をクローリングするものです。サイトに robots.txtというテキストファイルを作成し、このファイルに検索エンジンにクロー リングさ ...