Djangoでrobots.txtを設定する 問題解決技術>Django>情報科学

この記事 ＞　Django　＞　情報科学
作成　更新

None


技術：Djangoでrobots.txtを設定する
問題：Djangoでrobots.txtを設定して、グーグルクローラーにクロールしないように指示を出したい。グーグルクローラーがサイトページをすべてクロールしてしまっていた。不必要なページが、グーグルのアドポリシー違反となり、警告が繰り返された。

URLディレクトリの設定：

from django.conf.urls.static import static
from django.urls import include, path
from django.views.generic import TemplateView

path('robots.txt', TemplateView.as_view(template_name='static/robots.txt', content_type='text/plain')),
TemplateViewを利用して、robots.txtへのパスを設定します

template/static/ディレクトリの設定：
template/static/ディレクトリにrobots.txtを作成します。

robots.txtの記入例：
User-agent: *
Disallow: /abcfile
Disallow: /abcfileと記入すると、abcfileにグーグルがクロールしないように指示を出せます。

探究資料：

全文を読む

Django

Github

Python

Nginx

Windows

Linux

PostgreSQL

ウェブ

プログラミング

中学受験講座

高校受験講座

大学受験講座

社会人講座