Procházet zdrojové kódy

Added Some constraints to robots file

Yoginth před 7 roky
rodič
revize
7f6dbf3926
1 změnil soubory, kde provedl 6 přidání a 1 odebrání
  1. 6 1
      public/robots.txt

+ 6 - 1
public/robots.txt

@@ -8,14 +8,19 @@ Disallow: /admin
 Disallow: /*/*/forks
 Disallow: /*/*/stars
 Disallow: /*/*/pulls
-Disallow: /*/*/archive/
+Disallow: /*/*/archive
+Disallow: /*/*/settings
 Disallow: /*/*/raw/*
+Disallow: /*/*/wiki/_new
+Disallow: /*/*/wiki/*/_edit
 Disallow: /*/*/commits
 Disallow: /*/followers
 Disallow: /*/following
 Disallow: /*/*/src/*
+Disallow: /*/*/_edit
 Disallow: /*/*/issues/new
 Disallow: /*/*/issues?
+Disallow: /*/*/compare
 Disallow: /*?
 
 Sitemap: https://gitote.in/sitemap.xml