# # robots.txt para tu blog en WordPress. # # Usar bajo propia responsabilidad, que nos conocemos }:) # http://sigt.net/archivo/robotstxt-para-wordpress.xhtml # # Primero el contenido adjunto. User-agent: * Disallow: /calendar/ # # Sitemap permitido, búsquedas no. # #Sitemap: http://landingpadba.com/sitemap_index.xml #Disallow: /?s= #Disallow: /search #Disallow: /wp-content/ #Disallow: /wp-content/uploads/ # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # #Allow: /feed/$ #Disallow: /feed #Disallow: /comments/feed #Disallow: /*/feed/$ #Disallow: /*/feed/rss/$ #Disallow: /*/trackback/$ #Disallow: /*/*/feed/$ #Disallow: /*/*/feed/rss/$ #Disallow: /*/*/trackback/$ #Disallow: /*/*/*/feed/$ #Disallow: /*/*/*/feed/rss/$ #Disallow: /*/*/*/trackback/$ # # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante... # Añadir al gusto del consumidor... User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10