{"id":12810,"date":"2009-09-03T11:23:12","date_gmt":"2009-09-03T09:23:12","guid":{"rendered":"http:\/\/www.ojobuscador.com\/?p=12810"},"modified":"2009-09-03T11:23:12","modified_gmt":"2009-09-03T09:23:12","slug":"google-rastrea-el-robots-txt-una-vez-al-dia","status":"publish","type":"post","link":"https:\/\/www.ojo.es\/ojobuscador\/google-rastrea-el-robots-txt-una-vez-al-dia\/","title":{"rendered":"Google rastrea el robots.txt una vez al d\u00eda"},"content":{"rendered":"<p>Aunque se puede hacer un c\u00e1lculo aproximado de cu\u00e1ndo fue la \u00faltima vez que el robots de Google rastre\u00f3 el fichero de robots.txt, ahora un empleado de Google confirma que el sistema rastrea el fichero al menos una vez al d\u00eda (o al menos ese es su objetivo).<\/p>\n<p>El fichero de robots es el que se utiliza para indicar a los robots de rastreo lo que pueden o no hacer en un sitio web. En principio, la idea principal, es que cuando el sistema vaya a entrar a rastrear el sitio, debe leer el fichero para controlar las \u00f3rdenes. teniendo en cuenta que ahora el sistema de rastreo es distribuido y no se hace continuo, se har\u00eda bastante complejo tener que leer el fichero cada vez que se accede al sistema, por lo que, parece ser, la forma \u00f3ptima es la de leer el fichero una vez al d\u00eda y aplicar el rastreo en base a la \u00faltima descarga.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Aunque se puede hacer un c\u00e1lculo aproximado de cu\u00e1ndo fue la \u00faltima vez que el robots de Google rastre\u00f3 el fichero de robots.txt, ahora un empleado de Google confirma que el sistema rastrea el fichero al menos una vez al d\u00eda (o al menos ese es su objetivo). El fichero de robots es el que &#8230; <a title=\"Google rastrea el robots.txt una vez al d\u00eda\" class=\"read-more\" href=\"https:\/\/www.ojo.es\/ojobuscador\/google-rastrea-el-robots-txt-una-vez-al-dia\/\" aria-label=\"Leer m\u00e1s sobre Google rastrea el robots.txt una vez al d\u00eda\">Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-12810","post","type-post","status-publish","format-standard","hentry","category-noticias"],"_links":{"self":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts\/12810","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/comments?post=12810"}],"version-history":[{"count":0,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts\/12810\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/media?parent=12810"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/categories?post=12810"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/tags?post=12810"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}