Yandex ha comenzado a aplicar una t\u00e9cnica novedosa en el fichero de robots.txt, un sistema que Yahoo! Site Explorer ya permit\u00eda desde su panel pero no de forma sencilla para que los buscadores lo puedan interpretar.<\/p>\n
En la ayuda para webmasters han incluido<\/a> un cap\u00edtulo en el que se detalla como poder corregir aquellos sitios en los que las direcciones web tienen par\u00e1metros variados, pudiendo sustituirlos por uno fijo. Este caso se da en muchos sitios de afiliados, por ejemplo, llevando a cabo muchos contenidos duplicados.<\/p>\n La idea es indicar en el fichero una l\u00ednea que detecte la direcci\u00f3n \/ fichero que permite esos par\u00e1metros. Si tenemos alguna web con cosas como:<\/p>\n En este caso, vemos que el par\u00e1metro \u00abref\u00bb se repite, pero el resultado de la p\u00e1gina ser\u00eda el mismo, ya que la directiva la marca el \u00abid\u00bb. De esta forma indicar\u00edamos en nuestro fichero de robots:<\/p>\n Con esto le decimos que el \u00abref\u00bb de la URL \u00ab\/some_dir\/get.php\u00bb se puede repetir… o mejor dicho, que \u00abno lo tenga en cuenta\u00bb.<\/p>\n Adem\u00e1s, podemos llevar estos casos al extremo:<\/p>\n Este caso es el anterior: el par\u00e1metro \u00ababc\u00bb no contar\u00e1 en cualquier URL que sea \u00ab\/forum\/showthread.php\u00bb.<\/p>\n En este caso, no contar\u00e1n ni el par\u00e1metro \u00absid\u00bb ni el par\u00e1metro \u00absort\u00bb en una URL que tenga el formato \u00ab\/forum\/*.php\u00bb.<\/p>\n En este caso no contar\u00e1, en cualquier URL del sitio, el par\u00e1metro \u00absomeTrash\u00bb ni el \u00abotherTrash\u00bb.<\/p>\n Ahora, la cuesti\u00f3n es que esto s\u00f3lo funciona en el motor de b\u00fasqueda Yandex… \u00c2\u00bflo comenzar\u00e1n a aplicar el resto de buscadores y se convertir\u00e1 en un est\u00e1ndar internacional?<\/p>\n","protected":false},"excerpt":{"rendered":" Yandex ha comenzado a aplicar una t\u00e9cnica novedosa en el fichero de robots.txt, un sistema que Yahoo! Site Explorer ya permit\u00eda desde su panel pero no de forma sencilla para que los buscadores lo puedan interpretar. En la ayuda para webmasters han incluido un cap\u00edtulo en el que se detalla como poder corregir aquellos sitios … Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-11229","post","type-post","status-publish","format-standard","hentry","category-noticias"],"_links":{"self":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts\/11229","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/comments?post=11229"}],"version-history":[{"count":0,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/posts\/11229\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/media?parent=11229"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/categories?post=11229"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ojo.es\/ojobuscador\/wp-json\/wp\/v2\/tags?post=11229"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}www.site.ext\/some_dir\/get.php?ref=site1&id=123<\/code>
\nwww.site.ext\/some_dir\/get.php?ref=site2&id=123<\/code>
\nwww.site.ext\/some_dir\/get.php?ref=site3&id=123<\/code><\/p>\nClean-param<\/strong>: ref \/some_dir\/get.php<\/code><\/p>\nClean-param: abc \/forum\/showthread.php<\/code><\/p>\nClean-param: sid&sort \/forum\/*.php<\/code><\/p>\nClean-param: someTrash&otherTrash<\/code><\/p>\n