X-robots tag nezabrání crawlingu celé URL

Tohle je informace spíše pro mě a aby byla nalezitelná.

Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.

7410 zhlédnutí (celkově) 27 zhlédnutí (dnes)
Sdílením buduješ SEO!Share on Facebook0Tweet about this on TwitterShare on Google+0Share on LinkedIn0Buffer this page
Pavel Ungr
Věnuji se SEO již 13 let od roku 2004. Z Et netery jsem nastoupil do Ataxa a následně do H1.cz. Od roku 2009 pracuji jako profesionální SEO konzultant a od roku 2013 jsem na volné noze. Vedu SEO školení a pravidelně publikuji zejména o internetovém marketingu a přednáším.Baví mě SEO experimenty a propaguji SEO jako tvorbu zajímavého a kvalitního obsahového webu který je primárně prospěšný pro uživatele a technicky přístupný.. Krom SEO se aktivně zajímá o UX, obsahový marketing, sociální sítě a jejich využití z pohledu online marketingu.

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

CommentLuv badge