X-robots tag nezabrání crawlingu celé URL

Tohle je informace spíše pro mě a aby byla nalezitelná.

Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL.

4881 shlédnutí (celkově) 27 shlédnutí (dnes)
Sdílením buduješ SEO!Share on Facebook0Tweet about this on TwitterShare on Google+0Share on LinkedIn0Buffer this page
Pavel Ungr
Věnuji se SEO již 10 let od roku 2004. Z Et netery jsem nastoupil do Ataxa a následně do H1.cz. Od roku 2009 pracuji jako SEO konzultant. Vedu školení o SEO. Pravidelně publikuji zejména o internetovém marketingu a přednáším. Krom SEO se aktivně zajímám o UX, obsahový marketing, sociální sítě a jejich využití z pohledu inbound marketingu. Baví mě experimenty ve stylu práce Randyho Fishkina z Mozu a propaguji SEO jako tvorbu zajímavého a kvalitního obsahového webu.

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

CommentLuv badge