Robots.txt et crawlers IA : Google rappelle quelques règles fondamentales

Ce qu'il faut retenir : Dans une vidéo, Gary Illyes rappelle que le parser de Google ne reconnaît que quatre règles : user-agent, allow, disallow et sitemap. Toute ligne que le parser ne comprend pas est écartée en silence : une consigne rédigée en langage naturel, comme « don't crawl secret (…)