robots txt

Google analyse les données HTTP Archive pour documenter les règles robots.txt non supportées les plus utilisées et améliorer sa documentation SEO.