robots.txt de Location Benoît inc.

Mesuré le 2026-08-29 sur benco.ca. Source : Régie du bâtiment du Québec, Données Québec.

# ─────────────────────────────────────────────────────
# robots.txt — benco.ca
# ─────────────────────────────────────────────────────

User-agent: *
Allow: /

# Bloquer l'admin et les scripts internes
Disallow: /admin/
Disallow: /_scripts/
Disallow: /uploads/cvs/
Disallow: /_update_admin_password.php
Disallow: /config.php

# Recovery V3.4 (Gemini+Codex cross-validated) — Dossiers PHP/SQL internes
# Endpoints/includes/scripts SQL ne doivent JAMAIS être crawlés (waste budget + leak architecture)
Disallow: /api/
Disallow: /includes/
Disallow: /_includes/
Disallow: /_seo/
Disallow: /sql/
Disallow: /lang/

# Bloquer les paramètres de debug (le bilingue ?lang=en est géré par canonical + hreflang)
Disallow: /*?debug=
Disallow: /*&debug=

# 2026-07-04 : draine les ~27 000 URLs « Page avec redirection » de GSC. Ce sont d'anciens
# combos de paramètres + ?lang=fr (ex. ?ck=…&lang=fr) qui redirigent vers l'URL propre et
# n'ont aucun contenu unique. On bloque la variante avec un « & » devant lang=fr (les combos
# junk) — le ?lang=fr SIMPLE du sélecteur reste crawlable puis redirige (302), et ?lang=en
# (contenu anglais réel) n'est jamais touché.
Disallow: /*&lang=fr

# Recovery V3.4 — Faceted search shop.php → RÉVISÉ 2026-06-14 (data-driven)
# Constat GSC : 7735 URLs "Explorée - non indexée" dont 99% = facettes profondes shop.php.
# Elles affamaient le budget de crawl → 16 pages géo + ~20 produits JAMAIS crawlés.
# Re-validé Gemini 2026-06-14 : perte de consolidation canonical ~nulle (aucun backlink externe
# sur ces combos profonds), gain de budget de crawl massif, zéro risque sur les pages catégorie.
# On BLOQUE les params de facettes profondes (sans valeur SEO) ; on GARDE crawlables les pages
# catégorie utiles qui rankent (main_category= seul, category=, lang=).
# Audit 2026-06-27 : page= RETIRÉ du Disallow — la pagination doit rester CRAWLABLE.
#
# ── SUPERSÉDÉ 2026-07-06 (Coverage GSC : 383 URLs « Indexée malgré le blocage par robots.txt ») ──
# On NE bloque PLUS les facettes en robots.txt. Le blocage empêchait Googlebot de LIRE le noindex
# que shop.php envoie DÉJÀ (X-Robots-Tag: noindex, follow + <meta robots> sur tout combo profond,
# cf shop.php l.244-269 & benco_shop_should_noindex). Bloquées + non lisibles = Google les gardait
# indexées « à l'aveugle ». En débloquant : Google crawle → voit le noindex → les DÉSINDEXE proprement,
# et suit les liens (follow) = meilleure découverte des produits profonds. Les landings légitimes
# (brand= seul, main_category=, category=) restent indexables comme voulu.
# (La crise de budget de crawl de juin est résorbée : pages géo + produits sont désormais indexés.)
# → Si un jour le budget de crawl redevient un souci, re-bloquer ici, mais garder le noindex.

# Autoriser explicitement les images et assets
Allow: /assets/
Allow: /uploads/

# Crawl delay pour bots agressifs
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

# ─────────────────────────────────────────────────────
# MOTEURS IA (GEO, 2026-07-19) : on ACCEPTE explicitement les crawlers qui
# alimentent ChatGPT, Perplexity, Claude, Gemini et Apple. Le « User-agent: * »
# plus haut les autorise déjà, mais les nommer verrouille l'intention : Benco
# VEUT être lu et cité par les moteurs génératifs (c'est du trafic de demain),
# et ça évite qu'un futur blocage global les coupe par accident.
# ─────────────────────────────────────────────────────
User-agent: GPTBot
Allow: /
(tronqué)

Retour à la fiche de Location Benoît inc.