John Mueller de la Google a răspuns la o întrebare despre robots.txt și a explicat o greșeală ușor de ratat care poate afecta obiectivele dvs. de SEO și de indexare a site-urilor web. Problema specifică a fost legată de indexarea spamului din caseta de căutare de către Google, dar această greșeală se poate întâmpla oricui, în general, în orice context.
Spam în caseta de căutare pe site
Persoana care a pus întrebarea pe Reddit suferea de un atac de spam în bara de căutare. Ceea ce fac spammerii este să caute cu o interogare care reflectă nișa lor de spam și adaugă un link sau un nume de site. Ceea ce se întâmplă în continuare este că bara de căutare generează o adresă URL care poate fi referită pentru a genera rezultatul căutării spam.
Și asta se întâmpla cu persoana care punea întrebarea. Răspunsul lor a fost să adauge o linie în fișierul robots.txt pentru a împiedica Google să indexeze fișierul. Dar Google indexa oricum acele URL-uri spam generate de căutare.
Pagini indexate Google blocate de Robots.txt
Cineva a postat pe Reddit că caseta de căutare Shopify a clientului lor genera pagini web spam ca răspuns la interogările spammerului și că Google le indexa, în ciuda unui fișier robots.txt care interzice Google să indexeze acele pagini. Ceea ce a făcut clientul a fost să redirecționeze acele adrese URL spam către o altă pagină web. Persoana care pune întrebarea nu a întrebat cum să împiedice indexarea paginilor (care ar fi trebuit să întrebe); au întrebat dacă acele adrese URL redirecționate ar trebui să fie marcate cu 404.
Persoana a întrebat:
Totuși, dacă încerc să deschid una dintre aceste pagini, acestea au un set de redirecționare și redirecționează către o altă pagină de colecție din magazin. Ar trebui să afișăm o pagină 404? Care este cel mai simplu mod de a remedia asta?”
Categorie Noutăți SEO Citiți biografia completă SEJ STAFF Roger Montti Proprietar - Martinibuster.com la Martinibuster.com
#looop_parent
Sursa: Jurnalul motorului de căutare
kiper
This is a short author bio. It can be stored in the 'users' table in the future. Lorem ipsum dolor sit amet, consectetur adipiscing elit.
