Webinar:
AI vă citează marca. Acum ce? Transformați datele de vizibilitate AI în acțiuni
Înregistrează-te acum
SEO tehnic
Decizia de a bloca crawlerele AI este o decizie de afaceri despre care mulți profesioniști în căutare o discută în prezent. Dar odată ce ați luat decizia, care este cea mai bună modalitate de a bloca acești roboți?
Există două abordări principale pentru blocarea crawlerelor de luat în considerare: prin robots.txt și la stiva de server.
Cele Două Abordări
Ambele abordări au avantajele și dezavantajele lor. Să începem prin a examina modul în care funcționează și diferențele dintre cele două.
Blocarea prin roboți.txt
Blocarea crawlerelor AI folosind robots.txt este exact același proces pe care l-ați folosi pentru blocarea oricărui tip de bot.
Fiecare bot AI are propriul nume de identificare, de exemplu, GPTBot OpenAI și OAI-SearchBot. Pentru a le bloca, trebuie pur și simplu să adăugați o regulă de interzicere care specifică numele crawler-ului. De exemplu, pentru a împiedica GPTBot să acceseze cu crawlere orice parte a site-ului dvs., ați adăuga:
Agent utilizator: GPTBot
Nu permite:
Dacă există doar anumite părți ale site-ului dvs. pe care doriți să împiedicați roboții AI să se acceseze cu crawlere, le puteți apela în același mod. De exemplu, pentru a împiedica GPTBot să acceseze cu crawlere paginile dvs. de produse, ar trebui să includeți folderul în care se află acele pagini, de exemplu:
User-agent: GPTBot
Disallow: /products
Blocking At The Server Level
Există câteva moduri prin care puteți bloca roboții la nivel de server: prin serverul însuși, CDN-ul sau WAF.
În acest caz, serverul va citi cererea primită, cum ar fi IP-ul botului, antetul etc. și va aplica regulile specifice pe care le-ați configurat pentru acel agent (refuzare, permitere, redirecționare). De exemplu, puteți specifica că GPTBot primește o comandă „deny”. Acest lucru ar împiedica botul să acceseze conținutul de pe site-ul dvs.
Pentru Content Delivery Network (CDN), conceptul este același, dar se întâmplă într-o etapă anterioară a vizitei unui bot. CDN-ul interceptează o solicitare de conținut de la un bot înainte de a ajunge pe server. Acest lucru economisește în esență lățimea de bandă a serverului, deoarece botul nu interacționează niciodată cu acesta. Unele CDN-uri oferă această tehnologie în mod nativ, fără a fi nevoie să faceți prea multe pentru ao configura. De exemplu, Cloudflare oferă blocare prestabilită în funcție de faptul dacă un bot este un crawler de căutare, un agent sau este utilizat pentru antrenament, precum și permite o reglare mai fină pe bază de bot cu bot.
La Web Application Firewall (WAF), roboții sunt analizați mai mult decât CDN-ul. WAF acționează ca un strat de securitate care poate analiza cerințeleacest comportament, nu doar anteturile folosite de roboți. Aceasta înseamnă că este capabil să detecteze roboții care falsifică alți agenți de utilizator. Estethe most competent way in most tech stacks of identifying more sophisticated AI crawlers that are looking to slip under the radar of blocking attempts. The WAF your company is using may be part of your CDN, for example, Cloudflare WAF, or a standalone application like AWS WAF.
Robots.txt: Pros And Cons
Robots.txt este posibil cel mai accesibil mod pentru profesioniștii în căutare de a controla roboții. De obicei, SEO-urile aue acces pentru a modifica robots.txt pentru domeniile lor sau pot solicita cu ușurință o actualizare rapidă de către echipa de dezvoltare.
Cu toate acestea, există și alte beneficii ale utilizării acestei metode.
Pro
Mecanismul de respingere robots.txt este susținut oficial de cele mai mari companii de AI cu renume. De exemplu, GPTBot și OAI-SearchBot de la OpenAI, ClaudeBot de la Anthropic, Claude-User și Claude-SearchBot, Google-Extended de la Google și PerplexityBot de la Perplexity.
This method allows you to selectively choose which pages to prevent the bots from visiting, and also to fine-tune the blocking based on each crawler.
Contra
Există totuși unele dezavantaje ale acestei metode. Cel mai mare risc este ca conformitatea cu robots.txt să fie complet voluntară și să nu fie monitorizată la nivel central. Adică, deși creatorii de roboți AI pot pretinde că roboții lor respectă robots.txt, este doar un set de solicitări, nu un bloc real. Gândiți-vă la el ca la un semn de interzicere a pătrunderii în fața unei porți deschise. Nu există nimic care să oprească de fapt boții, doar că aceștia sunt codați pentru a respecta regulile robots.txt.
Robots.txt poate fi configurat pentru a interzice roboții din anumite pagini foarte ușor dacă există comenzi robots.txt în CMS-ul site-ului. Aceasta înseamnă că părțile interesate non-tehnice pot bloca accidental mai mulți roboți decât s-au anticipat cu o regulă de interzicere greșită. Acest lucru poate fi catastrofal dacă robots.txt este actualizat pentru a interzice toți roboții, de exemplu, prin implementarea:
User-agent: *
Robots.txt nu este actualizat automat atunci când sunt eliberați agenți de utilizator noi. Aceasta înseamnă că cineva va trebui să adauge manual noi interdicție ori de câte ori doriți să împiedicați un nou bot AI să vă acceseze site-ul.
Stack de server: argumente pro și contra
Blocarea roboților la nivel de server, CDN sau WAF are avantaje diferite în funcție de implementare.
Implementările CDN și WAF vor opri solicitările bot înainte ca acestea să ajungă pe server. Acest lucru va economisi lățimea de bandă a serverului, reducând presiunea asupra serverului și economisind costurile asociate.
Cel mai mare pro pentru implementările stivei de server, indiferent de ce alegeți, este că acestea sunt un bloc definit. Dacă robots.txt este un semn politicos „interzicerea accesului”, blocurile server, CDN și WAF sunt un lacăt pe poartă. Aceste metode de implementare nu necesită conformitatea unui crawler; detectează roboții și îi împiedică să acceseze conținut, indiferent dacă botul este conform sau nu.
Un alt avantaj al acestei metode este că software-ul care se află la aceste niveluri va oferi adesea rapoarte despre roboții care au fost blocați. „Lacătul” înregistrează încercările de a-l debloca. Acest lucru poate fi util pentru a analiza ce roboți încearcă să acceseze site-ul dvs. Pentru site-urile care primesc multă atenție nedorită a botului AI, aceasta poate fi folosită în discuții, uneori legale, cu proprietarii acelor roboți.
Dezavantajele metodelor de implementare a stivei de server sunt în primul rând cheltuielile de întreținere. Majoritatea serverelor de site-uri web sunt destul de blocate, așa că numai cei care știu cu adevărat ce fac cu ele vor avea voie să acceseze fișierele serverului, WAF sau CDN. Aceasta înseamnă că modificările blocurilor vor trebui probabil să treacă prin intermediul unui dezvoltator, mai degrabă decât să fie implementate direct de către un SEO. Această nevoie de intermediar vine cu implicații de timp, resurse și costuri, mai ales dacă serverul este administrat de o terță parte, cum ar fi o agenție de dezvoltare.
Pentru fiecare nivel de securitate, este posibilă falsificarea botului. Deși WAF este cea mai puternică linie de apărare, este totuși posibil ca roboții foarte avansați să-și ocolească verificările de validare. Aceasta înseamnă că nu există o metodă complet inegalabilă de a bloca roboții AI necinstiți prin stiva de server. Cu toate acestea, ele sunt încă foarte eficiente pentru majoritatea.
Deci, pe care ar trebui să folosim?
Nu există niciun răspuns la asta. Depinde de configurația site-ului dvs., costurile și structura de management.
Într-o lume ideală, ai bloca roboții la fiecare nivel al stivei de server. Serverul este o modalitate bună de a bloca agenții utilizator cunoscuți și poate detecta modele simple în comportamentul botului. Blocurile CDN sunt în mare măsură eficiente și vor împiedica roboții să consume lățime de bandă a serverului. WAF este cel mai eficient în identificarea roboților falsificati și în prevenirea accesului la site-ul unor scrapers AI avansati. Cu toate acestea, este posibil să nu aveți acces ușor pentru a vă configura WAF, dacă site-ul dvs. are unul.
Robots.txt este cea mai simplă metodă de a declara dorința ca anumiți roboți să nu vă acceseze site-ul web și este eficient pentru roboții responsabili. Cu toate acestea, poate fi pur și simplu ignorată și, prin urmare, este o metodă de descurajare, nu o metodă de prevenire.
Pe scurt, dacă aveți o nevoie puternică de a bloca anumite crawler-uri AI, aș recomanda să mergeți cât mai sus posibil în stiva de server; blocare prin WAF dacă puteți, CDN dacă nu puteți și prin server ca ultimă soluție.
Dacă trebuie să blocați doar unul sau două dintre cele mai reputate crawler-uri AI, probabil că vă puteți baza doar pe robots.txt ca element de descurajare. Cu toate acestea, aș sugera, de asemenea, să vă monitorizați jurnalele serverului pentru a vedea dacă vreunul dintre acești roboți trece peste robots.txt interzis.
Mai multe resurse:
OpenAI spune că Robots.txt s-ar putea să nu se aplice la botul Fetch ChatGPT
Google Says Why It May Ignore Robots.txt And Negatively Impact SEO
Google Explains Why URLs Blocked By Robots.txt Can Still Be Indexed
Featured Image: Paulo Bobita/Search Engine Journal
Categorie AI Search Întrebați un SEO Tehnic SEO Web Dev SEO
Read Full Bio VIP CONTRIBUTOR Helen Pollitt Head of SEO at Getty Images
Helen manages the SEO team at Getty Images. She has a passion for equipping teams and training individuals in SEO ...
#looop_parent
Sursa: Jurnalul motorului de căutare
kiper
This is a short author bio. It can be stored in the 'users' table in the future. Lorem ipsum dolor sit amet, consectetur adipiscing elit.
