Auditul tehnic SEO are nevoie de un nou strat prin @sejournal, @slobodanmanic

html

Auditul tehnic SEO are nevoie de un nou strat [dacă IE 9]> <link rel="stylesheet" href=" <![endif] Salt la conținut

1. SEJ
2. ⋅
3. SEO tehnic

Auditul tehnic SEO standard verifică accesul cu crawlere, indexabilitatea, viteza site-ului web, compatibilitatea cu dispozitivele mobile și datele structurate. Lista de verificare a fost concepută pentru un singur consumator: Googlebot.

Așa a fost întotdeauna.

În 2026, site-ul tău are cel puțin o duzină de consumatori non-umani suplimentari. Crawlerele AI precum GPTBot, ClaudeBot și PerplexityBot antrenează modele și oferă rezultate ale căutării AI. Agenții declanșați de utilizator, cum ar fi noul Google-Agent, sau „frații” săi Claude-User și ChatGPT-User, navighează pe site-uri web în numele unor anumiți oameni în timp real. O analiză din trimestrul I 2026 în rețeaua Cloudflare a constatat că 30,6% din tot traficul web provine acum de la roboți, crawlerele și agenții AI reprezentând o pondere tot mai mare. Auditul dumneavoastră tehnic trebuie să țină seama de toate acestea.

Iată cele cinci straturi de adăugat auditului tehnic SEO existent.

Nivelul 1: Acces cu crawler AI

Robots.txt-ul dvs. a fost probabil scris pentru Googlebot, Bingbot și poate pentru câteva scrapers. Crawlerele AI au nevoie de propriile reguli robots.txt și trebuie să fie separate de Googlebot și Bingbot.

Ce trebuie verificat

Consultați-vă robots.txt pentru regulile care vizează agenții utilizatori specifici AI: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, AppleBot-Extended, CCBot și ChatGPT-User. Dacă niciuna dintre acestea nu apare, rulați pe valori implicite și este posibil ca acele valori implicite să nu reflecte ceea ce doriți de fapt. Nu acceptați niciodată valorile implicite decât dacă știți că sunt exact ceea ce aveți nevoie.

Cheia este să luați o decizie conștientă pentru fiecare crawler, mai degrabă decât să permiteți sau să blocați totul. Nu toate crawlerele AI servesc aceluiași scop. Traficul crawlerelor AI poate fi împărțit în trei categorii: crawler-uri de antrenament care colectează date pentru formarea modelului (89,4% din traficul crawler-ului AI conform datelor Cloudflare), crawler-uri de căutare care alimentează rezultatele căutării AI (8%) și agenți declanșați de utilizator precum Google-Agent și ChatGPT-User care navighează în numele unui anumit om în timp real (2,2%). Fiecare categorie garantează o decizie diferită de robots.txt.

Date radar Cloudflare care arată volumul traficului în funcție de scopul accesării cu crawlere (T1 2026); Captură de ecran realizată de autor, aprilie 2026

Raportul de accesare cu crawlere la recomandare din raportul Radar Cloudflare poate face din aceasta o decizie informată pentru dvs. ClaudeBot de la Anthropic accesează cu crawlere 20,6 mii de pagini pentru fiecare recomandare pe care o returnează. Raportul OpenAI este de 1.300:1. Meta nu trimite recomandări. Blocarea OAI-SearchBot sau PerplexityBot de la OpenAI vă reduce vizibilitatea în căutarea ChatGPT și răspunsurile AI ale Perplexity. Blocarea crawlerelor axate pe antrenament, cum ar fi CCBot sau crawler-ul Meta, împiedică extragerea datelor de la un furnizor care nu trimite trafic înapoi. Ratele de accesare cu crawlere la recomandare vă spun cine ia fără să dea.

Există un crawler care necesită o atenție specială. Google a adăugat Google-Agent pe lista sa oficială de preluare declanșate de utilizatori pe 20 martie 2026. Google-Agent identifică solicitările de la sistemele AI care rulează pe infrastructura Google care navighează pe site-uri web în numele utilizatorilor. Spre deosebire de crawlerele tradiționale, Google-Agent ignoră robots.txt . Poziția Google este că, deoarece un om a inițiat solicitarea, agentul acționează mai degrabă ca un proxy pentru utilizator decât ca un crawler autonom. Blocarea Google-Agent necesită autentificare pe server, nu reguli robots.txt. Acest lucru este atât interesant, cât și important pentru viitor, chiar dacă nu intră în domeniul de aplicare al acestui articol.

Documentație oficială pentru fiecare crawler:

• GPTBot/ChatGPT-Utilizator (OpenAI).
• ClaudeBot (antropic).
• PerplexityBot (Nedumerire).
• Google-Agent (Google).

Stratul 2: Redare JavaScript

Googlebot redă JavaScript folosind Chromium fără cap. Nu este nimic nou în asta. Ceea ce este nou și diferit este că, practic, fiecare crawler AI major nu redă JavaScript.

AppleBot (care folosește o redare bazată pe WebKit) și Googlebot sunt singurele crawler-uri majore care redă JavaScript. Patru dintre cele șase crawler-uri web majore (GPTBot, ClaudeBot, PerplexityBot și CCBot) preiau numai HTML static, făcând redarea pe server o cerință pentru vizibilitatea căutării AI, nu o optimizare. Dacă conținutul dvs. se află în JavaScript la nivelul clientului, acesta este invizibil pentru crawler-ii care antrenează modelele OpenAI, Anthropic și Perplexity și le alimentează produsele de căutare AI.

Ce trebuie verificat

Rulați curl -s [URL] pe paginile dvs. critice și căutați conținut cheie, cum ar fi numele produselor, prețurile sau descrierile serviciilor. Dacă acel conținut nu se află în răspunsul curl, nici GPTBot, ClaudeBot și PerplexityBot nu îl pot vedea. Alternativ, utilizați View Source în browser (nu Inspect Element, care arată DOM-ul randat după Execuția JavaScript) și verificați dacă informațiile importante sunt prezente în HTML brut.

Preluare curl a paginii de pornire No Hacks (Imagine de la autor, aprilie 2026)

Aplicațiile cu o singură pagină (SPA) construite cu React, Vue sau Angular sunt deosebit de periculoase, cu excepția cazului în care utilizează randarea pe server (SSR) sau generarea statică de site (SSG). Un SPA React care redă descrieri ale produselor, prețuri sau revendicări cheie în întregime pe partea clientului trimite crawlerilor AI o pagină goală cu un link către pachetul JavaScript.

Remedierea nu este complicată. Redarea pe server (SSR), generarea static site (SSG) sau pre-rendarea rezolvă acest lucru pentru fiecare cadru major. Next.js acceptă SSR și SSG în mod nativ pentru React, Nuxt oferă același lucru pentru Vue, iar Angular Universal se ocupă de randarea serverului pentru aplicațiile Angular. Auditul trebuie doar să semnaleze ce pagini depind de JavaScript de la partea clientului pentru conținutul critic.

Stratul 3: Date structurate pentru IA

Datele structurate fac parte din auditurile tehnice SEO de ani de zile, dar criteriile de evaluare trebuie actualizate. Întrebarea nu mai este doar „această pagină are markup schema?” Este „acest markup ajută sistemele AI să înțeleagă și să citeze acest conținut?”

Ce trebuie verificat

• Implementare JSON-LD (preferabil față de Microdata și RDFa pentru analizarea AI).
• Tipuri de schemă care depășesc elementele de bază: Organizație, Articol, Produs, Întrebări frecvente, HowTo, Persoană.
• Relații între entități: la fel ca, autor, conexiuni editor care leagă conținutul dvs. la entități cunoscute.
• Completitudine: sunt populate toate proprietățile relevante sau doar bifați o casetă folosind scheme schelet cu nume și URL?

Directorul principal de produs Bing de la Microsoft, Fabrice Canel, a confirmat în martie 2025 că marcajul de schemă îi ajută pe LLM să înțeleagă conținutul pentru Copilot. Echipa de căutare Google a declarat în aprilie 2025 că datele structurate oferă un avantaj în rezultatele căutării.

Nu, nu poți câștiga doar cu schema. Da, poate ajuta.

Unghiul de densitate a datelor contează și el. Lucrarea de cercetare GEO a Princeton, Georgia Tech, Institutul Allen pentru AI și IIT Delhi (prezentată la ACM KDD 2024, primul care a folosit în mod public termenul „GEO”) a constatat că adăugarea de statistici la conținut a îmbunătățit vizibilitatea AI cu 41%. Analiza Yext a constatat că site-urile web bogate în date câștigă de 4,3 ori mai multe citări AI decât listările în stil director. Datele structurate contribuie la densitatea datelor oferind sistemelor AI fapte care pot fi citite de mașină, în loc să le solicite să extragă sens din proză.

Un avertisment important: nu există încă studii academice evaluate de colegi cu privire la impactul schemei asupra ratelor de citare AI în mod specific. Datele din industrie sunt promițătoare și consistente, dar tratează aceste cifre mai degrabă ca indicatori decât ca garanții.

W3Techs raportează că aproximativ 53% din primele 10 milioane de site-uri web folosesc JSON-LD la începutul anului 2026. Dacă site-ul dvs. nu se numără printre acestea, vă lipsesc semnalele pe care atât sistemele de căutare tradiționale, cât și cele AI le folosesc pentru a vă înțelege conținutul.

Duane Forrester , care a contribuit la construirea Bing Webmaster Tools și a co-lansat Schema.org, susține că marcarea schemei este doar primul pas. Pe măsură ce agenții AI continuă să treacă de la simpla interpretare a paginilor la luarea deciziilor, mărcile vor trebui, de asemenea, să publice adevărul operațional (prețuri, politici, constrângeri) în formate verificabile de mașină, cu versiuni și semnături criptografice. Publicarea pachetelor sursă verificabile de mașină depășește sfera unui audit standard astăzi, dar auditarea completității și acurateței datelor structurate este baza pe care se bazează pachetele surse verificate.

Stratul 4: HTML semantic și arborele de accesibilitate

Primele trei straturi ale auditului de pregătire pentru AI acoperă accesul la crawler (robots.txt), redarea JavaScript și datele structurate. Ultimele două abordează modul în care agenții AI vă citesc de fapt paginile și ce semnale îi ajută să descopere și să vă evalueze conținutul.

Majoritatea SEO evaluează HTML pentru consumul motorului de căutare. Browserele agentice precum ChatGPT Atlas, Chrome cu navigare automată și Perplexity Comet nu analizează paginile așa cum o face Googlebot. În schimb, au citit arborele de accesibilitate.

Arborele de accesibilitate este o reprezentare paralelă a paginii dvs. pe care browserele o generează din HTML. Îndepărtează stilul vizual, aspectul și decorul, păstrând doar structura semantică: titluri, linkuri, butoane, câmpuri de formular, etichete și relațiile dintre ele. Cititoarele de ecran precum VoiceOver și NVDA au folosit arborele de accesibilitate de zeci de ani pentru a face site-urile web utilizabile pentru persoanele cu deficiențe de vedere. Agenții AI folosesc acum același arbore pentru a înțelege și a interacționa cu paginile web.

Iar motivul este simplu: eficienta. Procesarea capturilor de ecran este mai costisitoare și mai lentă decât lucrul cu arborele de accesibilitate.

Iată cum arată un arbore de accesibilitate în Google Chrome (Imagine de la autor, aprilie 2026)

Acest lucru contează deoarece arborele de accesibilitate expune ceea ce comunică de fapt HTML-ul dvs., nu cum îl face să arate CSS (sau JS). Un <div> stilizat să arate ca un buton nu apare ca buton în arborele de accesibilitate. O imagine fără text alternativ nu înseamnă nimic. O ierarhie de titluri care trece de la H1 la H4 creează o structură ruptă pe care atât cititorii de ecran, cât și agenții AI se vor strădui să o navigheze.

Playwright MCP de la Microsoft, instrumentul standard pentru conectarea modelelor AI la automatizarea browserului, folosește instantanee de accesibilitate mai degrabă decât HTML brut sau capturi de ecran. Funcția browser_snapshot de la Playwright MCP returnează o reprezentare a arborelui de accesibilitate, deoarece este mai compactă și mai semnificativă din punct de vedere semantic pentru LLM. Documentația OpenAI afirmă că ChatGPT Atlas utilizează etichete ARIA pentru a interpreta structura paginii atunci când navighează pe site-uri web.

Accesibilitatea web și compatibilitatea cu agenții AI sunt acum aceeași disciplină. Ierarhia corectă a titlurilor (H1-H6) creează secțiuni semnificative pe care sistemele AI le folosesc pentru extragerea conținutului. Elementele semantice precum <nav> , <main> , <article> și <section> spun mașinilor ce rol joacă fiecare bloc de conținut. Etichetele formularelor și textul descriptiv al butoanelor fac elementele interactive ușor de înțeles pentru agenții care analizează arborele de accesibilitate în loc să redă designul vizual.

Ce trebuie verificat

• Ierarhia titlurilor: structură logică H1-H6 pe care mașinile o pot folosi pentru a înțelege relațiile de conținut.
• Elemente semantice: nav, principal, articol, secțiune, deoparte, antet, subsol, utilizate corespunzător.
• Intrări de formular: fiecare intrare are o etichetă, fiecare buton are text descriptiv.
• Elemente interactive: lucrurile pe care se poate face clic folosesc <button> sau <a> , nu <div onclick> .
• Arborele de accesibilitate: rulați un instantaneu Playwright MCP sau testați cu VoiceOver/NVDA pentru a vedea ce văd agenții de fapt.

Cumva, lucrurile se înrăutățesc pe acest front. Raportul WebAIM Million 2026 a constatat că pagina web medie are acum 56,1 erori de accesibilitate, în creștere cu 10,1% față de 2025.

Utilizarea ARIA (Accessible Rich Internet Applications) a crescut cu 27% într-un singur an. ARIA este un set de atribute HTML care adaugă informații semantice suplimentare elementelor, spunând cititorilor de ecran și agenților AI lucruri precum „acest div este de fapt un dialog” sau „această listă funcționează ca un meniu”. Dar ceea ce este critic este acesta: paginile cu ARIA prezent au avut semnificativ mai multe erori (59,1 în medie) decât paginile fără ARIA (42 în medie). Adăugarea ARIA fără a-l înțelege face lucrurile mai rău, nu mai bune, deoarece ARIA incorectă înlocuiește interpretarea implicită a arborelui de accesibilitate a browserului cu informații greșite. Începeți cu HTML semantic adecvat. Adăugați ARIA numai atunci când elementele native nu sunt suficiente.

SEO tehnici nu trebuie să devină experți în accesibilitate. Dar tratarea accesibilității ca pe o problemă a altcuiva nu mai este viabilă atunci când același arbore pe care cititorii de ecran îl analizează este acum interfața principală între agenții AI și site-ul dvs.

Notă laterală: Comanda rapidă Markdown nu funcționează

Servirea de fișiere brute de reducere la crawlerele AI în loc de HTML poate duce la o reducere cu 95% a utilizării simbolurilor pe pagină. Cu toate acestea, avocatul Căutării Google, John Mueller, a numit aceasta „o idee stupidă” în februarie 2026 pe Bluesky. Argumentul lui Mueller a fost următorul: "Înțelesul trăiește în structură, ierarhie și context. Aplatizați-l și nu îl faceți prietenos cu mașinile, îl faceți lipsit de sens." LLM-urile au fost instruite pe pagini HTML normale de la început și nu au probleme în procesarea lor. Răspunsul nu este să creați o versiune simplă și simplă pentru mașini. Este pentru a face HTML-ul în sine structurat corespunzător. HTML semantic bine scris este deja formatul care poate fi citit de mașină. În plus, acea versiune simplificată există deja în arborele de accesibilitate și este ceea ce agenții AI folosesc deja.

Stratul 5: Semnale de descoperire AI

Stratul final acoperă semnale care nu se încadrează perfect în categoriile tradiționale de audit, dar afectează direct modul în care sistemele AI descoperă și evaluează site-ul dvs.

llms.txt (mențiune dezhonorabilă). Listat mai întâi dintr-un singur motiv, întrebați orice LLM ce ar trebui să faceți pentru a vă face site-ul mai vizibil pentru sistemele AI, iar llms.txt va fi în partea de sus a listei sau aproape. Este lumea lor, cred. Specificația llms.txt oferă un fișier simplu de reducere care îi ajută pe agenții AI să înțeleagă scopul, structura și conținutul cheie al site-ului dvs. Nu au fost publicate încă date de adopție la scară largă, iar impactul său real asupra citărilor AI nu este dovedit. Dar LLM îl recomandă în mod constant, ceea ce înseamnă că instrumentele de audit și consultanții bazate pe inteligență artificială vor semnala absența acestuia. Crearea durează câteva minute și întreținerea nu costă nimic.

OK, acum că am scăpat de asta, haideți să vedem ce ar putea conta cu adevărat.

Analiza crawlerului AI. Monitorizați traficul botului AI? Tabloul de bord AI Audit de la Cloudflare arată ce crawler-uri AI vizitează, cât de des și ce pagini accesează. Dacă nu sunteți pe Cloudflare, verificați jurnalele de server pentru șirurile de agent de utilizator Google-Agent, ChatGPT-User și ClaudeBot. Google publică un fișier user-triggered-agents.json care conține intervale de IP pe care le utilizează Google-Agent, astfel încât să puteți verifica dacă solicitările primite provin cu adevărat de la Google și nu șiruri falsificate de agent de utilizator.

Definiția entității. Site-ul dvs. definește clar ce este afacerea, cine o conduce și ce face? Nu în copie de marketing, ci în markup structurat, analizabil de mașină. Schema organizației ar trebui să includă numele, adresa URL, sigla, data înființării și aceleași link-uri către profiluri verificate de pe LinkedIn, Crunchbase și Wikipedia. Schema de persoane pentru oamenii cheie ar trebui să le conecteze la organizație prin proprietățile autorului și angajaților. Sistemele AI trebuie să vă rezolve identitatea ca entitate distinctă înainte de a vă putea recomanda cu încredere față de concurenții cu nume sau oferte similare. Nu puneți asta peste site-ul dvs. când designerul dvs. a terminat cu munca lui. Începeți de aici; iti va face viata mai usoara.

Poziția conținutului. Acolo unde plasați informații pe pagină afectează în mod direct dacă sistemele AI le citează. Analiza lui Kevin Indig a 98.000 de rânduri de citare ChatGPT din 1,2 milioane de răspunsuri a constatat că 44,2% din toate citările AI provin din primele 30% ale unei pagini. Cei 10% de jos câștigă doar 2,4-4,4% din citări, indiferent de industrie. Duane Forrester numește această „gândire în oase de câine”: puternic la început și la sfârșit, slab la mijloc, un model pe care cercetătorii de la Stanford l-au confirmat ca fiind fenomenul „pierdut în mijloc”. Auditează-ți paginile cheie: cele mai importante revendicări și puncte de date sunt în primele 30% sau îngropate în mijloc?

Extragerea conținutului. Extrageți orice revendicare cheie din pagina dvs. și citiți-o izolat. Mai are sens fără paragrafele din jur? Sistemele de recuperare AI, cum ar fi ChatGPT, Perplexity și Google AI Overviews, extrag și citează pasaje și propoziții individuale care se bazează pe „aceasta”, „aceasta” sau „cele de mai sus” pentru semnificație, devin inutilizabile atunci când sunt extrase din contextul lor original. Excelentul cadru de scriere utilitar al lui Ramon Eijkemans mapează aceste principii cu mecanisme de recuperare documentate: propoziții autonome, relații explicite de entități și declarații de ancorare citabile pe care sistemele AI le pot cita cu încredere fără inferențe suplimentare.

Lista de verificare a auditului

Acest audit identifică lacune. Remedierea lor necesită o secvență, deoarece unele remedieri depind de altele. Optimizarea structurii conținutului înainte de a stabili o identitate care poate fi citită de mașină înseamnă că agenții vă pot extrage informațiile, dar nu le pot atribui cu încredere mărcii dvs. Am scris Machine-First Architecture pentru a oferi acea secvență: identitate, structură, conținut, interacțiune, fiecare pilon construindu-se pe cel anterior.

Nimic din toate acestea nu este tehnic SEO. Regulile Robots.txt pentru crawlerele AI nu afectează clasamentele Google. Optimizarea arborelui de accesibilitate nu mută pozițiile cuvintelor cheie. Scorul poziției conținutului nu are nimic de-a face cu indexarea căutării.

Dar cea mai mare parte a rezultat din SEO tehnic. Managementul cu crawlere, date structurate, HTML semantic, redare JavaScript, analiză jurnal de server: acestea sunt abilități tehnice pe care le au deja SEO-ii. Metodologia de audit se transferă direct. Consumatorul pe care îl servește este ceea ce s-a schimbat.

Site-urile web care sunt citate în răspunsurile AI, care funcționează atunci când navigarea automată Chrome le vizitează, care apar când cineva solicită ChatGPT o recomandare, nu vor fi singure cele cu cel mai bun conținut. Ei vor fi cei a căror bază tehnică a făcut acel conținut accesibil mașinilor. SEO tehnici sunt cei mai bine echipați pentru a construi această bază. Vechiul șablon de audit are nevoie doar de o nouă secțiune pentru a-l reflecta.

Mai multe resurse:

• Lista completă a crawlerelor pentru agenții de utilizator AI
• Datoria tehnică SEO care vă va distruge vizibilitatea AI
• Utilizarea SEO tehnică pentru a crește eficiența și vizibilitatea crawlei

Imagine prezentată: Anton Vierietin/Shutterstock

Categorie SEO Tehnic SEO Citiți biografia completă Slobodan Manic Gazdă a podcastului No Hacks și consultant de optimizare web pe primul loc la No Hacks

Slobodan „Sani” Manić este un consultant de optimizare a site-urilor web cu peste 15 ani de experiență, ajutând companiile să-și facă site-urile mai rapide, ...

#looop_parent

Sursa: Jurnalul motorului de căutare