Bo\u021bii AI acceseaz\u0103 tot mai multe website-uri pentru a descoperi, indexa sau prelua con\u021binut. Pentru proprietarul unui website, problema nu este \u00eens\u0103 simpla apari\u021bie a unui crawler \u00een loguri, ci num\u0103rul de request-uri generate \u0219i tipul paginilor pe care acesta le acceseaz\u0103.<\/p>\n
Un crawler care cite\u0219te ocazional c\u00e2teva articole poate avea un impact aproape insesizabil. \u00cen schimb, mii de request-uri c\u0103tre pagini dinamice, c\u0103ut\u0103ri, filtre WooCommerce sau API-uri pot determina executarea repetat\u0103 a PHP \u0219i interogarea bazei de date.<\/p>\n
Pe un cont de g\u0103zduire care utilizeaz\u0103 cPanel, CloudLinux \u0219i LiteSpeed Enterprise<\/strong>, acest trafic poate fi investigat folosind logurile de acces \u0219i informa\u021biile despre consumul de resurse.<\/p>\n Nu to\u021bi bo\u021bii AI au acela\u0219i rol. Este important s\u0103 facem diferen\u021ba \u00eentre crawlere utilizate pentru dezvoltarea modelelor, crawlere pentru servicii de c\u0103utare \u0219i request-uri generate atunci c\u00e2nd un utilizator solicit\u0103 accesarea unei pagini.<\/p>\n OpenAI documenteaz\u0103, de exemplu, mai multe tipuri de User-Agent:<\/p>\n Anthropic utilizeaz\u0103 la r\u00e2ndul s\u0103u:<\/p>\n Prin urmare, blocarea unui crawler pentru antrenarea modelelor nu este neap\u0103rat acela\u0219i lucru cu blocarea accesului unui serviciu de c\u0103utare AI.<\/p>\n Google-Extended este deseori inclus \u00een listele de \u201eAI bots\u201d, \u00eens\u0103 exist\u0103 o diferen\u021b\u0103 tehnic\u0103 important\u0103.<\/p>\n Google-Extended nu are propriul User-Agent HTTP.<\/strong> Este un token utilizat \u00een robots.txt pentru a controla anumite utiliz\u0103ri ale con\u021binutului de c\u0103tre produsele AI Google.<\/p>\n Crawling-ul propriu-zis este realizat prin User-Agent-urile Google existente.<\/p>\n Din acest motiv, nu are sens s\u0103 cau\u021bi \u00een access log un User-Agent numit:<\/p>\n Google precizeaz\u0103 \u0219i c\u0103 blocarea Google-Extended nu influen\u021beaz\u0103 includerea website-ului \u00een Google Search \u0219i nu reprezint\u0103 un semnal de ranking.<\/p>\n Cel mai util punct de pornire este access log-ul website-ului.<\/p>\n \u00cen cPanel acceseaz\u0103:<\/p>\n Sec\u021biunea Raw Access permite desc\u0103rcarea logurilor domeniului \u00een format comprimat .gz<\/strong>.<\/p>\n Un request poate ar\u0103ta aproximativ astfel:<\/p>\n Din aceast\u0103 linie putem identifica:<\/p>\n Pentru un ghid complet despre aceste loguri po\u021bi consulta articolul Raw Access Logs \u0219i AWStats \u00een cPanel<\/strong><\/a>.<\/p>\n Dac\u0103 administrezi un VPS cu acces root, pe un server cPanel po\u021bi c\u0103uta direct \u00een logul domeniului:<\/p>\n Pentru a num\u0103ra request-urile identificate:<\/p>\n \u00cenlocuie\u0219te exemplu.ro<\/strong> cu domeniul analizat.<\/p>\n Num\u0103rul total nu este \u00eens\u0103 suficient. Trebuie verificat \u0219i ce pagini sunt accesate.<\/p>\n Dou\u0103 crawlere care genereaz\u0103 acela\u0219i num\u0103r de request-uri pot produce un consum complet diferit.<\/p>\n Un crawler care acceseaz\u0103 articole publice aflate \u00een cache poate genera un impact redus.<\/p>\n \u00cen schimb, request-uri repetate c\u0103tre:<\/p>\n pot necesita procesare dinamic\u0103.<\/p>\n Pentru un website WordPress sau WooCommerce, aceasta poate \u00eensemna:<\/p>\n Cu c\u00e2t request-ul necesit\u0103 mai mult\u0103 procesare PHP \u0219i mai multe interog\u0103ri SQL, cu at\u00e2t impactul asupra resurselor poate fi mai mare.<\/p>\n Dac\u0103 este disponibil pentru cont, AWStats poate oferi o imagine general\u0103 asupra traficului.<\/p>\n Acceseaz\u0103:<\/p>\n Aici po\u021bi analiza traficul zilnic \u0219i orar, codurile HTTP \u0219i alte informa\u021bii despre vizitatori.<\/p>\n AWStats este util pentru tendin\u021be generale, \u00eens\u0103 pentru investigarea exact\u0103 a unui bot \u0219i a request-urilor acestuia, Raw Access Logs sunt mai potrivite.<\/p>\n Faptul c\u0103 \u00eentr-un access log apare:<\/p>\n nu demonstreaz\u0103 singur c\u0103 request-ul provine \u00eentr-adev\u0103r de la OpenAI.<\/p>\n User-Agent-ul este o valoare trimis\u0103 de client \u0219i poate fi modificat\u0103 foarte u\u0219or.<\/p>\n Operatorii unor crawlere public\u0103 metode suplimentare de verificare. OpenAI, de exemplu, public\u0103 intervalele IP utilizate pentru GPTBot, OAI-SearchBot \u0219i ChatGPT-User.<\/p>\n \u00cen cazul \u00een care identificarea exact\u0103 este important\u0103, IP-ul request-ului trebuie comparat cu informa\u021biile oficiale ale operatorului.<\/p>\n Cu alte cuvinte:<\/p>\n Pe infrastructura shared NameBox, CloudLinux este utilizat pentru izolarea conturilor \u0219i administrarea resurselor alocate fiec\u0103rui cont.<\/p>\n Traficul automatizat poate contribui la consumul mai multor resurse.<\/p>\n Dac\u0103 request-ul necesit\u0103 executarea PHP, procesorul trebuie s\u0103 ruleze codul aplica\u021biei. Un num\u0103r mare de request-uri dinamice poate cre\u0219te consumul CPU.<\/p>\n Procesele PHP \u0219i componentele aplica\u021biei utilizeaz\u0103 memorie. Mai multe request-uri procesate simultan pot determina cre\u0219terea PMEM.<\/p>\n Entry Processes reprezint\u0103 intr\u0103rile simultane \u00een LVE \u0219i sunt relevante pentru cererile dinamice procesate \u00een acela\u0219i timp.<\/p>\n EP nu reprezint\u0103 num\u0103rul vizitatorilor website-ului.<\/p>\n Request-urile pot necesita acces la fi\u0219iere, cache sau alte date de pe disc. CloudLinux poate monitoriza at\u00e2t volumul I\/O, c\u00e2t \u0219i num\u0103rul opera\u021biunilor IOPS.<\/p>\n WordPress sau WooCommerce pot executa interog\u0103ri c\u0103tre MySQL\/MariaDB pentru generarea paginilor dinamice.<\/p>\n Un crawler care acceseaz\u0103 intensiv astfel de pagini poate contribui indirect \u0219i la \u00eenc\u0103rcarea bazei de date.<\/p>\n Pentru explica\u021bii detaliate despre aceste limite po\u021bi consulta Resurse pachet g\u0103zduire: CPU, RAM, I\/O \u0219i Entry Processes<\/strong><\/a> \u0219i articolul despre CloudLinux<\/strong><\/a>.<\/p>\n Aceasta este una dintre cele mai importante reguli atunci c\u00e2nd investighezi problema.<\/p>\n Nu este suficient s\u0103 g\u0103se\u0219ti GPTBot sau ClaudeBot \u00een access log \u0219i s\u0103 concluzionezi c\u0103 acesta a \u00eencetinit website-ul.<\/p>\n Trebuie corelate request-urile cu Resource Usage.<\/p>\n De exemplu:<\/p>\n O astfel de corela\u021bie ofer\u0103 un indiciu mult mai bun.<\/p>\n Dac\u0103 CPU cre\u0219te la ora 03:00, dar crawlerul a accesat website-ul la ora 15:00, cauza trebuie c\u0103utat\u0103 \u00een alt\u0103 parte.<\/p>\n Poate fi vorba despre cron jobs, backup, importuri, pluginuri, malware sau alte procese.<\/p>\n LiteSpeed Enterprise poate reduce semnificativ impactul traficului repetitiv atunci c\u00e2nd o pagin\u0103 poate fi servit\u0103 direct din cache.<\/p>\n Pentru o pagin\u0103 disponibil\u0103 \u00een LSCache:<\/p>\n Aplica\u021bia nu trebuie s\u0103 genereze din nou pagina la fiecare accesare.<\/p>\n LiteSpeed documenteaz\u0103 faptul c\u0103, pentru un cache hit complet, aplica\u021bia nu trebuie s\u0103 regenereze pagina, ceea ce reduce \u00eenc\u0103rcarea serverului.<\/p>\n Pentru WordPress po\u021bi verifica r\u0103spunsul:<\/p>\n Dac\u0103 apare:<\/p>\n pagina nu a fost servit\u0103 dintr-un obiect cache existent pentru request-ul respectiv.<\/p>\n Pentru mai multe informa\u021bii po\u021bi consulta articolul Ce este LiteSpeed \u0219i cum func\u021bioneaz\u0103?<\/strong><\/a>.<\/p>\n Nu toate paginile pot fi tratate identic.<\/p>\n Zone precum checkout-ul unui magazin, pagini personalizate pentru utilizatori, API-uri, request-uri POST, c\u0103ut\u0103ri \u0219i diferite filtre dinamice pot necesita procesare PHP.<\/p>\n \u00cen aceast\u0103 situa\u021bie:<\/p>\n Acesta este motivul pentru care optimizarea cache-ului ajut\u0103, dar nu reprezint\u0103 automat o solu\u021bie pentru orice trafic generat de bo\u021bi.<\/p>\n Exist\u0103 mai multe niveluri prin care accesul poate fi controlat, iar metoda trebuie aleas\u0103 \u00een func\u021bie de obiectiv.<\/p>\n Dac\u0103 nu dore\u0219ti ca GPTBot \u0219i ClaudeBot s\u0103 acceseze con\u021binutul pentru utiliz\u0103rile asociate acestor crawlere, po\u021bi utiliza:<\/p>\n OpenAI \u0219i Anthropic documenteaz\u0103 respectarea regulilor robots.txt pentru aceste crawlere.<\/p>\n Important: robots.txt nu este un firewall<\/strong>. Este o instruc\u021biune pe care crawlerele conforme aleg s\u0103 o respecte.<\/p>\n De exemplu, OpenAI permite control separat pentru crawlerul utilizat \u00een ChatGPT Search.<\/p>\n Astfel po\u021bi permite descoperirea con\u021binutului pentru search \u0219i, \u00een acela\u0219i timp, s\u0103 restric\u021bionezi GPTBot.<\/p>\n OpenAI precizeaz\u0103 c\u0103 website-urile care dezactiveaz\u0103 OAI-SearchBot nu vor fi afi\u0219ate ca rezultate obi\u0219nuite \u00een r\u0103spunsurile ChatGPT Search, de\u0219i pot exista \u00een continuare linkuri de navigare.<\/p>\n Dac\u0103 obiectivul este oprirea efectiv\u0103 a request-ului \u0219i website-ul ruleaz\u0103 pe LiteSpeed Enterprise, poate fi utilizat\u0103 o regul\u0103 la nivelul website-ului.<\/p>\n Un exemplu pentru GPTBot \u0219i ClaudeBot este:<\/p>\n LiteSpeed documenteaz\u0103 variabila blockbot<\/strong> pentru blocarea conexiunilor pe baza regulilor Rewrite.<\/p>\n Aceast\u0103 configura\u021bie este mult mai puternic\u0103 dec\u00e2t robots.txt, deoarece request-ul este blocat la nivelul serverului web.<\/p>\n Nu copia automat liste foarte mari de User-Agent-uri.<\/strong> O regul\u0103 gre\u0219it\u0103 poate afecta crawlere legitime, integr\u0103ri, API-uri sau servicii pe care website-ul le folose\u0219te.<\/p>\n \u00cen plus, User-Agent-ul poate fi falsificat, deci aceast\u0103 metod\u0103 nu trebuie privit\u0103 ca un sistem perfect de identificare.<\/p>\n Dac\u0103 website-ul utilizeaz\u0103 Cloudflare ca proxy, exist\u0103 \u0219i instrumente dedicate pentru acest tip de trafic.<\/p>\n Cloudflare ofer\u0103 AI Crawl Control<\/strong>, unde pot fi vizualiza\u021bi crawlerii AI identifica\u021bi \u0219i poate fi configurat\u0103 o ac\u021biune pentru fiecare dintre ace\u0219tia.<\/p>\n Cloudflare clasific\u0103 separat, de exemplu:<\/p>\n Pentru website-urile care folosesc Cloudflare se pot utiliza \u0219i reguli WAF sau Rate Limiting atunci c\u00e2nd obiectivul este limitarea unui volum excesiv de request-uri.<\/p>\n Aceste func\u021bionalit\u0103\u021bi \u021bin de serviciul Cloudflare \u0219i nu trebuie confundate cu instrumentele cPanel sau CloudLinux.<\/p>\n Pe infrastructura NameBox, Imunify360 \u0219i ModSecurity reprezint\u0103 niveluri suplimentare de protec\u021bie pentru aplica\u021biile web.<\/p>\n Un crawler AI legitim nu trebuie considerat automat un atac.<\/p>\n Aceste sisteme devin relevante atunci c\u00e2nd request-urile corespund unor reguli de securitate sau prezint\u0103 comportamente considerate mali\u021bioase.<\/p>\n De aceea, nu recomand\u0103m dezactivarea unor mecanisme de securitate doar pentru c\u0103 un crawler prime\u0219te un r\u0103spuns 403.<\/p>\n Pentru mai multe informa\u021bii po\u021bi consulta articolul ModSecurity \u00een cPanel \u0219i eroarea 403<\/strong><\/a>.<\/p>\n Nu exist\u0103 un r\u0103spuns universal.<\/p>\n Restric\u021bionarea poate avea sens dac\u0103 un crawler genereaz\u0103 un volum mare de trafic, acceseaz\u0103 repetitiv pagini costisitoare sau produce un consum de resurse demonstrabil.<\/p>\n \u00cen acela\u0219i timp, blocarea tuturor crawlerelor AI f\u0103r\u0103 diferen\u021biere poate reduce posibilitatea ca website-ul s\u0103 fie descoperit prin serviciile de c\u0103utare \u0219i asisten\u021bii AI.<\/p>\n De aceea, \u00eenainte de blocare trebuie s\u0103 r\u0103spunzi la trei \u00eentreb\u0103ri:<\/p>\n Abordarea corect\u0103 este:<\/p>\n Bo\u021bii AI reprezint\u0103 doar o parte din traficul automatizat care poate ajunge pe un website.<\/p>\n Pe un server cu cPanel, CloudLinux \u0219i LiteSpeed, combina\u021bia dintre Raw Access Logs, AWStats, Resource Usage \u0219i informa\u021biile de cache<\/strong> permite identificarea mult mai precis\u0103 a impactului real.<\/p>\n O pagin\u0103 servit\u0103 din LSCache poate avea un cost foarte redus, \u00een timp ce o c\u0103utare WooCommerce sau un endpoint dinamic poate executa PHP \u0219i multiple interog\u0103ri SQL la fiecare request.<\/p>\n Din acest motiv, simpla apari\u021bie a GPTBot, ClaudeBot sau a altui crawler \u00een loguri nu \u00eenseamn\u0103 automat c\u0103 website-ul are o problem\u0103.<\/p>\n Dac\u0103 observi un consum ridicat, \u00eencepe cu logurile, identific\u0103 intervalul exact \u0219i compar\u0103-l cu cPanel \u2192 Resource Usage<\/strong>. Abia dup\u0103 aceast\u0103 verificare are sens s\u0103 alegi \u00eentre robots.txt, blocare HTTP, rate limiting sau alte mecanisme de control.<\/p>\n Pentru website-urile WordPress, po\u021bi consulta \u0219i ghidul nostru despre optimizarea WordPress<\/strong><\/a>.<\/p>\n Pe pagina noastr\u0103 HelpDesk<\/strong><\/a> g\u0103si\u021bi multe alte tutoriale utile pentru a gestiona mai u\u0219or contul dvs. cPanel.<\/p>\n","protected":false},"excerpt":{"rendered":"Cine sunt bo\u021bii AI \u0219i de ce acceseaz\u0103 website-urile?<\/h2>\n
\n
\n
Google-Extended nu este un crawler separat<\/h2>\n
Google-Extended<\/pre>\n
Cum identifici bo\u021bii AI \u00een cPanel?<\/h2>\n
cPanel \u2192 Metrics \u2192 Raw Access<\/pre>\n
203.0.113.25 - - [14\/Oct\/2026:10:20:15 +0300] \"GET \/articol\/ HTTP\/1.1\" 200 18432 \"-\" \"Mozilla\/5.0 ... GPTBot\/1.4 ...\"<\/pre>\n
\n
Caut\u0103 User-Agent-urile crawlerelor<\/h3>\n
grep -iE 'GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot' \/var\/log\/apache2\/domlogs\/exemplu.ro | tail -100<\/pre>\n
grep -iE 'GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot' \/var\/log\/apache2\/domlogs\/exemplu.ro | wc -l<\/pre>\n
Conteaz\u0103 foarte mult ce URL-uri acceseaz\u0103 crawlerul<\/h2>\n
\/search\/\r\n\/?s=produs\r\n\/wp-json\/\r\n\/filtru-produse\/\r\n\/api\/\r\n\/checkout\/<\/pre>\n
Request\r\n\u2193\r\nLiteSpeed\r\n\u2193\r\nPHP\r\n\u2193\r\nWordPress \/ WooCommerce\r\n\u2193\r\nMySQL \/ MariaDB\r\n\u2193\r\nR\u0103spuns<\/pre>\n
Po\u021bi folosi \u0219i AWStats<\/h2>\n
cPanel \u2192 Metrics \u2192 Awstats<\/pre>\n
User-Agent-ul poate fi falsificat<\/h2>\n
GPTBot<\/pre>\n
User-Agent = indiciu\r\nIP \u0219i verificarea oficial\u0103 = confirmare mai bun\u0103<\/pre>\n
Cum pot bo\u021bii AI s\u0103 afecteze resursele CloudLinux?<\/h2>\n
CPU<\/h3>\n
Memorie RAM \u2013 PMEM<\/h3>\n
Entry Processes<\/h3>\n
I\/O \u0219i IOPS<\/h3>\n
Procese \u0219i baza de date<\/h3>\n
Nu orice bot din log este cauza consumului ridicat<\/h2>\n
14:00 \u2192 consum normal\r\n14:05 \u2192 \u00eencepe un volum mare de crawling\r\n14:08 \u2192 CPU \u0219i EP cresc\r\n14:15 \u2192 crawling-ul scade\r\n14:18 \u2192 resursele revin la normal<\/pre>\n
Ce rol are LiteSpeed Enterprise?<\/h2>\n
Crawler\r\n\u2193\r\nLiteSpeed Enterprise\r\n\u2193\r\nLSCache HIT\r\n\u2193\r\nHTML livrat direct<\/pre>\n
X-LiteSpeed-Cache: hit<\/pre>\n
X-LiteSpeed-Cache: miss<\/pre>\n
LiteSpeed Cache nu elimin\u0103 orice consum<\/h2>\n
Crawler\r\n\u2193\r\nLiteSpeed\r\n\u2193\r\nCache MISS \/ resurs\u0103 dinamic\u0103\r\n\u2193\r\nPHP\r\n\u2193\r\nWordPress\r\n\u2193\r\nBaza de date<\/pre>\n
Cum controlezi accesul bo\u021bilor AI?<\/h2>\n
robots.txt<\/h3>\n
User-agent: GPTBot\r\nDisallow: \/\r\n\r\nUser-agent: ClaudeBot\r\nDisallow: \/<\/pre>\n
Po\u021bi permite separat crawlerele pentru c\u0103utare<\/h3>\n
User-agent: OAI-SearchBot\r\nAllow: \/\r\n\r\nUser-agent: GPTBot\r\nDisallow: \/<\/pre>\n
Blocarea efectiv\u0103 prin .htaccess<\/h2>\n
<IfModule LiteSpeed>\r\nRewriteEngine On\r\nRewriteCond %{HTTP_USER_AGENT} \"GPTBot|ClaudeBot\" [NC]\r\nRewriteRule .* - [E=blockbot:1]\r\n<\/IfModule><\/pre>\nCloudflare poate controla separat crawlerele AI<\/h2>\n
GPTBot \u2192 AI Crawler\r\nOAI-SearchBot \u2192 AI Search\r\nChatGPT-User \u2192 AI Assistant\r\nClaudeBot \u2192 AI Crawler\r\nClaude-SearchBot \u2192 AI Search\r\nClaude-User \u2192 AI Assistant<\/pre>\n
Ce rol au Imunify360 \u0219i ModSecurity?<\/h2>\n
Merit\u0103 s\u0103 blochezi bo\u021bii AI?<\/h2>\n
\n
M\u0103soar\u0103\r\n\u2193\r\nIdentific\u0103\r\n\u2193\r\nVerific\u0103\r\n\u2193\r\nCoreleaz\u0103 cu resursele\r\n\u2193\r\nLimiteaz\u0103 doar dac\u0103 este necesar<\/pre>\n
Analizeaz\u0103 traficul \u00eenainte s\u0103 aplici bloc\u0103ri<\/h2>\n