Crawlere precum GPTBot, OAI-SearchBot sau ClaudeBot pot accesa automat paginile unui website. Unele sunt folosite pentru dezvoltarea modelelor AI, altele pentru func\u021bii de c\u0103utare, iar altele acceseaz\u0103 o pagin\u0103 \u00een urma unei solicit\u0103ri f\u0103cute de un utilizator.<\/p>\n
Dac\u0103 nu dore\u0219ti anumite tipuri de crawling sau observi un volum de trafic automatizat pe care vrei s\u0103 \u00eel limitezi, ai mai multe metode la dispozi\u021bie: robots.txt, reguli .htaccess, Cloudflare \u0219i mecanisme aplicate la nivelul serverului<\/strong>.<\/p>\n Important este s\u0103 \u00een\u021belegi diferen\u021ba dintre ele. Un fi\u0219ier robots.txt transmite o instruc\u021biune crawlerului, \u00een timp ce o regul\u0103 HTTP poate refuza efectiv request-ul.<\/p>\n \u00cenainte s\u0103 blochezi un crawler, trebuie s\u0103 \u0219tii ce face.<\/p>\n OpenAI documenteaz\u0103 separat:<\/p>\n Anthropic utilizeaz\u0103 o separare asem\u0103n\u0103toare:<\/p>\n De aceea, nu este recomandat s\u0103 pui toate aceste User-Agent-uri \u00eentr-o singur\u0103 list\u0103 \u0219i s\u0103 le blochezi f\u0103r\u0103 s\u0103 analizezi ce func\u021bionalitate pierzi.<\/p>\n De exemplu, OpenAI permite s\u0103 restric\u021bionezi GPTBot \u0219i s\u0103 p\u0103strezi OAI-SearchBot activ pentru ca paginile s\u0103 poat\u0103 ap\u0103rea \u00een rezultatele ChatGPT Search.<\/p>\n Google-Extended nu este un crawler HTTP separat.<\/strong><\/p>\n Este un token utilizat \u00een robots.txt pentru a controla anumite utiliz\u0103ri ale con\u021binutului de c\u0103tre produsele AI Google. Crawling-ul este efectuat prin User-Agent-urile Google existente.<\/p>\n Din acest motiv, o regul\u0103 de tip:<\/p>\n este valid\u0103 pentru controlul respectiv, \u00eens\u0103 nu trebuie s\u0103 cau\u021bi un User-Agent HTTP numit \u201eGoogle-Extended\u201d \u00een access log.<\/p>\n Google precizeaz\u0103 c\u0103 utilizarea Google-Extended nu afecteaz\u0103 includerea website-ului \u00een Google Search \u0219i nu reprezint\u0103 un semnal de ranking.<\/p>\n Fi\u0219ierul robots.txt este accesibil \u00een mod obi\u0219nuit la:<\/p>\n Pe un website g\u0103zduit \u00een cPanel \u00eel po\u021bi crea sau modifica din:<\/p>\n Dac\u0103 dore\u0219ti s\u0103 solici\u021bi GPTBot s\u0103 nu acceseze website-ul:<\/p>\n Pentru ClaudeBot:<\/p>\n Sau le po\u021bi combina:<\/p>\n Nu trebuie neap\u0103rat s\u0103 restric\u021bionezi \u00eentregul website.<\/p>\n De exemplu:<\/p>\n \u00cen acest caz \u00eei solici\u021bi crawlerului s\u0103 nu acceseze URL-urile din directorul respectiv.<\/p>\n Aceasta este diferen\u021ba esen\u021bial\u0103.<\/p>\n robots.txt spune:<\/p>\n Nu spune:<\/p>\n Un crawler conform va respecta regula. Un bot agresiv sau un script care ignor\u0103 robots.txt poate continua s\u0103 trimit\u0103 request-uri.<\/p>\n De asemenea, robots.txt este un fi\u0219ier public \u0219i nu trebuie utilizat pentru protejarea informa\u021biilor confiden\u021biale<\/strong>.<\/p>\n Dac\u0103 un director con\u021bine date care nu trebuie s\u0103 fie accesibile public, solu\u021bia corect\u0103 este autentificarea sau restric\u021bionarea real\u0103 a accesului, nu doar ad\u0103ugarea sa \u00een robots.txt.<\/p>\n Pe serverele NameBox care utilizeaz\u0103 LiteSpeed Enterprise, regulile compatibile Apache din .htaccess pot fi utilizate pentru controlul request-urilor.<\/p>\n Fi\u0219ierul poate fi g\u0103sit din:<\/p>\n \u00cenainte s\u0103 \u00eel modifici, salveaz\u0103 o copie a fi\u0219ierului .htaccess<\/strong>.<\/p>\n Pentru blocarea GPTBot:<\/p>\n Dac\u0103 User-Agent-ul corespunde, serverul va returna:<\/p>\n Codul 403 \u00eenseamn\u0103 c\u0103 serverul a \u00een\u021beles request-ul, dar refuz\u0103 accesul.<\/p>\n Po\u021bi include mai multe User-Agent-uri:<\/p>\n Aceast\u0103 regul\u0103 verific\u0103 User-Agent-ul declarat \u0219i refuz\u0103 request-ul dac\u0103 g\u0103se\u0219te GPTBot sau ClaudeBot.<\/p>\n Pentru dezactivare este suficient s\u0103 elimini regulile ad\u0103ugate sau s\u0103 restaurezi copia anterioar\u0103 a fi\u0219ierului .htaccess.<\/p>\n Dac\u0103 nu dore\u0219ti s\u0103 blochezi crawlerul pe \u00eentregul website, regula poate fi limitat\u0103 la o anumit\u0103 zon\u0103:<\/p>\n Astfel, celelalte pagini r\u0103m\u00e2n accesibile.<\/p>\n Regulile de mai sus sunt utile, dar au o limitare important\u0103.<\/p>\n User-Agent-ul este trimis chiar de client.<\/p>\n Un script poate pretinde foarte u\u0219or c\u0103 este:<\/p>\n sau chiar:<\/p>\n Din acest motiv, identificarea unui User-Agent \u00eentr-un log nu confirm\u0103 singur\u0103 identitatea operatorului.<\/p>\n OpenAI public\u0103 intervalele IP utilizate de crawlerele sale. Pentru investiga\u021bii mai importante, IP-ul trebuie verificat folosind informa\u021biile oficiale ale operatorului.<\/p>\n Po\u021bi consulta \u0219i ghidul nostru Bo\u021bii AI \u00ee\u021bi consum\u0103 resursele? Cum \u00eei identifici \u00een cPanel<\/strong><\/a>, unde explic\u0103m mai detaliat analiza User-Agent-urilor \u0219i a traficului.<\/p>\n Dac\u0103 domeniul utilizeaz\u0103 Cloudflare ca proxy, request-ul poate fi filtrat \u00eenainte s\u0103 ajung\u0103 la serverul de hosting.<\/p>\n Cloudflare WAF Custom Rules sunt disponibile inclusiv pe planul Free, \u00eens\u0103 num\u0103rul de reguli \u0219i func\u021biile avansate difer\u0103 \u00een func\u021bie de plan.<\/p>\n \u00cen prezent, planul Free permite p\u00e2n\u0103 la 5 Custom Rules la nivel de zon\u0103.<\/p>\n Pentru GPTBot po\u021bi crea o regul\u0103 din:<\/p>\n \u00cen Expression Editor:<\/p>\n Iar ac\u021biunea:<\/p>\n Cloudflare va opri request-ul \u00eenainte ca acesta s\u0103 ajung\u0103 la serverul origin.<\/p>\n Pentru dou\u0103 crawlere:<\/p>\n Operatorul contains<\/strong> este case-sensitive, de aceea trebuie utilizat\u0103 forma corect\u0103 a User-Agent-ului.<\/p>\n Cloudflare ofer\u0103 mai multe ac\u021biuni \u00een Custom Rules.<\/p>\n Block<\/strong> refuz\u0103 request-ul care corespunde regulii.<\/p>\n Managed Challenge<\/strong> permite Cloudflare s\u0103 decid\u0103 ce tip de verificare trebuie aplicat\u0103 clientului. Este mai potrivit atunci c\u00e2nd nu e\u0219ti sigur c\u0103 tot traficul corespunz\u0103tor trebuie blocat.<\/p>\n Skip<\/strong> are un scop diferit: permite request-ului s\u0103 sar\u0103 peste anumite mecanisme de securitate ulterioare. Nu trebuie tratat ca o simpl\u0103 regul\u0103 \u201eAllow\u201d.<\/p>\n Folosirea gre\u0219it\u0103 a Skip poate permite unui request s\u0103 evite protec\u021bii pe care doreai s\u0103 le p\u0103strezi active.<\/p>\n Uneori nu vrei s\u0103 blochezi complet un serviciu, ci doar s\u0103 reduci request-urile excesive.<\/p>\n Aici intervine Rate Limiting.<\/p>\n Disponibilitatea criteriilor difer\u0103 \u00eens\u0103 \u00eentre planurile Cloudflare.<\/p>\n De exemplu, \u00een configura\u021bia actual\u0103 Cloudflare, planul Free ofer\u0103 o regul\u0103 de Rate Limiting \u0219i permite criterii mai simple precum path-ul \u0219i statusul de Verified Bot. Filtrarea Rate Limiting direct dup\u0103 User-Agent este disponibil\u0103 pe planuri superioare.<\/p>\n Din acest motiv, nu trebuie presupus c\u0103 aceea\u0219i regul\u0103 de rate limiting poate fi construit\u0103 pe orice abonament Cloudflare.<\/p>\n Cloudflare ofer\u0103 \u0219i func\u021bii dedicate pentru administrarea crawlerelor AI, iar op\u021biunea Block AI bots<\/strong> este documentat\u0103 ca fiind disponibil\u0103 pe toate planurile. Func\u021biile \u0219i controalele suplimentare pot varia \u00een func\u021bie de cont \u0219i configura\u021bie.<\/p>\n Orice regul\u0103 de securitate prea general\u0103 poate produce efecte secundare.<\/p>\n \u00cen special pe un magazin WooCommerce trebuie verificate:<\/p>\n De aceea este recomandat s\u0103 restric\u021bionezi un User-Agent sau un comportament concret, nu s\u0103 blochezi generic \u201eto\u021bi bo\u021bii\u201d.<\/p>\n Pe un cont cPanel, utilizatorul poate administra \u00een mod obi\u0219nuit:<\/p>\n Configura\u021bii precum regulile globale LiteSpeed, politica Imunify360 sau limitele generale CloudLinux sunt administrate la nivelul serverului.<\/p>\n CloudLinux nu este un firewall pentru bo\u021bi.<\/strong> \u00cen acest context, rolul s\u0103u este s\u0103 izoleze conturile \u0219i s\u0103 limiteze resurse precum CPU, memoria, I\/O, IOPS \u0219i Entry Processes.<\/p>\n Imunify360 \u0219i ModSecurity sunt componente de securitate care pot bloca request-uri considerate mali\u021bioase, dar un crawler AI legitim nu reprezint\u0103 automat un atac.<\/p>\n Pentru detalii despre acest nivel de protec\u021bie po\u021bi consulta articolul ModSecurity \u00een cPanel \u0219i eroarea 403<\/strong><\/a>.<\/p>\n Dup\u0103 modificarea .htaccess, regula poate fi testat\u0103 cu curl:<\/p>\n Dac\u0103 regula de blocare func\u021bioneaz\u0103, ar trebui s\u0103 prime\u0219ti un r\u0103spuns de tip:<\/p>\n Interpretarea celor mai relevante coduri este:<\/p>\n Important: acest test nu demonstreaz\u0103 c\u0103 e\u0219ti GPTBot. Doar trimite antetul:<\/p>\n \u0219i verific\u0103 dac\u0103 regula reac\u021bioneaz\u0103 corect la el.<\/p>\n Pentru eliminarea regulii, \u0219terge configura\u021bia ad\u0103ugat\u0103 \u0219i testeaz\u0103 din nou website-ul.<\/p>\n \u00cen cPanel po\u021bi verifica request-urile din:<\/p>\n Logurile te ajut\u0103 s\u0103 vezi IP-ul, URL-ul, codul HTTP \u0219i User-Agent-ul.<\/p>\n Dac\u0103 ai nevoie de un ghid complet, vezi Trafic website \u00een cPanel: AWStats \u0219i Logs<\/strong><\/a>.<\/p>\n Pentru utilizatorii care administreaz\u0103 un VPS cu acces root, verificarea poate fi realizat\u0103 \u0219i direct \u00een logurile domeniului, dar pentru un cont shared Raw Access este suficient pentru majoritatea verific\u0103rilor ini\u021biale.<\/p>\n \u00cen general, nu este necesar.<\/p>\n Blocarea poate avea sens dac\u0103 un crawler:<\/p>\n Dar trebuie luat \u00een calcul \u0219i efectul asupra vizibilit\u0103\u021bii.<\/p>\n De exemplu, restric\u021bionarea GPTBot \u0219i OAI-SearchBot reprezint\u0103 dou\u0103 decizii diferite. Primul este asociat dezvolt\u0103rii modelelor, iar cel de-al doilea func\u021biilor de c\u0103utare ChatGPT.<\/p>\n O abordare mai bun\u0103 dec\u00e2t blocarea automat\u0103 a tuturor crawlerelor este:<\/p>\n Dac\u0103 vrei doar s\u0103 comunici unui crawler legitim c\u0103 nu dore\u0219ti crawling, \u00eencepe cu robots.txt.<\/p>\n Dac\u0103 vrei ca request-ul s\u0103 fie refuzat efectiv, folose\u0219te o regul\u0103 .htaccess sau un WAF precum Cloudflare.<\/p>\n Dac\u0103 problema este un volum excesiv de request-uri, poate fi mai potrivit un mecanism de rate limiting dec\u00e2t blocarea permanent\u0103.<\/p>\n Iar dac\u0103 observi trafic neobi\u0219nuit, verific\u0103 mai \u00eent\u00e2i sursa \u00een loguri \u00eenainte s\u0103 aplici reguli generale.<\/p>\n Pentru mai multe detalii despre rela\u021bia dintre server web \u0219i fi\u0219ierele .htaccess po\u021bi consulta articolul LiteSpeed vs Apache<\/strong><\/a>.<\/p>\n Pe pagina noastr\u0103 HelpDesk<\/strong><\/a> g\u0103si\u021bi multe alte tutoriale utile pentru a gestiona mai u\u0219or contul dvs. cPanel.<\/p>\n","protected":false},"excerpt":{"rendered":"Nu to\u021bi bo\u021bii AI au acela\u0219i rol<\/h2>\n
\n
\n
Google-Extended func\u021bioneaz\u0103 diferit<\/h2>\n
User-agent: Google-Extended\r\nDisallow: \/<\/code><\/pre>\nrobots.txt: cea mai simpl\u0103 metod\u0103 de control<\/h2>\n
https:\/\/exemplu.ro\/robots.txt<\/code><\/pre>\ncPanel \u2192 Files \u2192 File Manager\r\n\u2192 document root al domeniului\r\n\u2192 robots.txt<\/code><\/pre>\nUser-agent: GPTBot\r\nDisallow: \/<\/code><\/pre>\nUser-agent: ClaudeBot\r\nDisallow: \/<\/code><\/pre>\nUser-agent: GPTBot\r\nDisallow: \/\r\n\r\nUser-agent: ClaudeBot\r\nDisallow: \/<\/code><\/pre>\nPo\u021bi bloca doar o anumit\u0103 zon\u0103<\/h3>\n
User-agent: GPTBot\r\nDisallow: \/arhiva\/<\/code><\/pre>\nrobots.txt nu este un firewall<\/h2>\n
Te rog s\u0103 nu accesezi aceast\u0103 zon\u0103.<\/code><\/pre>\nServerul nu \u00ee\u021bi permite accesul.<\/code><\/pre>\nCum blochezi efectiv un bot prin .htaccess?<\/h2>\n
cPanel \u2192 File Manager\r\n\u2192 Settings\r\n\u2192 Show Hidden Files (dotfiles)<\/code><\/pre>\n<IfModule LiteSpeed>\r\nRewriteEngine On\r\nRewriteCond %{HTTP_USER_AGENT} \"GPTBot\" [NC]\r\nRewriteRule ^ - [F,L]\r\n<\/IfModule><\/code><\/pre>\n403 Forbidden<\/code><\/pre>\nBlocarea mai multor crawlere<\/h3>\n
<IfModule LiteSpeed>\r\nRewriteEngine On\r\nRewriteCond %{HTTP_USER_AGENT} \"GPTBot|ClaudeBot\" [NC]\r\nRewriteRule ^ - [F,L]\r\n<\/IfModule><\/code><\/pre>\nPo\u021bi restric\u021biona doar anumite URL-uri<\/h3>\n
<IfModule LiteSpeed>\r\nRewriteEngine On\r\nRewriteCond %{HTTP_USER_AGENT} \"GPTBot\" [NC]\r\nRewriteRule ^arhiva\/ - [F,L]\r\n<\/IfModule><\/code><\/pre>\nUser-Agent-ul poate fi falsificat<\/h2>\n
User-Agent: GPTBot<\/code><\/pre>\nUser-Agent: Googlebot<\/code><\/pre>\nCum blochezi un bot \u00een Cloudflare?<\/h2>\n
Cloudflare\r\n\u2192 Security\r\n\u2192 Security rules\r\n\u2192 Create rule\r\n\u2192 Custom rules<\/code><\/pre>\nhttp.user_agent contains \"GPTBot\"<\/code><\/pre>\nBlock<\/code><\/pre>\n(http.user_agent contains \"GPTBot\" or http.user_agent contains \"ClaudeBot\")<\/code><\/pre>\nBlock, Managed Challenge sau Skip?<\/h2>\n
Ce po\u021bi face cu Rate Limiting?<\/h2>\n
Aten\u021bie la API-uri, checkout \u0219i webhook-uri<\/h2>\n
\n
Ce poate controla utilizatorul \u0219i ce \u021bine de administrator?<\/h2>\n
\n
Cum verifici dac\u0103 regula func\u021bioneaz\u0103?<\/h2>\n
curl -I -A \"GPTBot\" https:\/\/exemplu.ro\/<\/code><\/pre>\nHTTP\/2 403<\/code><\/pre>\n200 OK\r\nRequest permis\r\n\r\n403 Forbidden\r\nRequest blocat \/ acces refuzat\r\n\r\n429 Too Many Requests\r\nRequest limitat printr-un mecanism de rate limiting<\/code><\/pre>\nUser-Agent: GPTBot<\/code><\/pre>\nVerific\u0103 \u0219i Raw Access Logs<\/h2>\n
cPanel \u2192 Metrics \u2192 Raw Access<\/code><\/pre>\nMerit\u0103 s\u0103 blochezi to\u021bi bo\u021bii AI?<\/h2>\n
\n
Identific\u0103 crawlerul\r\n\u2193\r\nVerific\u0103 scopul lui\r\n\u2193\r\nAnalizeaz\u0103 traficul\r\n\u2193\r\nAlege robots.txt sau blocare HTTP\r\n\u2193\r\nTesteaz\u0103 regula\r\n\u2193\r\nMonitorizeaz\u0103 rezultatul<\/code><\/pre>\nFolose\u0219te nivelul potrivit de control<\/h2>\n