Cloudflare propune o modalitate prin care publisherii pot indica explicit dacă doresc ca textele lor să fie folosite de Google pentru rezumatele generate de inteligență artificială și, în același timp, dacă permit utilizarea conținutului pentru antrenarea modelelor AI. Conceptul nu e complet nou, webmasterii utilizează robots.txt de ani de zile pentru a controla crawlerele, dar acum apar trei semnale dedicate în mod special lumii AI.
Noul Content Signals Policy introduce trei directive machine-readable în robots.txt: search pentru indexare și afișarea linkurilor sau fragmentelor în rezultatele clasice, ai-input pentru a autoriza folosirea conținutului ca material de intrare în răspunsuri generate de AI și ai-train pentru a permite folosirea conținutului la antrenarea modelelor. Practic, se poate specifica yes sau no pentru fiecare utilizare în parte. Exemplu simplu: User-Agent: * Content-Signal: search=yes, ai-train=no Allow: /, asta semnalează că site-ul vrea indexare în căutări, dar nu vrea să fie folosit pentru antrenarea modelelor.
Cloudflare va aplica aceste directive automat pentru milioane de site-uri care folosesc deja serviciul lor gestionat de robots.txt, ceea ce ar putea accelera adoptarea. Documentul a fost publicat sub licență CC0 pentru a încuraja și alte companii să îl preia și să îl transforme în standard. Pe hârtie pare o câștig pentru controlul editorilor, însă realitatea e mai complexă: Google nu a garantat că va respecta aceste semnale. Matthew Prince, CEO Cloudflare, a afirmat că Google a fost informat despre schimbare, dar compania nu a confirmat că le va implementa. În plus, directivele din robots.txt nu au caracter juridic, astfel încât unii actori le pot ignora, ceea ce transformă inițiativa mai degrabă într-un mijloc de exprimare a preferinței decât într-un mecanism obligatoriu.
Miza e semnificativă: dacă răspunsurile generate de AI preiau și redau conținut fără a trimite trafic către sursă, publisherii pot pierde vizitatori și venituri. De aceea Cloudflare recomandă ca semnalele să fie folosite în paralel cu managementul bot-ilor și reguli de firewall pentru un control mai ferm. Compania atenționează și asupra unei tendințe estimate de ei: traficul generat de boți ar putea depăși traficul uman până în 2029, ceea ce ridică reutilizarea automată a conținutului la un nivel strategic pentru edituri și site-uri.
Din punct de vedere practic, schimbarea oferă editorilor opțiuni nuanțate: pot accepta indexarea tradițională și refuza folosirea pentru antrenament sau pentru AI Overviews, sau pot bloca complet utilizări nedorite. Rămâne însă întrebarea dacă actorii majori din ecosistemul AI vor integra aceste semnale. Până atunci, publisherii au cel puțin o metodă formală de a-și exprima preferințele, iar Cloudflare speră că lansarea sub CC0 va accelera o adoptare mai largă în industrie.
Cloudflare introduce trei directive noi în robots.txt: search, ai-input și ai-train, și oferă implementare automată pentru mulți clienți; Google nu a confirmat respectarea lor; semnalele sunt utile dar insuficiente fără măsuri tehnice suplimentare precum firewall și bot management. Ce se schimbă concret pentru un site? Poate controla mai fin cum e folosit conținutul de către AI, dar nu are garanția că terții vor respecta acele preferințe.
Cloudflare pune la dispoziție un instrument tehnic pentru exprimarea preferințelor privind utilizarea conținutului în AI, însă adoptarea efectivă depinde de companii precum Google și de capacitatea editorilor de a combina semnalele cu măsuri tehnice de protecție. Crezi că ar trebui aplicate semnalele chiar dacă nu sunt obligatorii sau ar fi mai bine ca editorii să blocheze complet accesul pentru a evita riscurile?
Fii primul care comentează