De la primii roboți de căutare care indexau site-urile în ritm de melc până la disputa contemporană despre cine are dreptul să „mănânce” internetul, Cloudflare a declarat la evenimentul WIRED Big Interview că, începând cu 1 iulie, a blocat 416 miliarde de cereri provenite de la roboți AI pentru clienții săi, iar CEO-ul Matthew Prince a folosit această cifră pentru a sublinia avantajul uriaș pe care Google îl are în accesul la paginile web. Generative AI consumă cantități imense de conținut online, mulți editori neavând mecanisme eficiente ca să se opună, iar datele Cloudflare pun în lumină atât agresivitatea cu care botii scanează webul, cât și accesul inegal pe care îl au marile companii de AI la materialul publicat.
Cloudflare afirmă că, din 1 iulie, a pus la dispoziția clienților un sistem automat de blocare a crawlerelor AI, parte din inițiativa pay-per-crawl, și că de atunci a oprit 416 miliarde de cereri. Analiza firmei arată că Google vede de 3, 2 ori mai multe pagini decât OpenAI, de 4, 6 ori mai multe decât Microsoft și de 4, 8 ori mai multe decât Anthropic sau Meta. Prince evidențiază că acest nivel de acces îi conferă Google un avantaj privilegiat în construirea modelelor AI.
Problema pentru editori este simplă și neplăcută: dacă blochezi accesul AI pentru antrenament, riști să dispari din rezultatele Google; dacă lași Googlebot să-ți indexeze site-ul, accepți că acel acces poate fi folosit la antrenarea modelelor. Matthew Prince spune că, în practică, nu poți renunța la unul fără a renunța la celălalt, astfel încât publisherii sunt prinși între două compromisuri. Pentru platforme precum Cloudflare, miză este prevenirea unei concentrări excesive a puterii, menținerea webului deschis și sprijinirea creatorilor și firmelor în această tranziție.
Unele publicații care au început să blocheze crawlerii AI raportează deja rezultate promițătoare, potrivit lui Prince. El estimează că, pe măsură ce modelele AI vor căuta date de calitate superioară, valoarea creației umane originale va crește, ceea ce ar putea deschide calea spre licențiere plătită a conținutului. Pe termen scurt, Cloudflare presează marile companii de AI, în special Google, să diferențieze crawlerele folosite pentru căutare de cele folosite pentru antrenarea modelelor, pentru a evita un avantaj dublu obținut dintr-un singur acces la web. Prince a afirmat că Google este principala firmă care frânează progresul pe internet și că, până când nu va accepta reguli comune sau nu va fi constrânsă să-și separe activitățile de crawling, va fi greu să protejăm complet conținutul publicat.
Articolul inițial despre blocarea celor 416 miliarde de cereri a fost publicat pe Search Engine Land și este semnat de Danny Goodwin, editorial director la aceeași publicație, cu experiență în jurnalism de marketing și search din 2007 până în prezent. Goodwin organizează și programe pentru conferințele SMX și a editat mai multe publicații de profil înainte de a se alătura Search Engine Land în 2022.
Cloudflare raportează 416 miliarde de cereri blocate de roboți AI. Această cifră readuce în discuție relația dintre indexarea pentru căutare și colectarea de date pentru antrenarea modelelor AI, de la beneficii concrete, precum audiența și veniturile editorilor, până la posibilitatea unor scheme de licențiere plătită. Separarea crawlerelor Google, ratele comparative de 3, 2x și 4, 8x și inițiativa pay-per-crawl sunt elemente tangibile care pot schimba când și cum este folosit conținutul. Credeți că soluția potrivită este legislația, acorduri între companii sau instrumente tehnice precum cele oferite de Cloudflare?
Fii primul care comentează