Google a introdus în documentația de suport un nou user agent denumit Google-CWS, asociat Chrome Web Store și activat când utilizatorii declanșează anumite operațiuni de preluare a unor resurse. De la roboții tradiționali de indexare la instrumente care operează doar la cererea explicită a unei persoane, ecosistemul web s-a transformat, iar găzduirea extensiilor și temelor Chrome implică acum propriile mecanisme de solicitare a URL-urilor, uneori chiar pornind din metadatele publicate de dezvoltatori.
Concret, Google menționează că fetcher-ul Chrome Web Store accesează URL-urile pe care dezvoltatorii le includ în metadata extensiilor și temelor. Acest fetcher face parte din categoria numită user-triggered fetchers, adică procese de preluare inițiate de utilizator. Exemplele oferite ilustrează exact funcționarea: dacă un utilizator solicită o verificare de site prin Google Site Verifier sau dacă un site găzduit pe Google Cloud permite utilizatorilor să ceară extragerea unui feed RSS extern, aceste cereri pornesc de la utilizator. Din acest motiv, astfel de fetchere, în general, nu respectă regulile din robots.txt, deoarece acțiunea este declanșată de un utilizator, nu de un crawler automat care scanează internetul după bunul plac. Totuși, ele urmează proprietățile tehnice generale ale crawlers-ilor Google.
De ce e relevant pentru proprietarii de site-uri și administratori de servere? Dacă vedeți în log-urile de crawl un user agent numit Google-CWS, explicația este aceasta: provine din Chrome Web Store și solicită resursele specificate în metadatele extensiilor sau temelor. Aceasta poate clarifica cereri neașteptate către fișiere sau feeduri externe și ajută la diagnosticarea traficului care nu pare a proveni din crawling obișnuit.
Informațiile sunt preluate din documentația publică a Google și au fost relatate într-un material apărut pe Search Engine Land, publicație deținută de Semrush. Autorul articolului original este Barry Schwartz, tehnologist și editor colaborator la Search Engine Land, recunoscut în comunitatea SEO și implicat în organizarea unor evenimente din domeniu.
Google-CWS evidențiază cum funcționalitățile moderne ale browserelor și magazinelor de extensii pot genera trafic legitim, dar diferit de cel al roboților tradiționali. Observând în log-uri numele agentului sau solicitări către URL-urile listate în metadata extensiilor, veți identifica sursa. Care e impactul mai larg? Pe termen scurt, oferă claritate administratorilor; pe termen lung, constituie o piesă suplimentară în înțelegerea felului în care instrumentele declanșate de utilizatori influențează comportamentul serverelor și politicile de acces.
Google-CWS apare ca user agent pentru fetcher-ul Chrome Web Store, iar acest fetcher accesează URL-urile adăugate de dezvoltatori în metadata extensiilor și temelor. Aceste solicitări sunt declanșate de utilizatori și, de regulă, nu sunt supuse restricțiilor din robots.txt. Ați observat în log-urile voastre un user agent cu acest nume și doriți recomandări practice pentru gestionare? Care sunt cele mai frecvente URL-uri pe care le întâlniți în astfel de cereri?
Fii primul care comentează