AI-agenter besöker sajterna. På Cloudflare går de nu att se och styra.

En personlig AI-assistent som ska hitta en elektriker, jämföra tre webbutiker eller boka ett bord gör det genom att själv besöka sajterna och agera där åt den som frågade. För sajtägaren har den trafiken hittills sett ut som vilken automatiserad trafik som helst, och då är det svårt att veta om den hjälper eller skadar affären.

Tre besked de senaste veckorna rör hur sajter kan hantera AI.

Cloudflare gör AI-assistenterna synliga

Den 4 november lade Cloudflare till en ny kategori i trafikanalysen för sajter på Cloudflare, Personal Assistants. Den står bredvid de kategorier som redan fanns för verifierade robotar, troliga människor och automatiserad trafik. Väljer man den syns bara trafiken från AI-assistenter, och en egen ruta visar vilka assistenter som besöker sajten och hur många förfrågningar var och en gör.

Samtidigt bytte inställningen för AI-trafik namn till AI Crawler and Agent access policies. Där går det nu att sätta en regel för assistenter i stort och sedan en egen regel för varje assistent som Cloudflare stöder. Valen är tre:

• Allow, assistenten släpps in som vanligt.
• Block on pages with ads, assistenten stängs ute från sidor som lever på annonser.
• Block, assistenten stängs ute helt.

Reglerna för sökrobotar och för AI-träning är oförändrade. Sajter som redan skyddar sina användarkonton med Cloudflares Account Abuse Protection, som ännu är i early access, får dessutom se om en inloggning eller registrering gjordes av en assistent och i så fall vilken. Där kan ett enskilt konto stoppas utan att assistenten stängs ute för alla andra som använder den.

Varför blockering kan sluta fungera

Dagen efter, den 5 november, publicerade Cloudflare ett längre resonemang om hur assistenter ska kunna visa vem de är och för vems räkning de handlar. Samtidigt presenterade Cloudflare Trusted Agent Delegation, en koalition som vid behov vill föra mer väldefinierade problem vidare till IETF, organisationen som tar fram internets standarder. Cloudflares föredragna metod är Web Bot Auth, där en assistent signerar sina anrop så att sajten kan veta vilken assistent det är.

Kärnan i resonemanget är en mening: att blockera mellanhänder och be användaren stänga av dem har fungerat hittills, men ”det slutar fungera när majoriteten av trafiken kommer från agenter”. Cloudflare skriver att agenttrafiken växer snabbt och kan bli större än vanligt surfande inom en snar framtid.

Google vill ha en gemensam rad för AI-träning

Den 30 oktober skrev John Mueller på Google Search Central att Google planerar att stödja en gemensam kontroll för AI-träning i robots.txt. Den bygger på arbetet i IETF:s grupp AIPREF, och tanken är att en sajtägare ska kunna säga nej till träning hos flera AI-bolag i ett enda steg.

Två detaljer är viktiga:

• Säger en sajt nej till träning med den gemensamma kontrollen och nämner inte Google-Extended, räknar Google det som att Google-Extended är avstängt.
• Sajter som uttryckligen tillåter Google-Extended kan visas i svaren i Gemini och få klick därifrån.

Google siktar på 2027. Till dess gäller de bolagsvisa reglerna som i dag.

Vad det betyder för er

Frågan har gått från ”ska vi stänga ute AI” till tre frågor som hör ihop:

• Vill ni synas när en assistent letar åt en kund? Då ska assistenten släppas in på de sidor som säljer, och innehållet ska gå att läsa utan att den behöver klicka sig förbi menyer och popuper.
• Vill ni vara träningsdata? Det är ett separat val, och Google planerar att stödja en gemensam rad för det i robots.txt. Ett nej till träning får inte av misstag bli ett nej till att synas i svaren.
• Vem loggar in hos er? Har ni konton, bokning eller kassa behöver ni kunna skilja en assistent som handlar åt en riktig kund från en som missbrukar ett konto.

Ett bra första steg är att läsa er egen robots.txt och se vad den säger i dag.

Så gör vi

Vår egen sajt ligger på Cloudflare, och vi följer de här reglerna på nära håll. Målet för en sajt vi bygger är att den syns i AI-svaren där det ger affärer och är stängd där det inte gör det. Vill ni att vi tittar på hur er sajt hanterar AI-trafik i dag, boka en gratis analys.

Källor

• Cloudflare, 4 november 2026: synlighet och regler för AI-assistenter
• Cloudflare, 5 november 2026: Trusted Agent Delegation
• Google Search Central, 30 oktober 2026: gemensam kontroll för AI-träning