IDstory /Näringsliv/

Hur Google i det tysta begränsar Internet för egen vinning

Originalꜜ. Author infoꜜ // Kommentarer (0)ꜜ

The long tail lockdown: how Google is quietly fencing off the internet for itself

I åratal har jag förklarat att mycket av internets rikedom ligger i dess long tail, de miljontals små, specialiserade sidor som uppdateras av gemenskaper och författare som inte syns i rankingar men som upprätthåller webbens informationsmångfald. Mer än 90 % av alla sökningar och nyckelord rör just denna long tail, vilket gör hela periferin till den verkliga bindväven på webben.

Idag stängs dock detta råmaterial för träning och grounding av generativa modeller. Google har nu genomfört en subtil men mycket betydelsefull förändring: förra månaden tog man tyst bort sökparametern som gjorde det möjligt att visa 100 resultat på söksidan (Search Engine Results Page, eller SERP), och maxantalet är nu standardmässigt tio. Delen av förklaringen ska vara att skydda mot missbruk, men det är snarare en enkel låsning. Och därmed förhindrar Google att tredje parts algoritmer får tillgång till long tail och snedvrider i praktiken marknaden för LLM.

En av 28 artiklar i BiBB Näringsliv

Det första problemet är att LLM-crawlers oftast använder Googles sökresultat utöver sina egna. Det betyder att Google nu har tagit bort 90 % av de resultat som dessa LLM förlitat sig på. Detta är i grunden slutet för möjligheten att välja bort AI på infrastrukturnivå. Sedan 1 juli 2025 blockerar Cloudflare, som hanterar omkring 20 % av webben, AI-crawlers som standard om man inte uttryckligen ger tillstånd, och har till och med infört betaltillgång för crawlning. Det påstås skydda skapare, men skapar också ett systemhinder: om man inte förhandlar får man inte träna. Data från Cloudflare och Fastly visar också att det mesta av crawlningen handlar om träning, inte om att driva trafik tillbaka till publicister. Resultatet blir minskad åtkomst och färre incitament att öppna upp.

Det andra problemet är kaoset bland bots som ignorerar regler, vilket har fått många sajter att ta till ”bredpenseltaktik”. Efter utredningar där man upptäckte att Perplexity maskerade sina user agents och kringgick robots.txt och WAF, har publicister och leverantörer reagerat logiskt med mer effektiv blockering. Denna uppstramning stryper urskillningslöst åtkomst för LLM, men straffar extra hårt dem som inte kontrollerar sökkanalen eller har massiva licensavtal.

Tredje problemet gäller Googles egna signaler: Google-Extended ger publicister möjlighet att blockera användning av sitt innehåll för Gemini utan att det påverkar ranking, men Google behåller andra användarvägar knutna till Sök, som AI Overviews, utanför den kontrollen. För många är enda praktiska skyddet att stänga av allt som liknar AI. Vem skadar det? LLM som inte kommer från Google. Vem skadar det minst? De som redan indexerar hela webben och kan fortsätta få tillgång via sin Googlebot för ”sökändamål”. Den ofullständiga separationen mellan ”sökindex” och ”data för AI” driver fram blokader som i slutändan drabbar konkurrenterna hårdast.

Sedan tillkommer frågan om exklusiva avtal. När öppen tillgång blir allt svårare säkrar Google utvalda premiummikros: till exempel avtalet med Reddit värt 60 miljoner dollar per år för realtidsdata, samtidigt som man diskuterar med stora mediebolag om att licensiera arkiv. Det är inget principiellt fel med licensiering, men om webbkontroller samtidigt driver på för att stänga utbudet är följden tydlig: värdefulla data privatiseras och koncentreras hos dem som redan dominerar distributionen. Denna asymmetri är exakt det som redan för decennier sedan lyftes fram som ”plattformsmakt” och ett typexempel på rovgirig konkurrens och flagrant brott mot konkurrenslagstiftning.

Varifrån kommer siffran 90 %? Det är ingen magisk siffra eller officiell revision, men den är robust: den absoluta majoriteten av termer och sökningar rör long tail. Om infrastrukturen blockerar AI-crawlers, om publicister skyddar robots.txt och WAF av leda mot missbruk, och om Google erbjuder en partiell opt-out som i praktiken tvingar dig att ”stänga för alla” för att förhindra att deras AI använder ditt innehåll, leder det till att tredjeparts-LLM förlorar åtkomsten till majoriteten (kring 90 %) av små, specialiserade sidor som inte har möjlighet att skriva licensavtal. Det är en faktisk reducering av long tail för tredje part, medan den som redan dominerar sök behåller övertaget tack vare sin position och sina avtal.

Är detta konkurrenshämmande? Konkurrenslagstiftning ser till tre faktorer: dominerande position, utestängande eller hävstångsbeteende och effekter. Google är i praktiken grindvakt för webtrafik: om de utformar signaler och policyer som i kombination med crawling och selektiva avtal lämnar AI-konkurrenter utan det centrala råmaterialet (long tail) talar vi om en möjlig indata-blockad, mycket likt andra digitala monopol. Det faktum att Frankrike bötfällt Google för AI-träning på pressinnehåll utan tillstånd, eller att söktjänsten självt inte tydligt skiljer på vad som används för Sök och Gemini, undanröjer inte misstanken. Det är perfekt mark för granskning av konkurrensmyndigheter och EU:s DMA.

Vad kan då göras för att inte strypa informationsmångfald och innovation? Först: en tydlig teknisk och juridisk åtskillnad mellan sökindexering och användning för AGI. Om man vill använda innehåll för träning eller grounding, ska det krävas begäran och förhandling – inte blandas ihop med rankningssignaler som i praktiken är omöjliga att tacka nej till utan att begå ”SEOcid”. För det andra: åtagande om icke-diskriminering mot AI-crawlers som sköter sig – med oberoende kontroll. För det tredje: krav på transparens – vem får åtkomst, till vilket syfte och vad återförs i trafik eller ersättning. Och för det fjärde: någon form av ”common carrier”-modell för öppen data med kompatibla licenser, som skyddar long tail. Annars blir long tail en privat klubb: tillgänglig för den med sökmotorn och pengarna, men osynlig för alla andra – det vill säga konkurrenshämmande.

Man behöver inte tro på konspirationsteorier för att förstå vad som händer: det räcker att följa produkt- och policybesluten från dem som har makten över plattformen. Om vi låter tillgången till long tail stängas per design blir framtiden för LLM mindre diversifierad, mer beroende av bilaterala avtal och självklart mer gynnsam för dem som redan kontrollerar porten – och det borde i sig räcka för att väcka granskning.

References

The long tail lockdown: how Google is quietly fencing off the internet for itself, Enrique Dans (2025.10.) | Medium.com
Enrique Dans, homepage in Spanish
Artikeln är publicerad med tillstånd enligt Creative Commons av skribenten
About BiBB, an encyclopedia 4.0 and media company

Author

Enrique Dans, Professor of Innovation, IE Business School in Spain

IE Business School Wikipedia, 41 referenser

Kommentarer

Din kommentar // Namn, titel (2025....)

Enrique Dans: 2025.10. Publicerades i BiBB: 2025.10.

SMS:a en kommentar
genom att klicka här [ öppnar din app ] SMS:a en kommentar till 076 034 32 20 eller mejla.

Kategorier 20 Näringsliv 28 (T) AI och samhällsförändring 14

Förslag till förbättringar av BiBB är välkomna

You know a lot, we may add a little^®