Fondacija Wikimedia, koja stoji iza Wikipedia i Wikimedia Commons platformi, objavila je da je od januara 2024. zabilježen rast bandwidth-a od 50% – ali ne zbog ljudskih čitalaca. Glavni razlog za ovaj porast su AI crawler-i, odnosno automatski botovi koji masovno preuzimaju slike, video snimke, članke i druge podatke radi treniranja generativnih AI modela.
Botovi usporavaju Wikipedia stranice i povećavaju troškove
Wikimedia upozorava da nagli rast saobraćaja od strane botova može usporiti pristup stranicama, naročito tokom važnih događaja. Na primjer, kada je Jimmy Carter preminuo u decembru, video sa njegove predsjedničke debate s Ronaldom Reaganom izazvao je interesovanje korisnika – ali se istovremeno osjetilo usporenje, ne zbog ljudi, već zbog prekomjernog bot saobraćaja.
Za razliku od ljudi koji traže slične i aktuelne teme, AI botovi pristupaju velikom broju zaboravljenih i rijetko posjećenih stranica, koje se moraju učitati iz glavnog data centra, što povećava troškove i opterećenje infrastrukture.
Wikimedia navodi da 65% ukupnog opterećenja dolazi upravo od botova, što konstantno remeti rad tima za pouzdanost sajta, koji mora blokirati crawlere kako bi sajt ostao brz i dostupan za prave korisnike.
Pored tehničkih problema, Wikimedia ističe i nedostatak atribucije – većina AI sistema koristi sadržaj bez jasnog navođenja izvora, što umanjuje vidljivost Wikipedia zajednice i smanjuje broj novih korisnika i donatora.
„Naš sadržaj je besplatan, ali naša infrastruktura nije,“ poručuju iz fondacije.
Zbog toga Wikimedia sada radi na razvoju održivog modela pristupa za programere i reuse zajednice, jer rast AI saobraćaja ne pokazuje znake usporavanja.
