Cloudflare süüdistab Perplexityt keelatud saitide kraapimises

Internetiinfrastruktuuri ettevõte Cloudflare avaldas esmaspäeval uuringu, milles väidab, et tehisintellekti idufirma Perplexity roomab ja kraabib sisu saitidelt, mis on selgelt märkinud, et nad ei soovi kraapimist. Cloudflare’i teadlaste sõnul ignoreerib Perplexity blokeeringuid ja varjab roomamist, muutes kasutajaagenti ning autonoomsete süsteemide võrgu numbreid, et mööda minna saitide eelistustest.

Tehisintellekti tooted vajavad suuri internetist kogutud andmemahte ning idufirmad on pikka aega kraapinud teksti, pilte ja videoid sageli loata. Viimasel ajal on saidid püüdnud vastu seista veebistandardi robotite.txt failiga, mis ütleb otsingumootoritele ja tehisintellekti ettevõtetele, milliseid lehti indekseerida tohib. Cloudflare väidab, et Perplexity möödub nendest piirangutest teadlikult. Tegevust täheldati kümnetel tuhandetel domeenidel ja miljonitel päringutel päevas; roomajat tuvastati masinõppe ja võrgusignaalide kombinatsiooniga.

Perplexity pressiesindaja Jesse Dwyer nimetas Cloudflare’i postitust müügiargumendiks ja kirjutas TechCrunchile, et ekraanipildid näitavad, et sisule ei pääsetud ligi. Järelkirjas väitis ta, et nimetatud robot ei kuulu neile. Cloudflare märkas käitumist pärast klientide kaebusi, et Perplexity kraabib saite ka pärast robotite.txt reegleid ja teadaolevate robotite blokeerimist. Testid kinnitasid möödahiilimist: lisaks deklareeritud kasutajaagendile kasutatakse üldist brauserit, mis jäljendab Google Chrome’i macOS-il, kui deklareeritud roomaja on blokeeritud. Cloudflare eemaldas Perplexity robotid kinnitatud nimekirjast ja lisas uusi blokeerimisvõtteid.

Cloudflare on võtnud avaliku hoiaku tehisintellekti roomajate vastu. Eelmisel kuul avas ettevõte turuplatsi, millel saidiomanikud saavad tehisintellekti kraapijatelt tasu küsida. Tegevjuht Matthew Prince hoiatas, et tehisintellekt murrab interneti, eriti kirjastajate ärimudelit. Möödunud aastal käivitas Cloudflare tasuta tööriista, mis takistab roboteid treeningandmete kraapimisel. See ei ole esimene kord, kui Perplexityt süüdistatakse loata kraapimises. Möödunud aastal väitsid väljaanded nagu Wired, et Perplexity plagieerib nende sisu. Nädalate pärast ei suutnud tegevjuht Aravind Srinivas Disrupt 2024 konverentsil TechCrunchi intervjuus kohe anda ettevõtte plagieerimise definitsiooni.

Loe täispikka artiklit: Perplexity Accused of Scraping Websites That Explicitly Blocked Ai Scraping

Leave a Comment