Perplexity обвиняется в обходе ограничений при скрапинге веб-сайтов

Perplexity использует stealth crawling для обхода ограничений на веб-сайтах

Perplexity, сервис на основе ИИ, оказался в центре скандала из-за своего поведения при скрапинге веб-сайтов. Согласно отчету Cloudflare, Perplexity использует stealth crawling, чтобы обойти ограничения, установленные сайтами.

Скандал вокруг Perplexity

Perplexity's официальные боты - PerplexityBot и Perplexity-User. Однако, Cloudflare обнаружила, что Perplexity использует generic browser, чтобы имитировать Google Chrome на macOS и обойти robots.txt.

Как Perplexity обходит robots.txt

Использование не декларированных краулеров
Ротация IP-адресов вне официального диапазона
Смена Autonomous System Numbers (ASNs)

Cloudflare считает, что Perplexity делает это, чтобы получить доступ к актуальной информации с сайтов, что крайне важно для обучения моделей ИИ.

Последствия и реакция

Cloudflare удалила Perplexity's боты из списка verified bots и реализовала способ идентификации и блокировки stealth краулера Perplexity.

Что это означает для разработчиков и владельцев сайтов?

Это означает, что необходимо быть осторожным при использовании Perplexity и других сервисов, которые могут использовать подобные методы для доступа к контенту.

По данным источника, действия Perplexity вызвали обеспокоенность среди разработчиков и владельцев сайтов.