В конце 2019 года, Апелляционный суд США отклонил ходатайство LinkedIn, которое заключалось в том, чтобы компания HiQ, занимающаяся веб-скрапингом, прекратила выгружать данные с их сайта. Это решение стало историческим моментом в эпоху конфиденциальности и регулирования данных. Этот случай показал, что любые данные, которые находятся в открытом доступе и не защищены авторскими правами, могут быть использованы в том числе для веб-скрапинга. Cуд принял решение, что веб-скрапинг сайтов, с публично доступной информацией не противоречит закону CFAA (Computer Fraud and Abuse Act).

Это действительно важное решение. Суд не только легализовал эту практику, но запретил мешать конкурентам выгружать информацию с вашего сайта в автоматическом режиме, если сайт является общедоступным. Суд подтвердил понятную логику, что бот-скрапер юридически не отличается от просмотра страницы через браузер. В обоих случаях «пользователь» запрашивает открытые данные.

Несмотря на то, что выгрузка данных, находящихся в открытом доступе вполне законна, существуют некоторые ограничения. К примеру, веб-скрапер может искать видео на YouTube по названиям и ключевым словам и скачать его, но заливать видео куда-либо запрещено, так как оно защищено авторскими правами.

Несмотря на то, что сегодня у компаний мало шансов найти законное средство против веб-скрапинга, они все еще могут ограничить их другими способами.
Например, сайты могут использовать такие методы, как регулирование скорости, чтобы предотвратить загрузку слишком большого количества веб-страниц одновременно.
Сайты также могут использовать капчу, чтобы проверить, запрашивает ли человек или веб-искатель страницу.
Эти методы обычно используются для предотвращения вредоносных ботов, которые перегружают сайт, вызывая его сбой. Но эти методы могут стать более широко используемыми в попытке сделать web-scraping менее рентабельным для компаний, выполняющих его.

В России всё ещё считается нормой и широко распространена защита сайтов от различных видов ботов, в том числе и ботов для веб-скрапинга, даже в том случае, если компании не принадлежат права на опубликованные данные. Однако, данная тема ранее никогда не была рассмотрена в рамках судебного процесса.