一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具

电脑系统网 9 月 26 网络服务提供商日新闻 Cloudflare 本周推出了一系列预防措施 AI 爬虫工具，包括可查看的工具 AI 爬虫的具体活动 AI Audit 并且一键屏蔽一切 AI 爬虫的 Block AI Scrapers and Crawlers。站长可以部署相关服务，防止他们的网站内容用于培训 AI 机器人爬虫扒取。

计算机系统网络注：爬虫是一种可以在互联网上搜索和获取信息的自动化程序。目前，许多制造商使用相关的爬虫来选择主要的网站信息进行培训 AI 模型、相关爬虫容易导致网站产生大量异常流量，因此网站管理员需要支付高昂的网络带宽成本，但也容易导致大量的原创网站 / 泄露隐私内容。

Cloudflare 引入的相关工具主要使用签名对比、启发算法、机器学习和行为分析技术来识别爬虫，用户可以查看 AI 各种爬虫行为，包括爬虫类型、访问频率和扫描内容，站长也可以根据需要放行“善意” AI 机器人抓取信息(这种“善意” AI 机器人主要寻找网站 robots.txt 为了获取信息，通常不会对网站本身产生异常流量，也不会直接将网页的所有数据用于整体培训模型)。

如果你不确定如何处理这些问题 AI 站长也可以使用爬虫 Block AI Scrapers and Crawlers 功能，一键屏蔽一切 AI 爬虫。

互联网是许多大语言模型(如 OpenAI 的 GPT 模型和谷歌 Bard）它提供了大部分的培训数据，现在许多制造商为了刷自己的 AI 模型分数，肆意通过网络爬虫“拿来式”获取培训数据，使应该“污名化”的行为，主要网络提供商直接推出这种禁止 AI 出乎意料的是，爬虫的服务。

广告声明：文本中包含的外部跳转链接（包括不限于超链接、二维码、密码等形式）用于传递更多信息，节省选择时间。结果仅供参考。计算机系统网络上的所有文章都包含了本声明。