网页抓取工具 – 防止网站数据被抓取和撕开

概述我正在研究构建一个可能有数千个不同条目的内容网站,可以通过索引和搜索进行访问. 我可以采取什么措施来防止恶意抓取工具从我的网站上窃取所有数据？我不太在意SEO,虽然我不想阻止合法的抓取工具. 例如,我想到随机更改用于显示我的数据的HTML结构的小部分,但是我猜这不会真的有效. 人眼可见的任何网站在理论上都是潜在的.如果您甚至尝试访问,那么根据定义,这一定是必须的(如果浏览器如果不是机器可读的话,其 我正在研究构建一个可能有数千个不同条目的内容网站,可以通过索引和搜索进行访问.

我可以采取什么措施来防止恶意抓取工具从我的网站上窃取所有数据？我不太在意SEO,虽然我不想阻止合法的抓取工具.

例如,我想到随机更改用于显示我的数据的HTML结构的小部分,但是我猜这不会真的有效.

解决方法 人眼可见的任何网站在理论上都是潜在的.如果您甚至尝试访问,那么根据定义,这一定是必须的(如果浏览器如果不是机器可读的话,其他内容将如何传递).

你最好的方法是查看你的内容的水印,所以至少如果它被撕开,你可以指向水印和声明所有权.

总结

以上是内存溢出为你收集整理的网页抓取工具 – 防止网站数据被抓取和撕开全部内容，希望文章能够帮你解决网页抓取工具 – 防止网站数据被抓取和撕开所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。