Python爬虫获取数据犯法吗

没有的事，如果是这样的话，百度，谷歌这些搜索引擎公司也是犯法的了。他们也是爬取别人的网站，获取信息，给用户用的。其实搜索引擎就是一种爬虫。

如果网站本身不做鉴别，网站会认为爬虫和一般的浏览器的行为是一样的。

CSS ，全称叫作Cascading Style Sheets，即 层叠样式表 。“层叠”是指当在HTML中引用了数个样式文件，并且样式发生冲突时，浏览器能依据层叠顺序处理。“样式”指网页中文字大小、颜色、元素间距、排列等格式。HTML定义了网页的结构，但是只有HTML页面的布局并不美观，可能只是简单的节点元素的排列，为了 让网页看起来更好看一些 ，这里借助了CSS。CSS是 目前唯一的网页页面排版样式标准 ，有了它的帮助，页面才会变得更为美观。如下图的右侧，即为CSS。

就局部放大来看，下图所示就是一个CSS样式。 大括号前面 是一个CSS 选择器 ，此选择器的意思是 首先选中 id为head_wrapper且class为s-ps-islite的 节点 ，然后 再选中 其内部的class为s-p-top的 节点 。大括号内部写的就是一条条 样式规则 ，例如 position 指定了这个元素的布局方式为 绝对布局 ，bottom指定元素的 下边距 为40像素，width指定了 宽度 为100%占满父元素，height则指定了元素的 高度 。也就是说，我们将位置、宽度、高度等样式配置统一写成这样的形式，然后用大括号括起来，接着在开头再加上CSS选择器，这就代表 这个样式对CSS选择器选中的元素生效 ，元素就会根据此样式来展示了。在网页中，一般会统一定义整个网页的样式规则，并写入CSS文件中（其后缀为css）。在HTML中，只需要用link标签即可引入写好的CSS文件，这样整个页面就会变得美观、优雅。

在爬虫过程中都需要爬取目标的 节点 ，我们知道网页由一个个 节点 组成， CSS选择器会根据不同的节点 设置不同的样式规则， 那什么是节点 ？又 怎样来定位节点 呢？下面围绕这两个问题进行介绍。

在HTML中，所有 标签定义的内容都是节点 ，它们构成了一个HTML DOM树。我们先看下什么是DOM，DOM是W3C（万维网联盟）的标准，其英文全称Document Object Model，即 文档对象模型 。它定义了访问HTML和XML文档的标准：W3C文档对象模型（DOM）是中立于平台和语言的接口，它允许程序和脚本动态地访问和更新文档的内容、结构和样式。W3C DOM标准被分为如下3个不同的部分：

核心DOM ：针对任何结构化文档的标准模型。

XML DOM ：针对XML文档的标准模型。

HTML DOM ：针对HTML文档的标准模型。

根据W3C的HTML DOM标准，HTML文档中的所有内容都是节点。 整个文档 是一个文档节点； 每个HTML元素 是元素节点；HTML 元素内的文本 是文本节点；每个HTML 属性 是属性节点； 注释 是注释节点。HTML DOM将HTML文档视作树结构，这种结构被称为节点树，如下图所示。

节点树中的节点 彼此拥有层级关系 。我们常用父（parent）、子（child）和兄弟（sibling）等术语描述这些关系。父节点拥有子节点，同级的子节点被称为兄弟节点。在节点树中， 顶端节点称为根 （root）。除了根节点之外，每个 节点都有父节点 ，同时可拥有任意数量的子节点或兄弟节点。下图展示了节点树以及节点之间的关系。

在CSS中，我们使用 CSS选择器来定位节点 。例如，下图中div节点的id为container，那么就可以表示为#container，其中#开头代表选择id，其后紧跟id的名称。另外，如果我们想选择class为wrapper的节点，便可以使用wrapper，这里以点（）开头代表选择class，其后紧跟class的名称。另外，还有一种选择方式，那就是 根据标签名筛选 ，例如想选择二级标题，直接用h2即可。这是最常用的3种表示，分别是 根据id、class、标签名筛选 ，请牢记它们的写法。

另外，CSS选择器还支持 嵌套选择 ，各个选择器之间加上空格分隔开便可以代表嵌套关系，如#container wrapper p则代表先选择id为container的节点，然后选中其内部的class为wrapper的节点，然后再进一步选中其内部的p节点。另外，如果不加空格，则代表并列关系，如div#container wrapper ptext代表先选择id为container的div节点，然后选中其内部的class为wrapper的节点，再进一步选中其内部的class为text的p节点。这就是CSS选择器，其筛选功能还是非常强大的。另外，CSS选择器还有一些其他语法规则，具体如下表所示。

但是，这样每次都要浪费部分时间去寻找定位点，这样既不很方便，也不高效，那么如何提高爬虫中这部分工作的效率呢？今天我给大家分享一个爬虫的利器，它就是：SelectorGadget 插件。

point and click CSS selectors，强大的谷歌插件 CSS生成器 ，有助于我们快速找到html的节点信息，它也支持Xpath表达式。Selector Gadget是一个开源的Chrome扩展程序，可以轻松地在复杂的网站上生成和选择CSS选择器。安装扩展程序后，转到任意页面并启动它。网站右下方会打开一个方框。 单击您希望选择器匹配的页面元素（它将变为绿色）。然后SelectorGadget将为该元素生成一个最小的CSS选择器，并突出显示（**）选择器匹配的所有内容。现在单击突出显示的元素将其从选择器中删除（红色），或单击未突出显示的元素将其添加到选择器。 通过这个选择和拒绝过程，SelectorGadget可以帮助您找到满足您需求的完美CSS选择器。

首先需要安装一下这个神器。在谷歌浏览器中的应用商店里，搜索到SelectorGadget插件，点击“添加至Chrome”即可。如果不能打开Chrome应用商店，可以通过网上的其他途径获取该插件，之后再手动添加至谷歌浏览器即可。手动添加方法是：打开谷歌浏览器扩展程序，并开启开发者模式，将该插件拖拽到浏览器里，如果不成功，可以选择“加载已解压的扩展程序”，将该文件夹先压缩再解压添加进去。

同时在页面栏上能看到红框处的SelectorGadget标志。

咱们以 >

这里以python为例，简单介绍一下如何通过python网络爬虫获取网站数据，主要分为静态网页数据的爬取和动态网页数据的爬取，实验环境win10+python36+pycharm50，主要内容如下：

静态网页数据

这里的数据都嵌套在网页源码中，所以直接requests网页源码进行解析就行，下面我简单介绍一下，这里以爬取糗事百科上的数据为例：

1首先，打开原网页，如下，这里假设要爬取的字段包括昵称、内容、好笑数和评论数：

接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中：

2然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合，其中requests用于获取网页源码，BeautifulSoup用于解析网页提取数据：

点击运行这个程序，效果如下，已经成功爬取了到我们需要的数据：

动态网页数据

这里的数据都没有在网页源码中（所以直接请求页面是获取不到任何数据的），大部分情况下都是存储在一个json文件中，只有在网页更新的时候，才会加载数据，下面我简单介绍一下这种方式，这里以爬取人人贷上面的数据为例：

1首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：

接着按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬取的数据：

2然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试代码如下，也非常简单，主要用到requests+json组合，其中requests用于请求json文件，json用于解析json文件提取数据：

点击运行这个程序，效果如下，已经成功爬取到我们需要的数据：

至此，我们就完成了利用python网络爬虫来获取网站数据。总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架（scrapy等），可以快速获取网站数据，非常适合初学者学习和掌握，只要你有一定的爬虫基础，熟悉一下上面的流程和代码，很快就能掌握的，当然，你也可以使用现成的爬虫软件，像八爪鱼、后羿等也都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

以上就是关于Python爬虫获取数据犯法吗全部的内容，包括:Python爬虫获取数据犯法吗、R爬虫必备基础——CSS+SelectorGadget、如何通过网络爬虫获取网站数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！