学了python爬虫还能干什么？

1、收集数据

Python爬虫程序可用于收集数据。这也是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单和快速。

由于99%以上的网站是基于模板开发的，使用模板可以快速生成大量布局相同、内容不同的页面。因此，只要为一个页面开发了爬虫程序，爬虫程序也可以对基于同一模板生成的不同页面进行爬取内容。

2、调研

比如要调研一家电商公司，想知道他们的商品销售情况。这家公司声称每月销售额达数亿元。如果你使用爬虫来抓取公司网站上所有产品的销售情况，那么你就可以计算出公司的实际总销售额。此外，如果你抓取所有的评论并对其进行分析，你还可以发现网站是否出现了刷单的情况。数据是不会说谎的，特别是海量的数据，人工造假总是会与自然产生的不同。过去，用大量的数据来收集数据是非常困难的，但是现在在爬虫的帮助下，许多欺骗行为会赤裸裸地暴露在阳光下。

3、刷流量和秒杀

刷流量是Python爬虫的自带的功能。当一个爬虫访问一个网站时，如果爬虫隐藏得很好，网站无法识别访问来自爬虫，那么它将被视为正常访问。结果，爬虫不小心刷了网站的流量。

除了刷流量外，还可以参与各种秒杀活动，包括但不限于在各种电商网站上抢商品，优惠券，抢机票和火车票。目前，网络上很多人专门使用爬虫来参与各种活动并从中赚钱。这种行为一般称为薅羊毛，这种人被称为羊毛党。不过使用爬虫来薅羊毛进行盈利的行为实际上游走在法律的灰色地带，大家不要尝试。

网络爬虫，又被称为网页蜘蛛、网络机器人，在FOAF社区中间，更经常地被称为网页追逐者。网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

简单粗暴地理解网络爬虫的话，就好比一只虫子在互联网上爬来爬去，把它“看”到的信息反馈给用户。我们平时使用的听歌软件，它大体上了解每个人的听歌喜好，“每日推荐”、“年度听歌报告”等都会推荐、整理和总结每个人偏好的类型、曲风、歌手等等。

还有一些团购平台，也会根据个人的喜好去推荐休闲娱乐的类型、地点等等，这就是利用网络爬虫的结果，网络爬虫根据用户平日的搜索类型，把所有与之相关的信息全部爬取过来，统统搬运到用户这里。这时候它就是一只“益虫”，是有益的“合法爬虫”。

说完听歌和团购，再来说说抢票。甭管飞机票火车票演唱会门票，相信大家十有八九都抢过。先拿演唱会门票来说，疫情之前，追星的少男少女们都好看看演唱会，演唱会里边属周杰伦的票最难抢，抢过票的都知道。

你要是抢到了，我敬你的网络爬虫爬得快。虽然这是句玩笑，可事实上，的确是有一些人或团体通过强行突破网站反爬措施，窃取后台数据，爬走了大量门票，让粉丝无路可走。

同理，一些针对飞机票、火车票的抢票软件，也是以此手段抓取航空公司官网或火车购票平台的信息，导致用户无法通过正常渠道购票。这个时候，网络爬虫就变成了“害虫”，也因此被定义为“恶意爬虫”。

不论是“合法爬虫”还是“恶意爬虫”，网络爬虫本质上就是数据的搬运工，无数据，不爬虫。因此，要研究爬虫，就要先明确数据来源。尤其是对小型公司来说，往往需要更多外部数据辅助商业决策。

俗话说，“君子爱财，取之有道”，失了“道”，那肯定就不够“君子”了。而对于网络爬虫来说，一旦它变得不再“君子”，它就成为了一只害虫。这时候，反爬虫就应运而生了。在搬运数据的过程中，爬虫与反爬虫永远处于一个此起彼伏、此消彼长的博弈状态。

随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式也变得更加广泛而多样，网络爬虫作为数据抓取的实践工具，构成了互联网开放和信息资源共享理念的基石。爬虫本身是无罪的，也并未违背法律和道德。

但程序在运行的过程中，有可能对他人经营的网站造成破坏，爬取的数据有可能涉及隐私或机密，数据本身也可能产生法律纠纷。在使用爬虫时，爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

通俗来讲，爬虫就是利用代码编写的程序或脚本，帮助你对互联网海量信息进行过滤、筛选，批量自动抓取网站中你想获取的信息，并对其进行整理排序。网络爬虫又被成为网络蜘蛛，如果将互联网比喻成一个蜘蛛网，那么这个程序或脚本，就是在网上爬来爬去的蜘蛛。归结为一句话就是进行互联网信息的自动化检索，其实就是获取数据的一种手段。目前常见的搜索引擎都离不开爬虫，举个例子，百度搜索引擎的爬虫叫做百度蜘蛛，百度蜘蛛每天会自动在海量的互联网信息中进行爬取，筛选出较为优质的信息进行收录，当你检索相关关键词时，会立刻将对应的信息按照一定的排序规则呈现在你的眼前。

网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。

我们所熟悉的一系列搜索引擎都是大型的网络爬虫，比如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序，比如360浏览器的爬虫称作360Spider，搜狗的爬虫叫做Sogouspider。

百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海量的互联网信息中爬取优质的信息，并进行收录。当用户通过百度检索关键词时，百度首先会对用户输入的关键词进行分析，然后从收录的网页中找出相关的网页，并按照排名规则对网页进行排序，最后将排序后的结果呈现给用户。在这个过程中百度蜘蛛起到了非常想关键的作用。

百度的工程师们为“百度蜘蛛”编写了相应的爬虫算法，通过应用这些算法使得“百度蜘蛛”可以实现相应搜索策略，比如筛除重复网页、筛选优质网页等等。应用不同的算法，爬虫的运行效率，以及爬取结果都会有所差异。

爬虫可分为三大类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫。

通用网络爬虫：是搜索引擎的重要组成部分，上面已经进行了介绍，这里就不再赘述。通用网络爬虫需要遵守robots协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。

robots协议：是一种“约定俗称”的协议，并不具备法律效力，它体现了互联网人的“契约精神”。行业从业者会自觉遵守该协议，因此它又被称为“君子协议”。

聚焦网络爬虫：是面向特定需求的一种网络爬虫程序。它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。聚焦网络爬虫极大地节省了硬件和网络资源，由于保存的页面数量少所以更新速度很快，这也很好地满足一些特定人群对特定领域信息的需求。

增量式网络爬虫：是指对已下载网页采取增量式更新，它是一种只爬取新产生的或者已经发生变化网页的爬虫程序，能够在一定程度上保证所爬取的页面是最新的页面。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，因此爬虫应运而生，它不仅能够被使用在搜索引擎领域，而且在大数据分析，以及商业领域都得到了大规模的应用。

1)数据分析

在数据分析领域，网络爬虫通常是搜集海量数据的必备工具。对于数据分析师而言，要进行数据分析，首先要有数据源，而学习爬虫，就可以获取更多的数据源。在采集过程中，数据分析师可以按照自己目的去采集更有价值的数据，而过滤掉那些无效的数据。

2)商业领域

对于企业而言，及时地获取市场动态、产品信息至关重要。企业可以通过第三方平台购买数据，比如贵阳大数据交易所、数据堂等，当然如果贵公司有一个爬虫工程师的话，就可通过爬虫的方式取得想要的信息。

爬虫是一把双刃剑，它给我们带来便利的同时，也给网络安全带来了隐患。有些不法分子利用爬虫在网络上非法搜集网民信息，或者利用爬虫恶意攻击他人网站，从而导致网站瘫痪的严重后果。关于爬虫的如何合法使用，推荐阅读《中华人民共和国网络安全法》。

为了限制爬虫带来的危险，大多数网站都有良好的反爬措施，并通过robotstxt协议做了进一步说明，下面是淘宝网robotstxt的内容：

从协议内容可以看出，淘宝网对不能被抓取的页面做了规定。因此大家在使用爬虫的时候，要自觉遵守robots协议，不要非法获取他人信息，或者做一些危害他人网站的事情。

首先您应该明确，不止Python这一种语言可以做爬虫，诸如PHP、Java、C/C++都可以用来写爬虫程序，但是相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比：

PHP：对多线程、异步支持不是很好，并发处理能力较弱；Java也经常用来写爬虫程序，但是Java语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高；C/C++运行效率虽然很高，但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。

而Python语言，其语法优美、代码简洁、开发效率高、支持多个爬虫模块，比如urllib、requests、Bs4等。Python的请求模块和解析模块丰富成熟，并且还提供了强大的Scrapy框架，让编写爬虫程序变得更为简单。因此使用Python编写爬虫程序是个非常不错的选择。

爬虫程序与其他程序不同，它的的思维逻辑一般都是相似的，所以无需我们在逻辑方面花费大量的时间。下面对Python编写爬虫程序的流程做简单地说明：

先由urllib模块的request方法打开URL得到网页HTML对象。

使用浏览器打开网页源代码分析网页结构以及元素节点。

通过BeautifulSoup或则正则表达式提取数据。

存储数据到本地磁盘或数据库。

当然也不局限于上述一种流程。编写爬虫程序，需要您具备较好的Python编程功底，这样在编写的过程中您才会得心应手。爬虫程序需要尽量伪装成人访问网站的样子，而非机器访问，否则就会被网站的反爬策略限制，甚至直接封杀IP，相关知识会在后续内容介绍。

开课吧广场-人才学习交流平台

　网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，如图1(a)流程图所示。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，如图1(b)所示。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

　　相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：

　　(1) 对抓取目标的描述或定义；

　　(2) 对网页或数据的分析与过滤；

　　(3) 对URL的搜索策略。

　　抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

Python是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。

Python爬虫架构组成:

1 URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器;

2 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器;

3 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

Python爬虫工作原理:

Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

爬虫可以做什么？

你可以用爬虫爬，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。

Python爬虫常用框架有：

grab：网络爬虫框架;

scrapy：网络爬虫框架，不支持Python3;

pyspider：一个强大的爬虫系统;

cola：一个分布式爬虫框架;

portia：基于Scrapy的可视化爬虫;

restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象。

demiurge：基于PyQuery的爬虫微框架。