1 网络爬虫是什么

网络爬虫(英语:web crawler)，也叫网络蜘蛛(spider)，是一种可以自动化访问并收集目标计算机信息系统数据的程序，设计初衷是通过计算机技术手段自动为网站编纂索引，并不断更新信息。网络爬虫可以按照一定的规则快速获取到想要的信息。因为网络爬虫可以高效地实现信息的读取、储存等工作，在搜索引擎应用之外,也往往被用于访问特定网站，依照开发者设计的规则读取、保存特定信息。

2 网络爬虫的分类

网络爬虫种类繁多，一般来说，可以以部署环境、使用场景对爬虫进行分类。

(1)从部署环境来看，一般将网络爬虫分为服务器爬虫和客户端爬虫两个类型。两者的区别好比制式相同却采用不同口径弹药的自动步枪，实际功能基本一致,但是服务器爬虫可以通过借助服务器端更具优势的计算机信息系统资源——多线程和更大的带宽,在同一时间内访问更多的信息资源。

(2)从使用场景来看,一般将网络爬虫分为通用爬虫、聚焦爬虫两种类型。通用网络爬虫，又称为全站爬虫，它的主要功能是从互联网中搜集网页、采集信息,并下载到本地，形成一个互联网资源的备份镜像。这些备份镜像可以用于为搜索引擎建立索引提供支持,而备份镜像文件的数据量决定着整个引擎系统的可用性，包括信息更新是否及时、涵盖内容是否丰富等，而这正是搜索引擎系统(Baidu、Google、Bing等)的基础。

3 网络爬虫的方式

现如今，有两种实现爬虫的主流方式。

(1)一种是使用已有的爬虫采集器进行爬虫。这种采集器可以解析较为复杂的网页结构类型，大部分人使用采集器便可以基本满足自己采集数据的需求。使用此类软件基本无需任何编程基础，全部都是“傻瓜式”操作，点击几下就可以实现抓取网页中的文本、图片等网页信息，十分适合新手操作。但是其缺点也非常明显，其灵活性较低，并且爬取网页的速度相对较慢，时间成本较高。

(2)第二种是采用编程语言的方式，编写爬虫脚本，进行爬虫。该方法很好的解决了爬虫软件中的灵活性低的问题，可以更加个性化的爬取到任意自己想要得到的信息。本文中主要是使用Python软件实现脚本的编写。在Python中，实现网络爬虫的大致步骤可以分成三大部分，分别为抓取、分析、存储。首先分析要爬取网站的网址(URL)以及需要爬取的网页大致结构，借助Requests库或者Selenium库对网页发起请求，爬取特定的数据。然后再对每一个详情页URL发起请求，爬取得到全部的文本信息并进行持久化存储。最终得到的数据包括有新闻的标题、发布时间、新闻正文文本信息。

以上是关于网络爬虫的定义及其相关知识的分享，获取更多信息请关注三个皮匠报告的行业知识栏目

推荐阅读：

网络保护是什么？网络保护技术有哪些？

什么是网络安全？包括哪些？重要性与意义分析

超网络是什么？一文读懂超网络

赛迪译从：全球灯塔网络(2022).pdf(附下载)