现今是一个数据爆炸的时代，“互联网＋”的兴起打破了数据信息的壁垒，互联网大数据的价值体现也就更加广泛和多样化．基于此，本文将互联网大数据作为数据采集的来源．互联网大数据的特点是，大量信息以网页作为载体，网页成了一个很重要的数据来源．面对“互联网＋”这样一个信息海洋，获得有效数据是极其劳神费力、制约效率的事情．网络爬虫因此应运而生．网络爬虫在本质上就是一种计算机程序代码，因其功能上像在网页中反复爬取信息的虫子而得名，又被形象地称为spider，webrawler等．网络爬虫的应用源自20世纪90年代的Google、Baidu等搜索引擎．在系统架构上，网络爬虫位于搜索引擎的后台，并未直接与网民接触，因此在较长的时间内并未被研发人员所关注，相应的技术研究也很有限．在中国知网数据库中检索“网络爬虫”关键词，按照年度统计相关文献数量后可以得到从2002年至今国内网络爬虫技术研究和应用的变化趋势．2004年以前该技术和应用的关注度几乎为0；2005年以来人们对网络爬虫技术的关注度快速上升；2020_2021年度有所下降．按照所属学科统计相关文献数量后，得到对网络爬虫技术及应用的关注度排名靠前的领域依次是计算机软件及计算机应用、互联网技术、自动化技术、贸易经济、企业经济、新闻与传媒等．前两个领域主要关注网络爬虫技术研究，后面的学科领域则是主要的网络爬虫应用领域，说明爬虫技术的应用领域很广泛．

网络爬虫理论基础 网络爬虫的主要功能是下载并提取网页数据， 从而为数据处理提供重要的数据支撑． 网页数据中 除了包含数据、文字、视频、图片等信息外，还包含 一些超链接信息． 网络爬虫正是通过这些超链接信 息不断访问新的网页，获得相应的网页数据． 也因 为这种数据采集过程像一条虫子在网络中反复爬 取网页，所以它才被称为网络爬虫． 网络爬虫一般 按“发送请求 － 接收响应 － 解析网页 － 储存数据” 的流程来进行，这也是模拟了浏览器获 取网页信息的使用过程：

首先网络爬虫给一个确定的 网址发送请求，浏览器接收响应返回整个网页的数 据． 这个过程类似于在浏览器中键入网址并回车， 然后可以看到该网站的页面信息． 解析网页即为从 整个网页的数据中提取需要的数据，比如想找到电 影的评分，电影评分就是需要被提取的数据． 存储 数据就是把数据保存下来，既可以存储在单个文件 中，也可以存储在数据库中．