当前位置：首页 > 技能知识 > 正文

python爬虫是什么,爬虫是什么意思

技能知识 · Nov 27, 2023

本文目录一览：

python的爬虫是什么意思

网络爬虫是一种自动化获取互联网上信息的技术。通过编写程序，网络爬虫可以模拟人类在浏览器中访问网页的行为，自动抓取网页上的数据。Python是一种常用的编程语言，也可以用于编写网络爬虫程序。使用Python编写的爬虫程序可以帮助用户快速抓取互联网上的各种数据。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情
Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取 web 页面上自己想要的数据，也就是自动抓取数据。网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。
互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。
爬虫还可以验证超链接和HTML代码，用于网络抓取。
Python 爬虫
Python 爬虫架构
Python 爬虫架构主要由五个部分组成，分别是调度器、URL 管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。
调度器：相当于一台电脑的 CPU，主要负责调度 URL 管理器、下载器、解析器之间的协调工作。
URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重复抓取 URL 和循环抓取 URL，实现 URL 管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
网页下载器：通过传入一个 URL 地址来下载网页，将网页转换成一个字符串，网页下载器有 urlpb2（Python 官方基础模块）包括需要登录、代理、和 cookie，requests(第三方包)
网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据 DOM 树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python 自带的）、beautifulsoup（第三方插件，可以使用 Python 自带的 html.parser 进行解析，也可以使用 lxml 进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
应用程序：就是从网页中提取的有用数据组成的一个应用。
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
爬虫的本质是什么？
模拟浏览器打开网页，获取网页中我们想要的那部分数据
浏览器打开网页的过程：
当你在浏览器中输入地址后，经过 DNS 服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括 html,js,css 等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由 HTML 代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤 html 代码，从中获取我们想要资源。
相关推荐：《Python教程》以上就是小编分享的关于python的爬虫是什么意思的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！

python为什么叫爬虫 Python一般用来做什么

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。那么python为什么叫爬虫？下面就和我一起看一下吧。

python为什么叫爬虫 爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。
简单的用python自己的urllib库也可以;用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫。
Python一般可以用来做什么 1、人工智能
现在的人工智能非常的火爆,各种培训班都在疯狂打广告招生.机器学习，尤其是现在火爆的深度学习，其工具框架大都提供了Python接口。
Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱。说白了就是因为Python简单易学框架丰富。
2、数据分析
一般我们用爬虫爬到了大量的数据之后，我们需要处理数据用来分析，不然爬虫白爬了，我们最终的目的就是分析数据，在这方面 关于数据分析的库也是非常的丰富的，各种图形分析图等 都可以做出来。
也是非常的方便，其中诸如Seaborn这样的可视化库，能够仅仅使用一两行就对数据进行绘图，而利用Pandas和numpy、scipy则可以简单地对大量数据进行筛选、回归等计算。而后续复杂计算中，对接机器学习相关算法，或者提供Web访问接口，或是实现远程调用接口，都非常简单。
3、web应用开发
在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。
计算机二级python和Ms office哪个好一些 1、Python要容易一些，毕竟它是一门纯粹的语言，只要掌握语法就OK了。但是office这种东西表面上看起来容易，但是太烦杂了，你不可能全部掌握的，PPT、word、Excel每一个分支都比较广。
2、日后出去面试，你要说会使用office，人家绝对会嗤之以鼻，因为这个不值得拿出来说，但你要说会使用Python，那么人家会眼前一亮。毕竟，office是标配，不值得一说，Python是期望值之外的。
3、office需要在实践中慢慢固化，与实践结合起来，否则学得太多到时候用不到就成为屠龙之技了。只要好学，这个可以在日后工作中几下就能掌握了。

Python为什么叫爬虫？

“爬虫一般是指网络资源的抓取,由于Python的脚本特性,易于配置对字符的处理非常灵活,Python有丰富的网络抓取模块,因此两者经常联系在一起Python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。还可以模拟用户在浏览器或者app应用上的操作行为,实现程序...”
Python爬虫的出现给许多网络工作者爬取信息提供非常大的便利，不但方便快捷还进一步提高了工作效率。Python爬虫在网络采集信息的时候，经常会出现IP莫名其妙被禁的情况，爬取信息的工作不能接着进行，工作停滞不前。
网络爬虫也叫网络机器人，是一种用于自动浏览因特网的程序或是脚本。爬虫可以验证超链接和HTML代码，用于网络抓取。网络搜索引擎等站点利用爬虫软件升级自身的网站内容或其对其他网站的索引。他可以实现快捷采集信息、整理任务，起着节省时间的作用。但是爬虫访问网站的过程会消耗目标系统资源，因而在访问大量页面时，爬虫需要充分考虑规划、负载等问题。爬虫要是超过了网站所限制的访问次数，导致了网站的负荷，网站便会启动反爬虫机制防止爬虫接着毫无顾忌的爬取信心。
当爬虫被禁的时候，先要找到被禁的原因，才可以对症下药，预防一错再错。下边简要说说几种爬虫被禁的原因。当网页出现空白，缺乏信息的情况，有很大很有可能网站创建页面的JavaScript出现问题。当出现登录空白，不能保持登录状态情况下，可能需要检查一下cookie。当页面打不开或是访问错误，就有可能使IP地址遭受网站封禁。
Python与爬虫两者是分别独立的概念，Python是编程语言的一种，而爬虫程序只是因为大多使用Python语言编写而成，所以常常与Python一同出现。
Python相对Java的优点
1.Python作为动态语言更适合编程初学者。Python可以让初学者把精力集中在编程对象和思维方法上，而不用去担心语法、类型等等外在因素，并且Python清晰简洁的语法也使得它调试起来比Java简单的多。
2.Python有一些Java没有的强大架构，可以使得爬虫程序更为高效平稳的运行。
3.Python有非常强大的支持异步的框架如Eventlet Networking Library，而Java要实现这些功能要麻烦的多，也因此Python适合一些可扩展的后台应用。(但除此以外Python可扩展性是不如Java的)
4.Python作为脚本语言，更适合开发体量稍小的应用，而且极其适合在应用发展初期时用来做原型。
因为python的脚本特性和易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以叫爬虫。
1、网络爬虫是指一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫，用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫，所以两者经常联系在一起。
2、Python主要有四大主要应用，分别是网络爬虫、网站开发、人工智能、自动化运维，它是一种全栈的开发语言，如果你能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
3、随着网络的迅速发展，传统的通用搜索引擎AltaVista，Yahoo!和Google等辅助人们检索信息的工具成为用户访问万维网的入口和指南，但是这些通用性搜索引擎也存在着一定的局限性，为了解决这些问题，定向抓取相关网页资源的聚焦爬虫应运而生。

爬虫是什么意思

爬虫，又称网络爬虫或网页爬虫，是一种用于自动浏览万维网的网络机器人。爬虫通过模拟人类浏览网页的行为，按照一定的规则和策略来访问和下载互联网上的网页内容。爬虫通常由计算机程序编写，可以定时执行，自动地抓取网页信息，并将这些信息存储到数据库或文件中，以便后续进行数据分析、处理和利用。
网络爬虫的主要作用包括：
1. 数据收集：爬虫可以从互联网上收集大量的信息，包括文本、图片、音频、视频等，为数据分析和处理提供原始数据。
2. 网络监控：通过定时执行爬虫任务，可以实时地监控特定网站或网页的内容更新，以便及时了解相关信息。
3. 网站评估：爬虫可以模拟用户访问行为，分析网站的结构、内容、链接等，从而对网站的质量、可用性、可访问性等进行评估。
4. 数据挖掘：通过对大量网页数据的收集和分析，可以挖掘出有价值的信息，如热门话题、趋势分析、市场研究等。
5. 信息检索：爬虫可以为搜索引擎、价格比较网站等提供基础数据，用于实现对用户查询的响应和反馈。
需要注意的是，网络爬虫在抓取网页内容时，应遵守相关的法律法规和道德规范，尊重网站的权益，避免对网站造成不必要的负担和损害。同时，应确保爬虫行为是合法、正当、透明的，以维护网络安全和网络秩序。
一、python爬虫是什么意思爬虫：是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。即：打开一个网页，有个工具，可以把网页上的内容获取下来，存到你想要的地方，这个工具就是爬虫。
Python爬虫架构组成：1.网页解析器，将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。3.网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)4.调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。5.应用程序：就是从网页中提取的有用数据组成的一个应用。二、爬虫怎么抓取数据1.抓取网页抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟useragent的行为构造合适的请求，比如模拟用户登陆、模拟session/cookie的存储和设置。2.抓取后处理抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。上文介绍了python爬虫的一些基础知识，相信大家对于“python爬虫是什么意思”与“爬虫怎么抓取数据”有一定的的认识了。
现在大数据时代，很多学python的时候都是以爬虫入手，学习网络爬虫的人越来越多。通常使用爬虫抓取数据都会遇到IP限制问题，使用高匿代理，可以突破IP限制，帮助爬虫突破网站限制次数。

Python爬虫是什么？

网络爬虫（bai又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：
(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通过搜索引擎所返回的结果包含大量用户不关心的网页。
(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。
Python爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。
就是爬取网上的数据
爬虫一般指网络资源的抓取，通过编程语言撰写爬虫工具，抓取自己想要的数据以及内容。而在众多编程语言之中，Python有丰富的网络抓取模块，因此成为撰写爬虫的首选语言，并引起了学习热潮。
Python作为一门编程语言而纯粹的自由软件，以简洁清晰的语法和强制使用空白符号进行语句缩进的特点受到程序员的喜爱。用不同编程语言完成一个任务，C语言一共要写1000行代码，Java要写100行代码，而Python只需要20行，用Python来完成编程任务代码量更少，代码简洁简短而且可读性强。
Python非常适合开发网络爬虫，因为对比其他静态编程语言，Python抓取网页文档的接口更简洁;对比其他脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。
Python爬虫的工作流程是什么?
Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，通过调度器传送给解释器，解析URL内容，将有价值数据和新的URL列表通过调度器传递给应用程序，输出价值信息的过程。
Python是一门非常适合开发网络爬虫的语言，提供了urllib、re、json、pyquery等模块，同时还有很多成型框架，比如说Scrapy框架、PySpider爬虫系统等，代码十分简洁方便，是新手学习网络爬虫的首选语言。

python网络爬虫具体是怎样的？

举一个例子来类比一下，在每日的新冠核酸排查时，发现了几个阳性人员（种子地址），这时候会对每个阳性人员接触的人员（地址内容）进行排查，对排查出的阳性人员再进行上面的接触人员排查，层层排查，直到排查出所有阳性人员。
python网络爬虫跟上面的例子很相似，
首先一批种子地址开始，将这些种子地址加入待处理的任务队列；任务处理者从上面的任务队列中取出一个地址，取出后需要将这个地址从任务队列中移除，同时还要加到已处理地址字典中去，访问地址获取数据；处理上面获取的数据，比如可能是一个网页，网页中又可能存在多个地址，比如一个页面中又很多链接地址，将这些地址如果不在已处理的地址字典的话，就加入到待处理的任务队列。同时提取获取到的数据中的有用部分存储下来；周而复始地执行上面2,3步操作，直到待处理地址队列处理完，或者获取了到了足够数量的数据等结束条件。最后对采集到的有用数据就可以进行清洗，转化处理，作为爬虫的最后数据输出。
Python网络爬虫是使用Python编写的一种网络数据采集工具。Python提供了丰富的库和模块，使得编写网络爬虫变得简单和高效。通过编写Python程序，可以模拟人类在浏览器中访问网页的行为，自动抓取网页上的数据。Python网络爬虫可以通过发送HTTP请求获取网页内容，然后使用解析库对网页进行解析，提取所需的数据。Python网络爬虫可以用于各种应用场景，如搜索引擎的网页索引、数据采集、舆情监控等。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情

python为什么叫爬虫

python可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么就会将其抓取下来。
比如它在抓取一个网页，在这个网中发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。因为python的脚本特性，易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

python爬虫是干嘛的

爬虫技术是一种自动化程序。
爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。
搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。
爬虫技术的功能
1、获取网页
获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。
2、提取信息
获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。
3、保存数据
提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

Python爬虫是什么？

爬虫一般是指网络资源的抓取，由于Python的脚本特性，易于配置对字符的处理非常灵活，Python有丰富的网络抓取模块，因此两者经常联系在一起Python就被叫作爬虫。
Python爬虫的构架组成：
Python的工作流程则：
Python
就是一个程序，他把网页源代码下载下来，然后，用字符串提取的方式提取里面有效的信息，然后再把这个网页里的所有链接，再以同样的方式访问下载，然后再找里面的链接。周而复始，这样就可以慢慢的像虫子一样爬满整个网络的网页信息了，简单说叫数据采集。
爬虫又叫做网络爬虫，可以理解为蜘蛛在网络上进行爬行，互联网是一个巨大的网络，爬虫就是行走在网络上的爬虫，遇到自己喜欢的食物，就会抓取下来，抓取网络资源。
而Python是最适合爬虫的语言，因为Python本身上就是一种比较简单的编程语言，适合零基础人员，更适合初学者学习，门槛低、功能强大;从实际情况上来说，爬虫是Python里面较为简单的课程，学习起来并不是非常困难的，简单的说，只要能在网络上看到的数据都是可以爬取的，大多数的爬虫都是通过发送请求-获取页面-解析页面-提取和存储内容来实现，实际就是用来获取网页的信息。
为自动提取网页的程序，它为搜索引擎从zhi万维网上下载网页。网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。
网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。如果有想学习的打算可以到某公咨询，Python方面的课程还是不错的。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。爬虫可以做什么？你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。爬虫的本质是什么？模拟浏览器打开网页，获取网页中我们想要的那部分数据浏览器打开网页的过程：当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果。所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。