首页 > 技术知识 > 正文

EX4 | 用Python爬取百度图片关键字猫并保存

2023-06-04 17:32:21

欢迎关注微信号：student_Shang

小编是985院校小硕士一枚，欢迎关注，持续更新中~

哈喽，大家好~

在本次推送中，以百度搜索中关键字猫作为采集目标，重点采集并保存猫的图片，在本地根目录下以图片的形式进行存储。

1 准备工作

在本次爬虫开始之前，请确保已经安装好了第三方 requests 库、BeautifulSoup 库等。如果没有安装，请使用cmd打开命令行界面，并逐行键入以下代码：

pip install requests pip install json

2 抓取分析

本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求，获取服务器传来的响应，随后利用 json 库完成对网页代码的解析，同时为了进一步防止触发反爬虫机制。具体分析如下：

首先，我们本次爬取的网站是

https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn=30&rn=30&gsm=1e

右键点击检查按钮，或者直接按下 F12 进入开发者界面，点开 Network 一栏，并按下 F5 刷新按钮，必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示：

EX4 | 用Python爬取百度图片关键字猫并保存1

这里我们可以看到，网站请求的 Request URL ，再往下翻观察 Request Headers信息，为了避免触发反爬虫机制，我们要尽量把爬虫程序做的更像是人在浏览网页。

接下来便是对网页的提取与保存，我们开始今天的爬虫工作。

3 爬取信息与保存

在安装完毕我们在一开始介绍的第三方库后，这里我们需要首先导入这些文件才能够进行后续的操作。

import requests import json 3.1 网页请求头的设置

为了使爬虫程序模拟的更像人在操作，因此我们添加了请求过程中一些比较重要的请求头信息，并将其整理成一个请求函数，具体如下：

def get_page(url): headers = { User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36, } r = requests.get(url,headers = headers) return r

接下来我们便开始网页的爬取工作。

3.2 百度图片搜索关键字猫图片的爬取与保存

首先，我们需要对单个网页的信息进行爬取，通过对响应代码的分析，我们利用 json 库完成对代码的解析。同时将其定义为 get_pictures_url() 函数。具体如下：

def get_pictures_url(url): r = get_page(url) soup = json.loads(r.content) for picture in soup.get(data): picture_url = picture.get(thumbURL) if picture_url: print(picture_url) img = get_page(picture_url) if img.status_code == 200: try: with open(./ + picture.get(di) + .jpg,wb) as f: f.write(img.content) except: pass

单个网页的内容收集完毕后，我们需要获取如何跳入下一页。这里我们发现，通过更改不同页数的网页 URL 之间的 pageNum 参数，可以实现网页之间的切换。

最后，键入以下代码便能够实现整个程序的运行：

if __name__ == “__main__”: for i in range(10): print(正在下载{}页.format(i)) get_pictures_url(https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result& \ queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫 \ &s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn={}&rn=30&gsm=1e.format(i*30)) print(下载完成)