EX2 | 用Python爬取彩票网站的信息

欢迎关注微信号：student_Shang

小编是985院校小硕士一枚，欢迎关注，持续更新中~

哈喽，大家好~

在本次推送中，以彩票网站的数据作为采集目标，重点采集并保存彩票网站的3D项目开奖日期、期号、中奖号码、中奖注数、销售金额、以及返奖比例等信息，在本地根目录下以 .xls 的文件形式进行存储。

1 准备工作

在本次爬虫开始之前，请确保已经安装好了第三方 requests 库、xlwt 库、time 库、以及BeautifulSoup 库等。如果没有安装，请使用cmd打开命令行界面，并逐行键入以下代码：

pip install requests pip install xlwt pip install bs4 pip install time

2 抓取分析

本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求，获取服务器传来的响应，随后利用BeautifulSoup库完成对网页代码的解析，同时为了进一步防止触发反爬虫机制，我们加入了 time库的延迟操作。具体分析如下：

首先，我们本次爬取的网站是

http://kaijiang.zhcw.com/zhcw/html/3d/list.html

右键点击 检查 按钮，或者直接按下 F12 进入开发者界面，点开 Network 一栏，并按下 F5 刷新按钮，必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示：

这里我们可以看到，网站请求的 Request URL ，再往下翻观察 Request Headers信息，为了避免触发反爬虫机制，我们要尽量把爬虫程序做的更像是人在浏览网页。

接下来便是对网页的提取与保存，我们开始今天的爬虫工作。

3 爬取信息与保存

在安装完毕我们在一开始介绍的第三方库后，这里我们需要首先导入这些文件才能够进行后续的操作。

import requests from bs4 import BeautifulSoup import xlwt import time 3.1 网页请求头的设置

为了使爬虫程序模拟的更像人在操作，因此我们添加了请求过程中一些比较重要的请求头信息，并将其整理成一个请求函数，具体如下：

def get_one_page(url): headers = { User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36, Host: kaijiang.zhcw.com } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None

接下来我们便开始网页的爬取工作。

3.2 彩票网站数据的爬取与保存

首先，我们需要对单个网页的信息进行爬取，通过对响应代码的分析，我们利用 BeautifulSoup 库完成对代码的解析。同时将其定义为 parse_one_page() 函数。具体如下：

def parse_one_page(html): soup = BeautifulSoup(html, lxml) i = 0 for item in soup.select(tr)[2:-1]: yield { time: item.select(td)[i].text, issue: item.select(td)[i + 1].text, digits: item.select(td em)[0].text, ten_digits: item.select(td em)[1].text, hundred_digits: item.select(td em)[2].text, single_selection: item.select(td)[i + 3].text, group_selection_3: item.select(td)[i + 4].text, group_selection_6: item.select(td)[i + 5].text, sales: item.select(td)[i + 6].text, return_rates: item.select(td)[i + 7].text }

单个网页的内容收集完毕后，我们需要获取如何跳入下一页。这里我们发现，通过更改不同页数的网页 URL 之间的 pageNum 参数，可以实现网页之间的切换。

http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=1

http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=50

此外，利用 xlwt 库完成对数据的保存工作。具体代码如下：

def write_to_excel(): f = xlwt.Workbook() sheet1 = f.add_sheet(3D, cell_overwrite_ok=True) row0 = [“开奖日期”, “期号”, “个位数”, “十位数”, “百位数”, “单数”, “组选3”, “组选6”, “销售额”, “返奖比例”] # 写入第一行 for j in range(0, len(row0)): sheet1.write(0, j, row0[j]) # 依次爬取每一页内容的每一期信息，并将其依次写入Excel i = 0 for k in range(1, 247): time.sleep(0.1) url = http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp?pageNum=%s % (str(k)) html = get_one_page(url) print(正在保存第%d页。 % k) # 写入每一期的信息 for item in parse_one_page(html): sheet1.write(i + 1, 0, item[time]) sheet1.write(i + 1, 1, item[issue]) sheet1.write(i + 1, 2, item[digits]) sheet1.write(i + 1, 3, item[ten_digits]) sheet1.write(i + 1, 4, item[hundred_digits]) sheet1.write(i + 1, 5, item[single_selection]) sheet1.write(i + 1, 6, item[group_selection_3]) sheet1.write(i + 1, 7, item[group_selection_6]) sheet1.write(i + 1, 8, item[sales]) sheet1.write(i + 1, 9, item[return_rates]) i += 1 f.save(3D.xls) 3.3 启动程序

最后，键入以下代码便能够实现整个程序的运行：

def main(): write_to_excel()

4 总结与展望

本次爬虫程序在编写过程中，遇到了改变页码爬取信息只到50页便终止的反爬虫机制，因此改变为上述的爬取 URL 。在爬虫程序完成后，会在文件保存的根目录下出现 3D.xls 的文件。此外，本次爬虫只限于对数据的爬取与保存工作，数据的分析工作留待后续进行再处理。

微信公众号：Python一号通

关注可了解更多的爬虫教程及机器学习内容。

问题或建议，请公众号留言