Web 数据抓取技术具有非常巨大的应用需求及价值，

用 Python 在网页上收集数据，不仅抓取数据的操作简单，

而且其数据分析功能也十分强大。

通过 Python 的时lib 组件中的 urlparse 函数，可轻松解

析指定网址的内容，在接收返回的 ParseResult 对象后，即

可通过其属性取出网址中各项有用信息 。

Python 还可进一步用 requests 函数抓取网页源代码，

再通过相关语句或正则表达式搜索得到指定的数据。

如果要抓取的数据比较复杂， Python 还可以通过功能

更为强大的网页解析工具 Beautifulsoup ，来对特定的网页

及目标进行抓取与分析。

网址解析

想要抓取网站的数据，必须先指定网址及所需参数 。因 此理解网址的构成方式

是进行网站数据抓取的基本技能。

以*地区 PM2.5 查询网站 http://www.prn25x.com／为例，其中的数据是

根据城市来查询的，如果要查询北京市的 PM2 .5 数据，则要在网址后面加上“ city/

beijing.htm 飞即 h忧p: //www.prn25x.com/city/beijing.htm 

通过 Python 的 urlli b 组件中的 urlparse 函数，可以对网址进行解析，其返回值是

元组型 ParseResult 对象，通过该对象的属性就可以得到网址中的各项参数。

ParseResult 对象属性如下表 ：

例如：解析*地区 PM2.5 查询网站。

from urllib.parse import urlparse

url = 'http://www.pm25x.com/city/beijing.htm'

o = urlparse(url)

print(o) 

print("scheme={}".format(o.scheme)) # http

print("netloc={}".format(o.netloc)) # www.pm25x.com

print("port={}".format(o.port))     # None

print("path={}".format(o.path))     # /city/beijing.htm

print("query={}".format(o.query))   # 空

网页数据抓取

requests 用于抓取网页源代码，由于它比内置 urllib 模块好用，因此己经逐渐取

代了 urllib 模块。抓取源代码后可以用 in 或正则表达式搜索获取所需的数据。

用 requests 抓取网页源代码

导入 reques也后，我们可用 requests .getO 函数模拟 HπP GET 方法发出 一个请求

( Request ）到远程的服务器（ Server ），当服务器接受请求后，就会响应（ Response ）井

返回网页内容（源代码），设置正确的编码格式，即可通过text 属性取得网址中的源代码 。

例如 ： 以 GBK 编码抓取“万水书苑”的源代码。

import requests

url = 'http://www.wsbookshow.com/'

html = requests.get(url)

html.encoding="GBK"

print(html.text)

取得网页的源代码后，即可以对源代码加以处理。例如 ： 以把每一行分割成列表，

并去除换行符。

import requests

url = 'http://www.wsbookshow.com/'

html = requests.get(url)

html.encoding="gbk"

htmllist = html.text.splitlines()

for row in htmllist:

    print(row)

搜索指定字符串

用 text 属性取得的源代码其实是一大串字符串，如果想搜索其中指定的字符或

字符串，可使用 m 来完成。例如，查询是否含有“新概念”字符串。

也可以一行一行依次搜索，并统计该字符串出现次数 。 例如，搜索万水书苑网

站的首页出现“新概念”字符串的次数。

import requests

url = 'http://www.wsbookshow.com/'

html = requests.get(url)

html.encoding="gbk"

htmllist = html.text.splitlines()

n=0

for row in htmllist:

    if "新概念" in row:

        n+=1

print("找到 {} 次!".format(n))

用正则表达式抓取网页内容

实际应用中，我们需搜索的字符串可能较复杂，有时用 m 根本无法完成。比如

要搜索网站中的超链接、电话号码等，对这种复杂搜索，就要用到正则表达式了。

正则表达式的英文全称是 regu lar expression （简称 regex ） 。 正则表达式就是由类

似 Windows 中搜索文件时用到的通配符符号所构成的公式，用于实现字符串的复杂

搜索 。

网站 http : //pythex.org/ 可以测试正则表达式的结果是否正确 。 假如我们要用正则

表达式表达一 串整数数字，可以用“［O 123456789 ］ ＋这个表达式”，其中，中括号 门

中的一堆字符表示合法的字符，后面的加号“＋”表示重复 1 次或无数次，因此，该

表达式就可以表达像 126706 、 9902 、 8 等样式的数字 。

在正则表达式中，为了简化输入，还可以用“ ［ 0-9 ］ ＋这样的缩写”表达同样的含

义，其中的 0-9 其实就表示了 0123456789 0 甚至我们还可以再度缩写成［＼d］ ＋，其中的 ＼d

就表示由数字所构成的字符集合。

创建正则表达式对象

要使用 正则表达式， 需要先导入 re 包，再用 re 包提供的 compile 方法创建一个

正则表达式对象，语法如下 ：

创建正则表达式对象后，再利用正则表达式对象的方法搜索指定的字符串。正

则表达式对象包含了下列方法 ：

match (string）方法

在 s tring 中查找符合正则表达式规则的字符串，遇到第一个不符合字符时结束查找，并把结果存入 match 对象（ obj e ct ）中 ： 若没找到符合的字符，返回 None 。

import re

pat = re . compile ( ’ [a - z ]+ ’ )

m = pat . match (’ teml2po ’ ) ＃简便起见，我们把 ma tc h 对象的伯赋给 m

print(m) 

上例会返回＂＜＿sre.SRE_Match object; s pan=( O，匀， mat c h＝’ te rn’〉 ”对象， 并将结

果存入 match 对象中。我们通过 match 对象的方法即可得到相应的结果 。

match 对象包含的方法如下 ：

直接调用的语法格式为 r巳 . match （ 正则表达式，搜索字符串）。它包含两个参 ．

数， 习 惯上我们会在第一个参数前加上r字符，用于告诉编译器这个参数是正则表 ：

达式；第 二个参数传递待投索的字符串，这样就可省去先用 r e.co mpil e 方法创建正’

: 则表达式的 步骤．

import re

m = re.match(r'[a-z]+','tem12po')

print(m)

if not m==None:

    print(m.group())

    print(m.start())

    print(m.end())

    print(m.span())

import re

pat = re.compile('[a-z]+')

m = pat.search('3tem12po')

print(m) # <_sre.SRE_Match object; span=(1, 4), match='tem'>

if not m==None:

    print(m.group())  # tem

    print(m.start())  #

    print(m.end())    #

    print(m.span())   # (1,4)

例如 ，用

findall 方法搜索“ teml2po ”字符串，代码如下 。 

import re

pat = re.compile('[a-z]+')

m = pat.findall('tem12po')

print(m)  # ['tem', 'po']