爬虫小案例05—使用Xpath解析网站

本案例使用Xpath解析源码，从而获取我们想要的内容

1. 获取网页源码

import requests
from lxml import etree
#输入关键字点击搜索后，跳转后的网址是我们的目标网址
url = 'https://beijing.zbj.com/search/f/?kw=python%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0"
}
resp = requests.get(url,headers = headers)
print(resp.text)

2. 将HTML源码进行预加载

html = etree.HTML(resp.text) #将HTML源码进行预加载

3. 获取内容 3.1 找到所需要的内容所在的位置

3.2 复制路径

获得如下路径： /html/body/div[6]/div/div/div[2]/div[5]/div[1]/div

3.3 使用Xpath表达式获取内容

#拿到每一个服务商的div
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
	  #全路径
    #prices = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")
    #根据div的class属性快速定位位置
    price = div.xpath(".//div[@class='service-price clearfix']/span[1]/text()")[0].strip("¥") #去除价格前面的￥符号
    title = "".join(div.xpath(".//div[@class='service-title']/p//text()")) 
    company_name = div.xpath("./div/div/a[1]/div/p/text()")[1].strip() #列表中有换行符，取列表中的第二个内容，并且去除换行符
    loc = div.xpath("./div/div/a[1]/div/div/span/text()")
    print(price)
    print(title)
    print(title)
    print(company_name)