项目场景
Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的第三方 Python 库,通常在网络爬虫项目中使用。今天,笔者在使用过程中遇到了一个坑,在此记录,并将解决方案分享给大家。
问题描述参考官方文档可知:如果标签里面只有一个子节点,使用 .string
方法可以获得标签内的文本内容。
但是,运行下列代码的输出结果却分别是 None
和 ZXC's Blog
。
from bs4 import BeautifulSoup
html = ''' ZXC's Blog
'''
soup = BeautifulSoup(html, 'lxml')
print(soup.string) # None
print(soup.select_one('a').string) # ZXC's Blog
细心的同学可能已经发现问题了,p
标签和 a
标签中间有一个空格,空格也算一个子节点,导致 p
标签下有2个子节点了,不满足 .string
方法的使用要求,所以返回 None
。
那么,问题来了,不采用 .select_one
方法,如果获取 a
标签内的文本内容?
使用 .stripped_strings
可以获取标签内的多个文本内容,并去掉空白内容:
print(next(soup.stripped_strings)) # ZXC's Blog
引用参考
BeautifulSoup 官方文档->string BeautifulSoup 官方文档->strings-stripped-strings