40 爬虫 - BeautifulSoup4 CSS选择器

这就是另一种与 find_all 方法有异曲同工之妙的查找方法.

• 写 CSS 时，标签名不加任何修饰，类名前加.，id名前加#

• 在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

（1）通过标签名查找

print soup.select('title') 
#[The Dormouse's story]

print soup.select('a')
#[, Lacie, Tillie]

print soup.select('b')
#[The Dormouse's story]

（2）通过类名查找

print soup.select('.sister')
#[, Lacie, Tillie]

（3）通过 id 名查找

print soup.select('#link1')
#[]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print soup.select('p #link1')
#[]

直接子标签查找，则使用 > 分隔

print soup.select("head > title")
#[The Dormouse's story]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select('a[class="sister"]')
#[, Lacie, Tillie]

print soup.select('a[href="http://example.com/elsie"]')
#[]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie"]')
#[]

(6) 获取内容

以上的 select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 get_text() 方法来获取它的内容。

soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()

for title in soup.select('title'):
    print title.get_text()