【爬虫技巧】如何获得直接地址

【背景】 IDM这款下载神器一定都用过吧，其中有一个站点抓取功能，试了好久觉得并不好用。持续研究下，发现关键在于资源直接地址的搜索。通过直接地址搜索的方法，得到的是一个FTP形式的页面，这个页面上的资源通过设置IDM的1层下载就可以全部批量下载获得。 【方法】 百度的搜索方法我没试过，查了下谷歌的方法，比如你想查一个叫MasterClass网站的所有导师资料文件的直接地址，就在浏览器搜索中打：?intilte:index.of? masterclass 【结果】 你会得到如下的这个页面结果： 整整齐齐，看着就很爽。 能批量做就不要手动，效率就是一切，下起来！