當前位置: 妍妍網 > 碼農

Python爬取百度新聞搜尋結果

2024-04-01碼農

Python,學霸

大家好!今天給你們帶來了透過requests爬取百度新聞搜尋結果的python例項,僅供學習!

安裝requests:

pip install requests

例項:

import requestsfrom bs4 import BeautifulSoupdefcrawl_baidu_news(keyword): url = f"http://www.baidu.com/s?rtt=1&bsst=1&&cl=2&tn=news&word={keyword}" response = requests.get(url) page = BeautifulSoup(response.content, 'html.parser') results = page.find_all("h3") search_results = []for result in results: title = result.text.strip() link = result.a['href'] print(title+"\n", link+"\n****\n")if __name__=="__main__":#搜尋新聞 crawl_baidu_news("2024炸裂新聞")#關鍵詞

輸出:

昨夜今晨,京津冀發生這些大事(2024年3月7日) https://baijiahao.baidu.com/s?id=1792825211593054376&wfr=spider&for=pc****雲南省市場監管局:曝光!2024民生領域「鐵拳」行動典型案例(第一批) https://baijiahao.baidu.com/s?id=1793943643058021195&wfr=spider&for=pc****天津市市場監管委公布2024民生領域案件查辦「鐵拳」行動典型案例... https://baijiahao.baidu.com/s?id=1793596604904236204&wfr=spider&for=pc****數位化轉型、大灣區建設、穩崗擴就業……2024年全國兩會首場新聞... https://baijiahao.baidu.com/s?id=1792507979207957376&wfr=spider&for=pc****昨夜今晨,京津冀發生這些大事(2024年03月08日) https://baijiahao.baidu.com/s?id=1792915304593716372&wfr=spider&for=pc****「兒童友好」受關註!多地2024年民生實事清單「出爐」,提到了這些... https://baijiahao.baidu.com/s?id=1793933213367065490&wfr=spider&for=pc****資訊量巨大!這場新聞釋出會說了2024全國兩會這些事→ https://baijiahao.baidu.com/s?id=1792529090328200382&wfr=spider&for=pc****2024 中國網路媒體論壇在雲南昆明舉行 http://www.myzaker.com/article/66081876b15ec03d2b2fb21e****昨夜今晨,京津冀發生這些大事(2024年3月12日) https://baijiahao.baidu.com/s?id=1793278195337922041&wfr=spider&for=pc****外交部新聞(2024年3月6日) https://www.thepaper.cn/newsDetail_forward_26573266****