Python,學霸
大家好!今天給你們帶來了透過requests爬取百度新聞搜尋結果的python例項,僅供學習!
安裝requests:
pip install requests
例項:
import requests
from bs4 import BeautifulSoup
defcrawl_baidu_news(keyword):
url = f"http://www.baidu.com/s?rtt=1&bsst=1&&cl=2&tn=news&word={keyword}"
response = requests.get(url)
page = BeautifulSoup(response.content, 'html.parser')
results = page.find_all("h3")
search_results = []
for result in results:
title = result.text.strip()
link = result.a['href']
print(title+"\n", link+"\n****\n")
if __name__=="__main__":
#搜尋新聞
crawl_baidu_news("2024炸裂新聞")#關鍵詞
輸出:
昨夜今晨,京津冀發生這些大事(2024年3月7日)
https://baijiahao.baidu.com/s?id=1792825211593054376&wfr=spider&for=pc
****
雲南省市場監管局:曝光!2024民生領域「鐵拳」行動典型案例(第一批)
https://baijiahao.baidu.com/s?id=1793943643058021195&wfr=spider&for=pc
****
天津市市場監管委公布2024民生領域案件查辦「鐵拳」行動典型案例...
https://baijiahao.baidu.com/s?id=1793596604904236204&wfr=spider&for=pc
****
數位化轉型、大灣區建設、穩崗擴就業……2024年全國兩會首場新聞...
https://baijiahao.baidu.com/s?id=1792507979207957376&wfr=spider&for=pc
****
昨夜今晨,京津冀發生這些大事(2024年03月08日)
https://baijiahao.baidu.com/s?id=1792915304593716372&wfr=spider&for=pc
****
「兒童友好」受關註!多地2024年民生實事清單「出爐」,提到了這些...
https://baijiahao.baidu.com/s?id=1793933213367065490&wfr=spider&for=pc
****
資訊量巨大!這場新聞釋出會說了2024全國兩會這些事→
https://baijiahao.baidu.com/s?id=1792529090328200382&wfr=spider&for=pc
****
2024 中國網路媒體論壇在雲南昆明舉行
http://www.myzaker.com/article/66081876b15ec03d2b2fb21e
****
昨夜今晨,京津冀發生這些大事(2024年3月12日)
https://baijiahao.baidu.com/s?id=1793278195337922041&wfr=spider&for=pc
****
外交部新聞(2024年3月6日)
https://www.thepaper.cn/newsDetail_forward_26573266
****