Python,学霸
大家好!今天给你们带来了通过requests爬取百度新闻搜索结果的python实例,仅供学习!
安装requests:
pip install requests
实例:
import requests
from bs4 import BeautifulSoup
defcrawl_baidu_news(keyword):
url = f"http://www.baidu.com/s?rtt=1&bsst=1&&cl=2&tn=news&word={keyword}"
response = requests.get(url)
page = BeautifulSoup(response.content, 'html.parser')
results = page.find_all("h3")
search_results = []
for result in results:
title = result.text.strip()
link = result.a['href']
print(title+"\n", link+"\n****\n")
if __name__=="__main__":
#搜索新闻
crawl_baidu_news("2024炸裂新闻")#关键词
输出:
昨夜今晨,京津冀发生这些大事(2024年3月7日)
https://baijiahao.baidu.com/s?id=1792825211593054376&wfr=spider&for=pc
****
云南省市场监管局:曝光!2024民生领域「铁拳」行动典型案例(第一批)
https://baijiahao.baidu.com/s?id=1793943643058021195&wfr=spider&for=pc
****
天津市市场监管委公布2024民生领域案件查办「铁拳」行动典型案例...
https://baijiahao.baidu.com/s?id=1793596604904236204&wfr=spider&for=pc
****
数字化转型、大湾区建设、稳岗扩就业……2024年全国两会首场新闻...
https://baijiahao.baidu.com/s?id=1792507979207957376&wfr=spider&for=pc
****
昨夜今晨,京津冀发生这些大事(2024年03月08日)
https://baijiahao.baidu.com/s?id=1792915304593716372&wfr=spider&for=pc
****
「儿童友好」受关注!多地2024年民生实事清单「出炉」,提到了这些...
https://baijiahao.baidu.com/s?id=1793933213367065490&wfr=spider&for=pc
****
信息量巨大!这场新闻发布会说了2024全国两会这些事→
https://baijiahao.baidu.com/s?id=1792529090328200382&wfr=spider&for=pc
****
2024 中国网络媒体论坛在云南昆明举行
http://www.myzaker.com/article/66081876b15ec03d2b2fb21e
****
昨夜今晨,京津冀发生这些大事(2024年3月12日)
https://baijiahao.baidu.com/s?id=1793278195337922041&wfr=spider&for=pc
****
外交部新闻(2024年3月6日)
https://www.thepaper.cn/newsDetail_forward_26573266
****