当前位置: 欣欣网 > 码农

Python爬取百度新闻搜索结果

2024-04-01码农

Python,学霸

大家好!今天给你们带来了通过requests爬取百度新闻搜索结果的python实例,仅供学习!

安装requests:

pip install requests

实例:

import requestsfrom bs4 import BeautifulSoupdefcrawl_baidu_news(keyword): url = f"http://www.baidu.com/s?rtt=1&bsst=1&&cl=2&tn=news&word={keyword}" response = requests.get(url) page = BeautifulSoup(response.content, 'html.parser') results = page.find_all("h3") search_results = []for result in results: title = result.text.strip() link = result.a['href'] print(title+"\n", link+"\n****\n")if __name__=="__main__":#搜索新闻 crawl_baidu_news("2024炸裂新闻")#关键词

输出:

昨夜今晨,京津冀发生这些大事(2024年3月7日) https://baijiahao.baidu.com/s?id=1792825211593054376&wfr=spider&for=pc****云南省市场监管局:曝光!2024民生领域「铁拳」行动典型案例(第一批) https://baijiahao.baidu.com/s?id=1793943643058021195&wfr=spider&for=pc****天津市市场监管委公布2024民生领域案件查办「铁拳」行动典型案例... https://baijiahao.baidu.com/s?id=1793596604904236204&wfr=spider&for=pc****数字化转型、大湾区建设、稳岗扩就业……2024年全国两会首场新闻... https://baijiahao.baidu.com/s?id=1792507979207957376&wfr=spider&for=pc****昨夜今晨,京津冀发生这些大事(2024年03月08日) https://baijiahao.baidu.com/s?id=1792915304593716372&wfr=spider&for=pc****「儿童友好」受关注!多地2024年民生实事清单「出炉」,提到了这些... https://baijiahao.baidu.com/s?id=1793933213367065490&wfr=spider&for=pc****信息量巨大!这场新闻发布会说了2024全国两会这些事→ https://baijiahao.baidu.com/s?id=1792529090328200382&wfr=spider&for=pc****2024 中国网络媒体论坛在云南昆明举行 http://www.myzaker.com/article/66081876b15ec03d2b2fb21e****昨夜今晨,京津冀发生这些大事(2024年3月12日) https://baijiahao.baidu.com/s?id=1793278195337922041&wfr=spider&for=pc****外交部新闻(2024年3月6日) https://www.thepaper.cn/newsDetail_forward_26573266****