鍵.png)
什么是 Wandb
目前 Google 官方已不再開放傳統(tǒng)意義上的 Google News API,但我們可以通過以下方式實現(xiàn)相同目的:
方案類型 | 實現(xiàn)工具或平臺 | 特點說明 |
---|---|---|
非官方 API | SerpAPI(推薦) | 封裝 Google 新聞搜索結(jié)果,提供 JSON 格式 |
自行爬蟲 | BeautifulSoup + requests | 靈活但易被反爬,穩(wěn)定性差 |
RSS 聚合 | Google News RSS Feed | 簡單易用,支持基礎(chǔ)訂閱 |
本文聚焦于使用 SerpAPI 這一最穩(wěn)定、開發(fā)者友好的方式。
pip install google-search-results
或使用:
pip install serpapi
from serpapi import GoogleSearch
params = {
"engine": "google_news",
"q": "人工智能",
"api_key": "YOUR_API_KEY",
"hl": "zh-cn",
"gl": "cn",
"num": 10
}
search = GoogleSearch(params)
results = search.get_dict()
news = results.get("news_results", [])
for item in news:
print(f"標題:{item['title']}")
print(f"鏈接:{item['link']}")
print(f"摘要:{item['snippet']}")
print(f"來源:{item.get('source', {}).get('name')}")
print("-" * 30)
每條 news_results
包含字段:
title
: 新聞標題link
: 原始鏈接snippet
: 摘要source.name
: 新聞來源date
: 發(fā)布時間thumbnail
: 圖片(部分結(jié)果)import csv
with open("news.csv", "w", encoding="utf-8-sig", newline="") as f:
writer = csv.writer(f)
writer.writerow(["標題", "鏈接", "摘要", "來源", "時間"])
for item in news:
writer.writerow([
item["title"],
item["link"],
item["snippet"],
item.get("source", {}).get("name", ""),
item.get("date", "")
])
cron
每小時或每日調(diào)度;你可以基于 Google News API 獲取的數(shù)據(jù),進一步構(gòu)建智能功能:
使用 NLP 工具如 TextBlob、SnowNLP 或 OpenAI API,對每條新聞情緒進行打分:
from textblob import TextBlob
polarity = TextBlob(item["snippet"]).sentiment.polarity
結(jié)合關(guān)鍵字或機器學(xué)習(xí)算法對新聞進行分類,如財經(jīng)、科技、娛樂、健康等。
將新聞?wù)蛟妮斎?GPT 模型,生成 60 字中文總結(jié):
prompt = f"請用中文簡要總結(jié)以下新聞內(nèi)容:{item['snippet']}"
問題類型 | 解決方案 |
---|---|
API 返回為空 | 檢查關(guān)鍵詞拼寫,或更換語言、地區(qū)參數(shù) |
請求失敗 | 添加異常捕獲,設(shè)置重試機制 |
報錯 429 Too Many Requests |
設(shè)置 sleep,或升級到更高計劃 |
示例:
import time
from requests.exceptions import RequestException
try:
search = GoogleSearch(params)
results = search.get_dict()
except RequestException:
print("請求過多,等待 10 秒后重試")
time.sleep(10)
應(yīng)用場景 | 實施方式 |
---|---|
輿情監(jiān)控系統(tǒng) | 自動抓取特定關(guān)鍵詞新聞,并結(jié)合情緒分析與關(guān)鍵詞抽取 |
內(nèi)容采集平臺 | 按地域和主題分類匯總新聞,用于門戶、微信公眾號內(nèi)容分發(fā) |
金融情報抓取 | 關(guān)注股市變動、公司名稱新聞事件,結(jié)合行情預(yù)測模型 |
文章素材收集 | 抓取某個領(lǐng)域的最新新聞并自動整理摘要寫入 Notion |
平臺 | 免費額度 | 數(shù)據(jù)實時性 | 多語言支持 | 結(jié)構(gòu)化數(shù)據(jù) | 使用復(fù)雜度 |
---|---|---|---|---|---|
SerpAPI | ? 每月 100 條 | ? 優(yōu)秀 | ? 多語種 | ? JSON | ??(易用) |
NewsAPI.org | ? 已不支持 Google News | ? 好 | ? 多語種 | ? JSON | ??? |
GNews.io | ? 限制較多 | ? 5\~15 分鐘延遲 | ? | ? | ?? |
RSS Feed 抓取 | ? | ? 緩慢 | ? | ? HTML | ???? |
結(jié)論:在抓取 Google 新聞這一垂直領(lǐng)域,SerpAPI 是目前最穩(wěn)定、最易用的開發(fā)者解決方案。
通過本文你已掌握:
什么是 Wandb
在 Golang 中實現(xiàn) JWT 令牌認證
如何獲取Microsoft API Key 密鑰實現(xiàn)bing搜索分步指南
大模型 API 異步調(diào)用優(yōu)化:高效并發(fā)與令牌池設(shè)計實踐
支付寶國際版在國內(nèi)使用:如何實現(xiàn)無縫支付體驗?
如何使用 DeepSeek 構(gòu)建 AI Agent:終極指南
Shopify API 授權(quán):全面指南與最佳實踐
15 個值得嘗試的 API 設(shè)計工具
2025年小本生意新風(fēng)口:如何借助 AI 實現(xiàn)低成本高效率創(chuàng)業(yè)?