照片由Headway在Unsplash上發(fā)布

假設(shè)貴公司從事食品外賣業(yè)務(wù)，在某大城市市場(chǎng)競(jìng)爭(zhēng)激烈。自 2020 年 “covid-19 “事件爆發(fā)以來(lái)，這一行業(yè)呈現(xiàn)爆炸式增長(zhǎng)，而且利潤(rùn)越來(lái)越高。食品行業(yè)的所有企業(yè)都會(huì)產(chǎn)生許多關(guān)鍵數(shù)據(jù)點(diǎn)，例如：

圖像
評(píng)論
地點(diǎn)
價(jià)格
特別優(yōu)惠

其中大部分都可以在 Google SERPs 上找到。任何試圖獲得競(jìng)爭(zhēng)優(yōu)勢(shì)并改進(jìn)其產(chǎn)品的服務(wù)都必須將所有最新的相關(guān)餐廳數(shù)據(jù)整合到其數(shù)據(jù)庫(kù)中，以便能夠根據(jù)消費(fèi)趨勢(shì)等優(yōu)化其產(chǎn)品。
現(xiàn)在，在大城市市場(chǎng)中，此類 SERP 數(shù)據(jù)的數(shù)量非常龐大，而自動(dòng)收集所有這些數(shù)據(jù)并不像你想象的那么簡(jiǎn)單。

圖片授權(quán)自 Shutterstock

另一個(gè)相關(guān)的例子是電子商務(wù)。該行業(yè)的公司必須不斷優(yōu)化其產(chǎn)品列表并改進(jìn)搜索引擎優(yōu)化，以便出現(xiàn)在 SERP 的頂部，同時(shí)吸引搜索其產(chǎn)品類別的相關(guān)潛在買家。

這需要從 Google SERP 中收集數(shù)據(jù)，進(jìn)行付費(fèi)和有機(jī)關(guān)鍵詞研究，經(jīng)常深入研究特定地域的關(guān)鍵詞并了解排名趨勢(shì)。這包括 Google 購(gòu)物以及亞馬遜/Bing 產(chǎn)品廣告等。

為什么難以從 Google SERP 中大規(guī)模提取準(zhǔn)確數(shù)據(jù)？

具有諷刺意味的是，谷歌并不希望你抓取它的搜索引擎結(jié)果頁(yè)面。考慮到谷歌利用爬蟲機(jī)器人建立了自己的信息帝國(guó)，并將數(shù)據(jù)輸入到谷歌臭名昭著的排名算法中，從而決定了大型企業(yè)和小型企業(yè)網(wǎng)站的命運(yùn)，這就非常可笑了。

谷歌 SERP 中裝載了敏感的機(jī)器人檢測(cè)功能，該功能基于各種指標(biāo)，如從單個(gè) IP 發(fā)送的請(qǐng)求數(shù)、瀏覽器頁(yè)眉中的信息等。

獨(dú)自面對(duì)谷歌的反僵尸機(jī)制是一項(xiàng)相當(dāng)大的挑戰(zhàn)。觸發(fā)后會(huì)立即出現(xiàn)驗(yàn)證碼，從而阻止您的自動(dòng)搜刮程序。此外，如果你不斷嘗試通過(guò)同一 IP 地址來(lái)搜索數(shù)據(jù)，它也會(huì)被阻止。

另一個(gè)原因是，自谷歌 2017 年搜索更新以來(lái)，通過(guò)它進(jìn)行手動(dòng)數(shù)據(jù)收集幾乎是不可能的。這需要你

退出任何 Gmail 賬戶和 Chrome 瀏覽器配置文件。
刪除 cookie 和清除歷史記錄。
通過(guò)代理或 VPN將您的 GEO 位置更改為您的目標(biāo)國(guó)家。在這兩種情況下，如果您使用的是瀏覽器擴(kuò)展，Google 很可能會(huì)檢測(cè)到您使用的是數(shù)據(jù)中心 IP。
為每次新的搜索打開一個(gè)新的標(biāo)簽頁(yè)或?yàn)g覽器窗口，然后匯總提取的所有數(shù)據(jù)，希望這些數(shù)據(jù)不會(huì)被弄亂。

圖片來(lái)源：Bright Data Blog

這就是Google SERP API發(fā)揮作用的地方，它可以幫助您將所需的所有數(shù)據(jù)收集到一個(gè)結(jié)構(gòu)化的數(shù)據(jù)集中，而不必?fù)?dān)心被屏蔽或被迫以手動(dòng)和緩慢的方式確定數(shù)據(jù)收集的時(shí)間（從 Google 抓取大型數(shù)據(jù)可能需要花費(fèi)數(shù)天甚至數(shù)周的時(shí)間）。

5 個(gè)最有用的 Google 搜索 API

如果你已經(jīng)讀到這里，那么你可能想了解一下能幫助你前進(jìn)的 Google SERP 搜刮工具，因此我們很快就會(huì)介紹每項(xiàng)服務(wù)的排名和詳細(xì)功能。遺憾的是，下面這些服務(wù)的營(yíng)銷團(tuán)隊(duì)在為這些優(yōu)秀產(chǎn)品打造品牌時(shí)做得相當(dāng)糟糕–因此所有的名稱基本上都是一樣的。我們希望您能根據(jù)功能和母公司名稱進(jìn)行區(qū)分。

在此之前，有必要說(shuō)明的是，我們并不僅僅依賴于以下服務(wù)提供商的廣告，而是 親自訂閱并測(cè)試了這些服務(wù)提供商，以獲得更準(zhǔn)確的數(shù)據(jù)。

由 Bright Data 提供

1.Bright Data Google Search API（搜索引擎爬蟲）

最快響應(yīng)時(shí)間（3 秒）?
每小時(shí)并發(fā)請(qǐng)求高達(dá) 200,000 次 ?
使用100% 真實(shí)住宅IP 代理服務(wù)器發(fā)送請(qǐng)求 ?
提供 “即用即付 “計(jì)劃 ? 提供 “即用即付 “計(jì)劃
可針對(duì) 195 個(gè)國(guó)家和數(shù)百萬(wàn)個(gè)城市?
以 JSON 或 HTML 格式交付數(shù)據(jù) ?
提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所
提供有機(jī)的 Google SERP 數(shù)據(jù) + 購(gòu)物、地圖、評(píng)論、酒店、工作、新聞、趨勢(shì)和圖片 ?
最高 100k 計(jì)劃中每 1k 個(gè)請(qǐng)求的價(jià)格為 2.80 美元?。
桌面和移動(dòng) SERP 結(jié)果 ?

Bright Data 的 SERP 抓取產(chǎn)品是其龐大的住宅代理網(wǎng)絡(luò)和網(wǎng)絡(luò)解鎖基礎(chǔ)設(shè)施的自然延伸。迄今為止，它們是需要 A 級(jí)解決方案的企業(yè)的首選，但與其他解決方案相比，也為每月預(yù)算為 100-200 美元的小型企業(yè)和自由職業(yè)者提供了價(jià)值。
Bright Data 還為 Yandex、Bing 和 DuckDuckGo 等其他搜索引擎提供了同樣的工具。

圖片來(lái)源：SERP API

2.SERP API

僅以 JSON 格式提供數(shù)據(jù) ?
提供驗(yàn)證碼解決方案 ? 提供驗(yàn)證碼解決方案 ? 提供驗(yàn)證碼解決方案 ? 提供驗(yàn)證碼解決方案
有機(jī) Google 結(jié)果+地圖、本地、故事、購(gòu)物、直接回答和知識(shí)圖譜? ?
每小時(shí)只能同時(shí)處理 1,000 個(gè)請(qǐng)求，不適合大型項(xiàng)目 ?
桌面和移動(dòng) SERP 結(jié)果 ?
提供每月最多 100 次搜索的免費(fèi)計(jì)劃 ?
按搜索次數(shù)定價(jià)，每 1k 次搜索 8-10 美元 ?
在高級(jí)計(jì)劃中為美國(guó)刮擦提供 “法律保護(hù)” ?

SERP API 是一款功能強(qiáng)大的 Google SERP 搜刮工具，可讓您實(shí)時(shí)搜刮任何關(guān)鍵字的 SERP。SERP API 擁有非常友好的用戶界面，即使你不是一個(gè)精通技術(shù)的人，使用起來(lái)也非常簡(jiǎn)單。對(duì)于預(yù)算緊張的小型企業(yè)來(lái)說(shuō)，這是一個(gè)很受歡迎的選擇，但請(qǐng)記住，由于 SERP API 整個(gè)公司只有 10 個(gè)人，他們的服務(wù)和支持非常有限。

圖片來(lái)源：Oxylabs

3.Oxylabs SERP Scraper API

以 JSON 或 CSV 格式交付數(shù)據(jù) ?
使用 100% 真實(shí)住宅 IP 代理服務(wù)器發(fā)送請(qǐng)求 ?
在 10 萬(wàn)以下計(jì)劃中，每 1k 個(gè)請(qǐng)求的價(jià)格為 3.40 美元 ?
可針對(duì) 195 個(gè)國(guó)家和數(shù)百萬(wàn)個(gè)城市 ?
只允許桌面 SERP 結(jié)果，不允許移動(dòng) ?
提供有機(jī)的 Google SERP 數(shù)據(jù) + 購(gòu)物、地圖、評(píng)論、酒店、工作、新聞、趨勢(shì)和圖片 ?
響應(yīng)時(shí)間慢（長(zhǎng)達(dá) 10 秒） ?

就高級(jí)服務(wù)而言，Oxylabs與 Bright Data 的 SERP API 非常接近，只是少了一些功能（沒(méi)有 HTML 傳輸或移動(dòng)結(jié)果）。這就是為什么他們的產(chǎn)品價(jià)格仍然較高的原因。

圖片來(lái)源：Smartproxy

4.Smartproxy SERP Scraping API

以 JSON 或 HTML 格式交付數(shù)據(jù) ?
提供有機(jī)的 Google SERP 數(shù)據(jù) + 購(gòu)物、地圖、評(píng)論、酒店、工作、新聞、趨勢(shì)和圖片。?
將更便宜的數(shù)據(jù)中心（僅限美國(guó)）IP 與住宅 IP 混合發(fā)送請(qǐng)求 ?
在 10 萬(wàn)以下計(jì)劃中，每 1 千次請(qǐng)求的價(jià)格為 2.86 美元?。
響應(yīng)時(shí)間慢（我們測(cè)得超過(guò) 7 秒） ?

盡管 Smartproxy 的 SERP API 是非常受歡迎的運(yùn)動(dòng)鞋機(jī)器人代理服務(wù)，但其代理基礎(chǔ)架構(gòu)和性能仍有改進(jìn)空間。

圖片由 ZenSERP 提供

5.ZenSERP

僅以 JSON 格式提供數(shù)據(jù) ?
提供有機(jī)的 Google SERP 數(shù)據(jù) + 購(gòu)物、地圖、評(píng)論、酒店、工作、新聞、趨勢(shì)和圖片。?
桌面和移動(dòng) SERP 結(jié)果 ?
建議標(biāo)準(zhǔn)計(jì)劃的并發(fā)請(qǐng)求數(shù)不要超過(guò)每小時(shí) 400 個(gè) ?
提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所 ? 提供免費(fèi)測(cè)試搜索的場(chǎng)所
可針對(duì)大多數(shù)國(guó)家，但不針對(duì)城市級(jí)別 ?
代理 IP 不透明 ?
在 10 萬(wàn)以下計(jì)劃中，每 1 千次請(qǐng)求的價(jià)格為 3.78 美元?。

老實(shí)說(shuō)，我們?cè)谶x擇服務(wù)時(shí)遇到了很多困難，因?yàn)?strong>ZenSERP與SERPMaster和serpstack 等其他服務(wù)的優(yōu)缺點(diǎn)非常相似。

現(xiàn)在，你可能已經(jīng)迫不及待地想測(cè)試上述所有工具的免費(fèi)游戲場(chǎng)地了，它們其實(shí)非常有趣。來(lái)吧！一定要回來(lái)告訴我們你的測(cè)試結(jié)果。同時(shí)，我們將繼續(xù)測(cè)試新的工具和網(wǎng)絡(luò)數(shù)據(jù)服務(wù)提供商，在接下來(lái)的文章中分享更多實(shí)用技巧。

原文鏈接：https://medium.com/nerd-for-tech/5-serp-apis-that-can-beat-google-at-their-own-game-665b86aa822c