 |
Dataflow 網站數據提取
專用API
【更新時間: 2024.08.15】
DFK的API使您能夠以編程方式管理和運行web數據提取和SERP收集任務。之后您可以輕松檢索提取的數據。
10$ / 2,000 個數據流積分
去服務商官網采購>
|
瀏覽次數
20
采購人數
1
試用次數
1
SLA: N/A
響應: N/A
適用于個人&企業
試用
收藏
×
完成
取消
×
書簽名稱
確定
|
- API詳情
- 定價
- 使用指南
- 常見 FAQ
- 關于我們
- 相關推薦
什么是Dataflow 網站數據提取?
我們幫助人們自動化網絡抓取任務，從任意規模的多個頁面中提取、處理和轉換數據。通過點擊式網頁抓取界面，單擊即可提取文本、圖像、屬性。我們代表您訪問網頁，在云中使用無頭 Chrome 渲染 Javascript 驅動的頁面，返回靜態 HTML，并捕獲屏幕截圖或另存為 PDF。
Dataflow 網站數據提取有哪些核心功能？
|
無頭 Chrome 即服務。 在云端渲染 Javascript 驅動的網頁，返回靜態 HTML。 |
指向并單擊網絡抓取工具。 Dataflow Kit 將為您猜測類似的數據元素。無需編碼。
|
抓取 SERP 數據。 使用我們的 SERP API 從流行的搜索引擎中提取有機結果、廣告、新聞、圖像。 |
|
網頁到 PDF 轉換器。 向 PDF API 發送包含網頁地址和參數的請求，將網頁轉換為 PDF。 |
在線制作網頁截圖。 直接在您的應用程序中在線捕獲網頁屏幕截圖。 |
|
Dataflow 網站數據提取的核心優勢是什么？
|
全球代理網絡。 IP輪換。 有時網站會限制其他國家/地區的用戶訪問。 我們提供數據流套件代理服務，以繞過特定網站的內容下載限制或通過代理發送請求以獲取目標網站的特定國家/地區版本。 只需從 100 多個支持的全球位置中指定目標國家/地區即可發送您的網絡/SERP 抓取 API 請求。或者選擇“任意國家/地區”以使用隨機地理目標。
|
Headless Chrome 即服務。 如今最流行的方法是使用 Headless Chrome 瀏覽器，它以與真實瀏覽器相同的方式呈現網站。 此外，Chrome 還配備了將 HTML 保存為 PDF 以及從網頁生成屏幕截圖的工具。 我們提供將動態 JavaScript 驅動的網頁渲染為云端靜態 HTML 的服務。 |
行動。手動工作流程的自動化。 操作對于模擬現實世界中的人類與頁面的交互非常有用。它們由抓取工具在訪問網頁時執行，幫助您更接近所需的數據。
|
|
數據流套件 API。 只需發送一個 API 請求，指定所需的網頁和一些參數。
|
輸出數據格式。 JSON、JSON Lines、Excel、CSV、XML。
|
云中的數據。
|
在哪些場景會用到Dataflow 網站數據提取？
電商網站的價格監控與比價企業可以利用Dataflow API從多個電商平臺上提取產品價格、描述、評論等數據。這些數據可以用于實時監控競爭對手的價格變化，從而調整自己的定價策略。比價網站也可以通過這個API提取大量電商數據，匯總并展示給用戶，幫助他們找到最低價的產品。 |
|
新聞聚合與輿情監控新聞機構或數據分析公司可以使用Dataflow API從各種新聞網站、博客和社交媒體平臺上提取新聞文章、評論和其他相關數據。這些數據可以用于新聞聚合服務，提供最新的新聞資訊，或用于輿情監控，了解公眾對某一事件或品牌的態度。 |
|
市場調研與趨勢分析市場調研公司或營銷團隊可使用該API接口自動抓取社交媒體、新聞網站或行業博客上的數據。這些數據可用于分析當前的市場趨勢、消費者的偏好或行業的最新動態。通過自動化的數據提取，團隊可以更快速地獲取關鍵信息，以制定準確的市場策略和預測。 |
|
Web/SERP 數據提取。
數據流套件 (DFK) 計算每個成功 (2xx) 請求的頁面信用。因此，扣除的積分數量取決于您發送的請求數量。
| 沒有代理 | 使用代理 | ||
|---|---|---|---|
| 1個常規頁面請求成功 | 1 學分 | 2學分 | 使用基本 HTTP 請求“按原樣”獲取常規頁面 |
| 1 javascript頁面請求成功 | 2學分 | 3學分 | 真正的網絡瀏覽器（無頭瀏覽器）用于呈現動態 Javascript 驅動的網頁。 |
| 1 個 SERP 頁面成功請求 | - | 3學分 | Headless chrome 和代理始終用于搜索引擎數據請求。 |
筆記：
- 導致 DFK 錯誤響應的請求不會計費或計為積分。
- 如果使用 DFK 代理，則會扣除額外積分。
1.驗證
Dataflow Kit API 要求您注冊 API 密鑰才能使用該 API。
免費注冊后，可以在 DFK Dashboard 中找到 API 密鑰。
將秘密 API 密鑰作為 api_key 查詢參數傳遞給服務器的所有 API 請求。
2.下載網頁內容
使用 fetch 端點下載網頁
- 基本獲取器類型是獲取服務器端呈現頁面的正確選擇。與使用 Chrome fetcher 渲染 HTML 相比，它需要更少的資源并且工作速度更快
- 但為了渲染 Angular、React 和 Vue.js 網站，您應該始終指定 Chrome fetcher 類型。在這種情況下，無頭 Chrome 獲取器以與真實 Web 瀏覽器相同的方式呈現動態 Javascript 內容。
在 https://dataflowkit.com/render-web 上為您最喜歡的語言生成可立即運行的代碼
3.從搜索引擎收集搜索結果
要抓取搜索引擎結果頁面，您可以使用 /serp 端點。 SERP 收集服務提取有機結果、新聞、圖像等的列表。指定配置參數（例如國家/地區或語言）以自定義輸出 SERP 數據。支持以下搜索引擎
- 谷歌
- 谷歌圖片
- 谷歌新聞
- 谷歌購物
在 https://dataflowkit.com/serp 為您最喜歡的語言生成可立即運行的代碼
詳情參考：https://dataflowkit.com/doc-api#tag/serp/operation/serp
Web/SERP 數據提取。
數據流套件 (DFK) 計算每個成功 (2xx) 請求的頁面信用。因此，扣除的積分數量取決于您發送的請求數量。
| 沒有代理 | 使用代理 | ||
|---|---|---|---|
| 1個常規頁面請求成功 | 1 學分 | 2學分 | 使用基本 HTTP 請求“按原樣”獲取常規頁面 |
| 1 javascript頁面請求成功 | 2學分 | 3學分 | 真正的網絡瀏覽器（無頭瀏覽器）用于呈現動態 Javascript 驅動的網頁。 |
| 1 個 SERP 頁面成功請求 | - | 3學分 | Headless chrome 和代理始終用于搜索引擎數據請求。 |
筆記：
- 導致 DFK 錯誤響應的請求不會計費或計為積分。
- 如果使用 DFK 代理，則會扣除額外積分。
1.驗證
Dataflow Kit API 要求您注冊 API 密鑰才能使用該 API。
免費注冊后，可以在 DFK Dashboard 中找到 API 密鑰。
將秘密 API 密鑰作為 api_key 查詢參數傳遞給服務器的所有 API 請求。
2.下載網頁內容
使用 fetch 端點下載網頁
- 基本獲取器類型是獲取服務器端呈現頁面的正確選擇。與使用 Chrome fetcher 渲染 HTML 相比，它需要更少的資源并且工作速度更快
- 但為了渲染 Angular、React 和 Vue.js 網站，您應該始終指定 Chrome fetcher 類型。在這種情況下，無頭 Chrome 獲取器以與真實 Web 瀏覽器相同的方式呈現動態 Javascript 內容。
在 https://dataflowkit.com/render-web 上為您最喜歡的語言生成可立即運行的代碼
3.從搜索引擎收集搜索結果
要抓取搜索引擎結果頁面，您可以使用 /serp 端點。 SERP 收集服務提取有機結果、新聞、圖像等的列表。指定配置參數（例如國家/地區或語言）以自定義輸出 SERP 數據。支持以下搜索引擎
- 谷歌
- 谷歌圖片
- 谷歌新聞
- 谷歌購物
在 https://dataflowkit.com/serp 為您最喜歡的語言生成可立即運行的代碼
詳情參考：https://dataflowkit.com/doc-api#tag/serp/operation/serp
