二. 調試 REST API 請求

在深入 REST API 分頁前，建議安裝免費的網頁調試工具 Fiddler，通過該工具可以輕松調試 REST API 請求，查看請求與響應的詳細信息。

三. 方法一：通過 URL 參數實現分頁

通過 URL 參數指定頁碼是一種常見的分頁方式，通常通過循環請求直至服務器返回空數據。

示例 URL：

http://myserver.com/v1/api/getcustomers/?page=1

1. 關鍵點

a. 服務器返回空響應表示無新數據。

b. JSON 源連接器提供靈活的分頁配置選項，可應對此類場景。

當 URL 使用 offset 和 limit 參數時，可將頁碼指示器設置為 offset，增量值設置為 limit 參數：

示例 URL 集合：

http://myserver.com/v1/api/getcustomers/?offset=0&limit=1000

在運行時，offset 參數會自動遞增，生成后續分頁 URL。

四. 方法二：通過 URL 路徑實現分頁

某些 API 將頁碼或標識符放在 URL 路徑中。

示例 URL：

http://myserver.com/v1/api/getcustomers/page/1

1. 關鍵點

a. 返回 404 表示無新頁面。

b. JSON 源連接器可配置以處理此類場景。

c. 帶 Skip 參數的 URL

Skip 參數從 0 開始計數，可在 Path 模式中自定義計數器初始值。

五. 方法三：通過響應屬性實現分頁（Next Link 或 Cursor）

某些 API 會在響應中提供下一頁鏈接或游標，可按以下方式獲取下一頁數據：

1. 完整鏈接

例如：

nextPage: "https://mysite.com/api/v1/1/?filter=AAAA"

2. Cursor 方法

用于大量數據分頁，首次請求 URL 示例：

http://api.crossref.org/members/311/works?filter=type:journal-article&rows=100&cursor=*

a. 基于空行檢測末頁

當 Next Link 非空但數據行數組為空，可使用正則表達式判斷末頁。

六. 方法四：通過請求體傳遞頁碼

部分 API 支持通過 POST 請求體傳遞分頁參數，如 PageSize 和頁碼。例如 Google AdWords API 支持此類分頁方式。

七. 方法五：通過多個 URL 參數分頁（如 Start 與 End）

某些 API 需要多個遞增參數：

http://myserver.com/v1/api/getcustomers/?start=0&end=100

1. 響應頭分頁

部分 API 在響應頭提供下一頁鏈接或 Continuation Token，需要在后續請求中作為查詢參數或請求頭傳遞。

八. 方法八：通過請求體傳遞分頁 Token

當 API 使用 Base64 Token 或首次/后續請求體結構不同時，可采用以下模式：

1. 首次請求 Token 可為空

首次請求 Token 可留空，后續請求攜帶非空 Token，直至末頁。

2. 請求體結構差異

首次請求體可能與后續請求體結構不同，可通過屬性網格定義兩種模板，并在 HttpRequestData 中使用。

九. 將頁碼輸出為列

在某些場景中，可將每次請求的頁碼記錄到數據庫，便于下次續傳。
默認輸出包含 __FileName 列，可在屬性網格啟用 OutputFileName 屬性（默認值為 true）。

十. 末頁檢測機制

SSIS PowerPack 提供多種末頁檢測邏輯：

1. 基于行數：返回空文檔或空 JSON 數組。
2. 基于狀態碼：返回 404 等特定錯誤碼。
3. 基于錯誤消息：匹配特定錯誤字符串。
4. 基于響應大小：響應小于 3 字節。
5. 基于響應屬性值：檢查特定標識值。
6. 基于正則表達式：匹配響應內容。

十一. API 限流處理與重試機制

為防止服務器過載，多數 API 限制調用頻率（返回 429 或 503 錯誤碼）。可在連接設置中配置重試機制，例如：

429|503

十二. 性能優化建議

提升 API 調用性能的措施：

1. 使用最大分頁尺寸（參考 API 文檔）。
2. 減少不必要的請求。

十三. SSIS 無限循環實現

除了 JSON 源連接器自動分頁，REST API 任務也支持分頁，可持續下載頁面直至無結果。

十四. 結論

本文系統講解了在 SSIS 中實現 REST API 分頁的多種方法，包括 URL 參數分頁、響應屬性分頁、請求體分頁等。根據 API 特性選擇合適的分頁模式，可顯著提升數據處理效率。

原文鏈接: https://zappysys.com/blog/ssis-rest-api-looping-until-no-more-pages-found/