自動化測試輔助：雲端經濟中API品質的隨機測試生成

目錄

1. 簡介

由API經濟驅動的數位轉型，依賴部署於混合雲與邊緣環境的複雜微服務架構。這些通常來自多個供應商的服務，被組合起來以提供商業價值。例如，一家線上書店可能會整合庫存、購物車、信用驗證和物流微服務。這種組合方式帶來了超越功能正確性的重大品質挑戰，包括通訊失敗、訊息排序問題、服務部署位置以及斷路器失效等。

由於可能的呼叫序列和參數組合空間極為龐大，使得窮舉測試不切實際，因此測試這些API本質上非常複雜。傳統的導向式測試則耗費大量人力。本文介紹「自動化測試輔助」，這是一款隨機測試生成工具，旨在透過讀取API規格、推導模型並生成測試來自動化API測試，同時揭示規格中的陷阱。

2. 隨機API測試生成的核心挑戰

隨機測試生成範式涉及隨機選擇一個API函數 $f()$ 及其合法的輸入參數 $p_1, ..., p_k$，執行它，並觀察輸出和副作用。這個過程面臨幾個關鍵挑戰。

2.1 語法與語意輸入有效性

除了生成語法正確的輸入外，生成器還必須確保參數符合API呼叫成功的前置條件。例如，呼叫「購買書籍」API $g()$ 需要一個從先前「取得書籍」API $f()$ 獲得的有效書籍參照。

2.2 行為驗證與測試預言問題

在隨機測試中，判斷API呼叫的行為是否符合預期（測試預言問題）並非易事，特別是在有狀態系統中。

2.3 除錯與問題隔離

當隨機生成的測試揭示問題時，系統必須支援除錯，而由於測試的非確定性，這可能很困難。

2.4 與導向式回歸測試套件的整合

一個關鍵問題是如何將透過隨機生成發現的有價值測試案例（特別是揭示錯誤的案例）整合到一個穩定的、導向式的回歸測試套件中。

2.5 涵蓋率評估與信任度

評估隨機生成達到的涵蓋率，並判斷是否可以單獨信任它來進行系統回歸測試，或者是否仍然需要導向式測試套件。

3. 自動化測試輔助方法

自動化測試輔助透過根本上依賴API規格來應對前兩個挑戰。

3.1 以API規格為基礎

該工具讀取API規格，該規格必須定義前置條件和後置條件。此規格作為生成有效測試和測試預言的單一事實來源。

3.2 模型推導與測試生成

從規格中，自動化測試輔助推導出API行為、依賴關係和狀態的模型。然後使用此模型來驅動語法和語意皆有效的API呼叫序列的隨機生成。

3.3 揭示規格陷阱

此方法的一個重要附加效益是，讀取和建模規格的過程本身就能揭示規格中的模糊性、不一致性或缺失的約束——這些陷阱原本可能導致整合錯誤。

4. 關鍵見解與分析師觀點

5. 技術細節與數學框架

自動化測試輔助的核心涉及從規格中推導模型。我們可以將一個API $f$ 概念化為一個具有前置條件 $Pre_f$ 和後置條件 $Post_f$ 的函數。系統狀態 $S$ 會因API呼叫而改變。

生成演算法可以抽象為：

1. 模型： 對於每個API $f_i$，提取 $Pre_{f_i}(S, \vec{p})$ 和 $Post_{f_i}(S, S', \vec{p}, \vec{r})$，其中 $S$ 是前狀態，$S'$ 是後狀態，$\vec{p}$ 是參數，$\vec{r}$ 是結果。
2. 選擇： 隨機選擇一個API $f_i$，其中 $Pre_{f_i}(S_{current}, \vec{p})$ 可以被滿足。這需要根據 $S_{current}$ 來求解 $\vec{p}$。
3. 生成： 為滿足 $Pre_{f_i}$ 的 $\vec{p}$ 生成具體值。
4. 執行與驗證： 執行 $f_i(\vec{p})$，觀察新狀態 $S'_{observed}$ 和結果 $\vec{r}_{observed}$。驗證 $Post_{f_i}(S_{current}, S'_{observed}, \vec{p}, \vec{r}_{observed})$ 是否成立。
5. 狀態更新： 如果有效，則更新 $S_{current} = S'_{observed}$。

挑戰在於高效地解決步驟2和3中的約束條件，這與可滿足性模理論問題相關。

6. 實驗結果與效能

雖然提供的PDF摘錄未包含具體的量化結果，但本文暗示了對評估至關重要的效能指標：

• 錯誤偵測率： 與導向式測試相比，每單位測試時間所揭示的缺陷（實作和規格中）的數量和嚴重程度。
• 序列有效性率： 隨機生成的API呼叫序列中，語意有效（即滿足所有前置條件）的百分比，展示了模型的有效性。
• 狀態空間涵蓋率： 關於不同系統狀態和參數值邊界涵蓋率的指標，可能使用程式碼涵蓋率工具或自訂狀態探針進行測量。
• 規格陷阱發現： 對建模階段在API規格中發現的模糊性或錯誤類型的定性分析。

一個假設的結果圖表會顯示，隨機測試的錯誤發現率初始曲線陡峭，最終趨於平緩，而導向式測試則提供穩定但較低的發現率。結合兩種方法能產生最高的累積缺陷發現量。

7. 分析框架：非程式碼範例

考慮一個簡化的「書店API」，包含兩個操作：

1. GET /book/{id}：傳回書籍詳細資訊。前置條件： 庫存中必須存在ID為 `{id}` 的書籍。
2. POST /cart/{bookId}：將書籍加入購物車。前置條件： ID為 `{bookId}` 的書籍必須是可用的（存在且有庫存）。

自動化測試輔助工作流程：

1. 模型推導： 工具讀取規格並學習依賴關係：`POST /cart` 需要先成功呼叫 `GET /book`（以確認存在/可用性）。
2. 測試生成： 它隨機決定測試 `POST /cart/{bookId}`。
3. 參數求解： 為了滿足前置條件，它必須首先生成一個有效的 `bookId`。它可能透過以下方式之一實現：
   a) 使用隨機ID呼叫 `GET /book` 直到成功為止（探測）。
   b) 使用先前測試運行或種子資料中的已知ID列表。
   然後，它將這個有效的 `bookId` 用於 `POST /cart` 呼叫。
4. 陷阱發現： 如果 `POST /cart` 的規格只提到「書籍必須存在」，但實作中還檢查了庫存水平，那麼隨機測試可能會失敗。自動化測試輔助會將此標記為規格陷阱：規格中的前置條件不完整。
5. 回歸整合： 成功將商品加入購物車的序列 `[GET /book/valid_id, POST /cart/valid_id]` 會被儲存，作為導向式回歸測試套件的候選項目。

8. 未來應用與研究方向

• AI增強規格推論： 整合大型語言模型來解釋自然語言或不完整的規格，並建議正式的前置/後置條件，減少前期創建完美規格的負擔。
• 適應性與回饋驅動生成： 超越純粹隨機性，使用強化學習。生成器將學習哪些API序列和參數值更有可能發現新錯誤或探索未涵蓋的狀態空間，類似於適應性模糊測試中的技術。
• 跨服務與整合測試： 擴展模型以理解不同供應商之間微服務的依賴關係和合約，為複雜的多服務工作流程和故障情境（例如斷路器模式）生成測試。
• 合規性與安全性測試： 將安全策略（例如OAuth範圍、資料隱私規則）納入模型，以自動生成驗證功能性和非功能性合規要求的測試。
• 即時API監控與測試： 使用相同的模型生成低流量的連續測試套件，在生產或預發布環境中運行，以即時偵測回歸或規格漂移。

9. 參考文獻

1. Farchi, E., Prakash, K., & Sokhin, V. (2022). Random Test Generation of Application Programming Interfaces. arXiv preprint arXiv:2207.13143v2.
2. Myers, G. J., Sandler, C., & Badgett, T. (2011). The Art of Software Testing. John Wiley & Sons. （關於基礎測試原則）。
3. Osterweil, L., et al. (2020). Shifting Left: The Economic Impacts of Early Defect Detection. Carnegie Mellon University, Software Engineering Institute. （關於早期測試的成本效益分析）。
4. Google Testing Blog. (2019). Fuzzing at Scale. Retrieved from https://testing.googleblog.com/. （關於大規模隨機測試的實務見解）。
5. de Moura, L., & Bjørner, N. (2008). Z3: An Efficient SMT Solver. Tools and Algorithms for the Construction and Analysis of Systems. （關於測試生成中使用的約束求解技術基礎）。
6. OpenAPI Initiative. (2023). OpenAPI Specification v3.1.0. https://spec.openapis.org/oas/v3.1.0. （關於機器可讀API規格的標準）。