Autotest Assist：云经济时代面向API质量的随机测试生成

目录

1. 引言

由API经济驱动的数字化转型依赖于部署在混合云和边缘环境中的复杂微服务架构。这些通常来自多个供应商的服务被组合起来以交付业务价值。例如，一个在线书店可能会集成库存、购物车、信用验证和物流微服务。这种组合带来了超越功能正确性的重大质量挑战，包括通信故障、消息排序问题、服务部署位置以及熔断器故障等。

由于可能的调用序列和参数组合空间极其庞大，使得穷尽测试不切实际，因此测试这些API本身就非常复杂。传统的定向测试劳动密集度高。本文介绍Autotest Assist，这是一款随机测试生成工具，旨在通过读取API规范、推导模型并生成测试来自动化API测试，同时揭示规范中的陷阱。

2. 随机API测试生成的核心挑战

随机测试生成范式涉及随机选择一个API函数 $f()$ 及其合法的输入参数 $p_1, ..., p_k$，执行该函数，并观察输出和副作用。这个过程面临几个关键挑战。

2.1 语法与语义输入有效性

除了生成语法正确的输入外，生成器还必须确保参数符合API的前置条件，以便调用成功。例如，调用“购买书籍”API $g()$ 需要一个从先前“获取书籍”API $f()$ 获得的有效书籍引用。

2.2 行为验证与测试预言问题

在随机测试中，确定一个API调用是否按预期行为（测试预言问题）并非易事，尤其对于有状态系统。

2.3 调试与问题隔离

当随机生成的测试揭示问题时，系统必须支持调试，但由于测试的非确定性，这可能很困难。

2.4 与定向回归测试套件的集成

一个关键问题是如何将通过随机生成（尤其是揭示了一个缺陷的测试用例）发现的有价值的测试用例，集成到一个稳定的、定向的回归测试套件中。

2.5 覆盖率评估与可信度

评估随机生成实现的覆盖率，并确定是否可以信任它单独用于系统回归，或者是否仍然需要定向测试套件。

3. The Autotest Assist Approach

Autotest Assist 通过从根本上依赖API规范来解决前两个挑战。

3.1 以API规范为基础

该工具读取API规范，该规范必须定义前置条件和后置条件。此规范作为生成有效测试和测试预言的单一事实来源。

3.2 模型推导与测试生成

Autotest Assist 从规范中推导出API行为、依赖关系和状态的模型。然后使用该模型驱动语法和语义上有效的API调用序列的随机生成。

3.3 揭示规范陷阱

这种方法的一个重要附带好处是，读取和建模规范的过程本身可以揭示规范中的模糊性、不一致性或缺失的约束——这些陷阱原本可能导致集成错误。

4. 核心见解与分析视角

5. 技术细节与数学框架

Autotest Assist 的核心涉及从规范中推导模型。我们可以将API $f$ 概念化为一个具有前置条件 $Pre_f$ 和后置条件 $Post_f$ 的函数。系统的状态 $S$ 由API调用修改。

生成算法可以抽象为：

1. 建模： 对于每个API $f_i$，提取 $Pre_{f_i}(S, \vec{p})$ 和 $Post_{f_i}(S, S', \vec{p}, \vec{r})$，其中 $S$ 是前置状态，$S'$ 是后置状态，$\vec{p}$ 是参数，$\vec{r}$ 是结果。
2. 选择： 随机选择一个API $f_i$，其中 $Pre_{f_i}(S_{current}, \vec{p})$ 可以被满足。这需要根据 $S_{current}$ 求解 $\vec{p}$。
3. 生成： 生成满足 $Pre_{f_i}$ 的 $\vec{p}$ 的具体值。
4. 执行与验证： 执行 $f_i(\vec{p})$，观察新状态 $S'_{observed}$ 和结果 $\vec{r}_{observed}$。验证 $Post_{f_i}(S_{current}, S'_{observed}, \vec{p}, \vec{r}_{observed})$ 是否成立。
5. 状态更新： 如果有效，更新 $S_{current} = S'_{observed}$。

挑战在于高效地解决步骤2和3中的约束，这涉及到可满足性模理论问题。

6. 实验结果与性能

虽然提供的PDF摘录不包含具体的定量结果，但论文暗示了对于评估至关重要的性能指标：

• 缺陷检测率： 与定向测试相比，单位测试时间内揭示的缺陷（包括实现和规范中的缺陷）的数量和严重程度。
• 序列有效性率： 随机生成的API调用序列中语义有效（即满足所有前置条件）的百分比，展示了模型的有效性。
• 状态空间覆盖率： 关于不同系统状态和参数值边界覆盖率的指标，可能使用代码覆盖率工具或自定义状态探针进行测量。
• 规范陷阱发现： 对建模阶段在API规范中发现的模糊性或错误类型的定性分析。

一个假设的结果图表可能会显示随机测试的缺陷发现率初始曲线陡峭，最终趋于平缓，而定向测试则提供稳定但较低的发现率。组合方法产生最高的累计缺陷发现量。

7. 分析框架：一个非代码示例

考虑一个简化的“书店API”，包含两个操作：

1. GET /book/{id}：返回书籍详情。前置条件： 库存中必须存在ID为 `{id}` 的书籍。
2. POST /cart/{bookId}：将书籍添加到购物车。前置条件： ID为 `{bookId}` 的书籍必须可用（存在且有库存）。

Autotest Assist 工作流程：

1. 模型推导： 工具读取规范并学习依赖关系：`POST /cart` 需要先成功调用 `GET /book`（以确认存在/可用性）。
2. 测试生成： 它随机决定测试 `POST /cart/{bookId}`。
3. 参数求解： 为了满足前置条件，它必须首先生成一个有效的 `bookId`。它可以通过以下任一方式实现：
   a) 使用随机ID调用 `GET /book` 直到成功（探测）。
   b) 使用先前测试运行或种子数据中的已知ID列表。
   然后，它将这个有效的 `bookId` 用于 `POST /cart` 调用。
4. 陷阱发现： 如果 `POST /cart` 的规范只提到“书籍必须存在”，但实现中还检查了库存水平，那么随机测试可能会失败。Autotest Assist 将此标记为规范陷阱：规范中的前置条件不完整。
5. 回归集成： 成功将商品添加到购物车的序列 `[GET /book/valid_id, POST /cart/valid_id]` 被保存为定向回归测试套件的候选用例。

8. 未来应用与研究方向

• AI增强的规范推断： 集成大语言模型来解释自然语言或不完整的规范，并建议形式化的前置/后置条件，从而减轻前期创建完美规范的负担。
• 自适应与反馈驱动的生成： 超越纯随机性，使用强化学习。生成器将学习哪些API序列和参数值更有可能发现新缺陷或探索未覆盖的状态空间，类似于自适应模糊测试中的技术。
• 跨服务与集成测试： 扩展模型以理解不同供应商微服务之间的依赖关系和契约，为复杂的多服务工作流和故障场景（例如，熔断器模式）生成测试。
• 合规性与安全测试： 将安全策略（例如，OAuth范围、数据隐私规则）纳入模型，以自动生成验证功能性和非功能性合规性要求的测试。
• 实时API监控与测试： 使用相同的模型生成一个低流量的、持续运行的测试套件，针对生产或预发布环境运行，以实时检测回归或规范漂移。

9. 参考文献

1. Farchi, E., Prakash, K., & Sokhin, V. (2022). Random Test Generation of Application Programming Interfaces. arXiv preprint arXiv:2207.13143v2.
2. Myers, G. J., Sandler, C., & Badgett, T. (2011). The Art of Software Testing. John Wiley & Sons. (关于基础测试原则).
3. Osterweil, L., et al. (2020). Shifting Left: The Economic Impacts of Early Defect Detection. Carnegie Mellon University, Software Engineering Institute. (关于早期测试的成本效益分析).
4. Google Testing Blog. (2019). Fuzzing at Scale. Retrieved from https://testing.googleblog.com/. (关于大规模随机测试的实践见解).
5. de Moura, L., & Bjørner, N. (2008). Z3: An Efficient SMT Solver. Tools and Algorithms for the Construction and Analysis of Systems. (关于测试生成中使用的约束求解技术基础).
6. OpenAPI Initiative. (2023). OpenAPI Specification v3.1.0. https://spec.openapis.org/oas/v3.1.0. (关于机器可读API规范的标准).