本页概述了开发人员支持的 CTS (CTS-D) 的使用指南。
测试覆盖率
CTS-D 与 CTS 和 CTS Verifier 一样,只能强制执行以下内容:
- 开发者 SDK (developer.android.com) 中针对特定 API 级别描述的所有公共 API。
- Android 兼容性定义文档 (CDD) 中包含的针对特定 API 级别的所有必须要求。
非必须要求(例如“强烈建议”、“应该”、“可以”)是可选的,无法使用 CTS 进行测试。
由于所有 API 和 CDD 要求都与特定的 API 级别相关联,因此所有 CTS 测试(CTS、CTS-D 和 CTS Verifier)都与与其关联的 API 或要求相同的 API 级别相关联。如果特定 API 被弃用或更改,则必须弃用或更新其相应的测试。
CTS测试创建规则
- 测试必须始终如一地产生相同的客观结果。
- 测试必须通过开箱即用的一次测试来确定设备是否通过。
- 测试创建者必须消除所有可能影响测试结果的因素。
- 如果设备需要特定的硬件条件/环境/设置,则必须在提交消息中明确定义该设置。有关示例设置说明,请参阅设置 CTS 。
- 测试每次运行时间不得超过 6 小时。如果需要运行更长时间,请在您的测试提案中包含推理,以便我们对其进行审核。
以下是用于测试应用程序限制的一组测试条件示例:
- Wifi 稳定(针对依赖 Wifi 的测试)。
- 设备在测试期间保持静止(或不静止,取决于测试)。
- 设备已从电池电量为 X% 的任何电源上拔下。
- 除 CTS 外,没有任何应用程序、前台服务或后台服务正在运行。
- 运行 CTS 时屏幕关闭。
- 该设备不是
isLowRamDevice
。 - 省电模式/应用程序限制尚未从“开箱即用”状态发生改变。
测试资格
我们接受新的测试,这些测试强制执行现有 CTS、CTS 验证程序或 CTS-D 测试未测试的行为。任何检查超出我们测试覆盖范围的行为的测试都将被拒绝。
CTS提交流程
- 编写测试提案:应用程序开发人员使用Google Issue Tracker提交测试提案,描述已识别的问题并提出测试来检查问题。该提案必须包含关联的CDD 要求 ID 。 Android 团队审核该提案。
- 开发 CTS 测试:提案获得批准后,其提交者在主(AOSP/主)分支上的 AOSP 上创建 CTS 测试。 Android 团队审查代码。
- 发布测试:在
AOSP/main
上提交您的 CL,然后将其挑选到最新的androidx-tests-dev
分支。该测试现已公开。
CTS-D 测试编写指南
- 遵循Java 代码风格指南。
- 请遵循CTS 开发中描述的所有步骤。
- 将您的测试添加到适当的测试计划中:
- 使用
include-filters
将新测试添加到 CTS-D 测试计划中:platform/cts/tools/cts-tradefed/res/config/cts-developer.xml
。 - 使用
exclude-filters
将新测试从主 CTS 测试计划中排除:platform/cts/tools/cts-tradefed/res/config/cts-developer-exclude.xml
。
- 使用
- 处理
build_error.log
中所有errorprone
警告和建议。 - 将您的更改重新设置为
head
。这包括cts-developer.xml
和cts-developer-exclude.xml
测试计划。 - 与您的 Google 工程联系人合作,确定您的测试用例是否可以包含在现有的 CTS 模块中。如果不能,他们会帮助您创建一个新模块。
- 对于创建的每个新测试模块,在新测试模块目录中创建一个 OWNERS 文件。
- 您的 OWNERS 文件应包含从与您合作的 Google 测试所有者处获得的以下信息:
-
# Bug component: xxx
- Google 测试所有者 ldap
- 在
AndroidTest.xml
中,指定以下参数。请参阅示例文件 ( 1 , 2 ) 作为示例:-
Instant_app
或not_instant_app
-
secondary_user
或not_secondary_user
-
all_foldable_states
或no_foldable_states
-
- 要指定正确的 minSDK,请参阅<uses-sdk> 文档。
- 签入新的测试方法、类或模块时,将它们添加到 CTS-D 测试计划中,并以与新测试相同的方式将它们从主 CTS 测试计划中排除。
运行您的 CTS-D 测试
使用run cts --plan cts-developer
从命令行运行 CTS-D 测试计划。
要运行特定测试用例,请使用run cts --include-filter "test_module_name test_name"
。
有关运行完整 CTS 的信息,请参阅运行 CTS 测试。
接受与发布
提交测试请求后,内部团队将对其进行审核,以确保它测试 CDD 要求或记录的 API 行为。如果确定测试是为了检查有效的要求或行为,团队会将此测试用例转发给 Google 工程师进行进一步审查。 Google 工程师将与您联系,提供有关如何改进测试的反馈,然后才能被 CTS 接受。
有关 CTS 发布计划的详细信息,请参阅发布计划和分支信息。