전통적인 기존 시스템에 대한 테스팅은 잘 알려져 있지만, 일상 생활에서 점점 더 보편화되고 중요해지고 있는 AI 기반 시스템에 대한 테스팅은 새로운 과제를 제시하고 있다. 이런 시스템은 각기 고유한 특성을 가지고 있고, 심층 신경망처럼 복잡하고, 빅 데이터를 기반으로 하며, 자가 학습적이고 비결정적일 수 있어 테스팅에 많은 새로운 도전과 기회를 생성한다.

ISTQB AI Testing 실러버스는 인공지능(AI)의 주요 개념, 인수 기준 결정법과 AI 기반 시스템을 테스팅하는 방법을 소개한다. 오늘날 사용되는 다양한 유형의 AI 기반 시스템을 소개하고, 왜 머신 러닝(ML)이 이런 시스템의 핵심 부분인가를 설명하고, 쉽게 ML 시스템을 구축하는 방법도 보여준다. AI 기반 시스템에 대한 인수 기준 설정이 어떻게 변경되어야 하는지, 왜 윤리를 고려해야 하는지, AI 기반 시스템의 특성이 왜, 그리고 어떻게 기존 시스템보다 테스팅을 어렵게 만드는지를 설명한다. 이런 시스템으로 어떻게 품질을 달성할 수 있는지 보여주기 위해 세 가지 관점이 사용되고 있다.
첫째, 학습과 예측 모두에 사용되는 데이터의 품질을 확신하기 위해 기계 학습 시스템 구축 시 선택과 확인이 필요한 사항을 고려한다. 이상적으로는 편향과 잘못된 레이블 지정(mislabelling)이 없는 데이터를 원하지만 가장 중요하게는 문제점과 밀접하게 관련된 데이터를 원한다.
둘째로는 백투백 테스트 및 A/B 테스트와 같이 AI 기반 시스템의 블랙박스 테스트에 적합한 접근 방법의 범위를 살펴보고 변형(metamorphic) 테스팅 기법을 좀 더 자세히 소개한다.
셋째, 화이트박스 테스팅이 어떻게 테스팅을 주도하고 신경망 테스트 커버리지를 측정할 수 있는지 보여준다. 가상 테스트 환경의 필요성은 자율주행 자동차의 경우를 예로 들어 설명할 것이다. 끝으로, 일반적인 테스팅 문제에 AI를 성공적으로 적용한 예를 살펴봄으로써 AI를 테스팅을 지원하는 도구의 기반으로 사용하는 것에 대해 살펴본다.
ISTQB AI Testing 내용과 교육과정은 매우 실용적이며 다양한 실습을 포함해 학습자에게 다양한 유형의 기계 학습 시스템을 구축하고 테스팅하는 경험을 제공할 수 있지만 프로그래밍 경험이 반드시 필요하지는 않다.

BO ID	BO 내용
AI-BO 1	AI 현황과 예상되는 트렌드를 이해한다.
AI-BO 2	ML 모델의 구현과 테스트를 경험하고 테스터가 품질에 가장 크게 기여할 부분을 인식한다.
AI-BO 3	자가학습 능력, 편향, 윤리, 복잡성, 비결정성, 투명성, 설명 가능성과 같은 AI 기반 시스템 테스트 관련 문제를 이해한다.
AI-BO 4	AI 기반 시스템의 테스트 전략에 기여한다.
AI-BO 5	AI 기반 시스템에 대한 테스트 사례를 설계하고 실행한다.
AI-BO 6	AI 기반 시스템 테스트 지원을 위해 테스트 인프라에 대한 특별 요구사항을 인식한다.
AI-BO 7	AI가 SW 테스트를 지원하는 데 어떻게 사용될 수 있는지 이해한다.

2019년 말 대한민국 정부는 ‘IT 강국을 넘어 AI 강국으로: AI for Everyone, AI of Everything' 라는 국가비전을 가지고 'AI 국가전략'을 발표했다. 같은 시기에 (사)KSTQB는 인도에서 열린 ISTQB 총회에 참석해 우리가 제작하고 중국과 같이 진행해오던 ‘KSTQB & CSTQB AI 테스팅’ 지식체계(syllabus, 실러버스)를 ISTQB 국제 실러버스로 채택해줄 것을 제안했다.
이를 시발점으로 한국, 중국, 인도, 독일, 영국, 스페인, 캐나다를 대표하는 기관들이 ISTQB AI Testing TF 팀을 구성했다. 매주 온라인 미팅을 통해 당시 각각 진행되던 세 개의 다른 AI 테스팅 지식체계를 한국 실러버스 기반으로 취합하고 여기에 급변하는 글로벌 AI 트랜드를 반영해 현 ISTQB CT-AI 실러버스의 출시에 이르렀다.

우리나라에서는 STA컨설팅과 (사)KSTQB가 주축이 되고, STA컨설팅의 CTO인 Stuart Reid(테스팅 프로페셔널) 박사가 실러버스 TF팀의 리딩역할을 담당했다.
Stuart 박사는 ISO (ISO/IEC/IEEE 29119 Software Testing) SW테스팅 표준을 제정하는 의장으로 해당 Working Group을 리드하고 있다.