Hlavní změny v ISTQB CTFL sylabu

V následujícím textu mísím fakta se svými subjektivními dojmy či hodnocením.

Prošla jsem novou verzi sylabu ISTQB CTFL (Certified Tester Foundation Level) verze 4 z roku 2023 v češtině a musím říct, že jsem za aktualizaci velmi ráda.

Kdo nezná, je to mezinárodně uznávaná certifikace pro testery, která poskytuje základní znalosti o testování softwaru, zahrnující principy a praktické techniky testování. Klade důraz na jednotnou terminologii, což je klíčové pro jasnou a konzistentní komunikaci mezi testery.

Na kurzu účastníkům říkám, že certifikace není nutně třeba. Může to být malé bezvýznamné plus, ale spíš mi přijde, že v IT obecně nejsme moc velcí příznivci certifikací. Zejména těch, které jsou převážně teoretické a lze je složit bez praxe.

Paradoxně v první práci je následně složení CTFL hojně vyžadováno. Někteří zaměstnavatelé doporučují se její obsah doučit před nástupem. Pevně doufám, že v praxi se díky aktualizaci bude na certifikaci pohlížet v lepším světle.

Pročetla jsem v rychlosti sylabus a zde jsou mé dojmy. Co se změnilo k lepšímu a zaslouží si pozitivní feedback:
⭐ Jsem ráda, že se výrazně osekaly kapitoly 3. Statické testování a 6. Testovací nástroje, se kterými jsme měla největší problém. Hodně mimo praxi, spousta teorie k doslovnému našprtání.

⭐ Z 88 stránek je jen 66, přičemž se sylabus aktualizoval a doplnil mnoho témat z CTFL-Agile Tester, která mě bavila daleko víc, i když bylo cítit, že je ještě zastaralejší než CTFL.

⭐ Některé definice nyní dávají větší smysl než předtím. Odpadla spousta věcí, která se měla našprtat nazpaměť.

Ještě jsem neprošla vzorové testy, takže těžko říct, jestli zkouška bude v lidštější podobě a odpustí si příšerné slovíčkaření, na které pohořeli i ostřílení testeři, kteří podcenili míru nadrcení se věcí nazpaměť. (Prý moc ne. 😕 )

Doufám, že i test jako takový prošel značnou revizí a tak se už nestane, aby člověk pohořel na praktické otázce díky tomu, že nepochopí zadání. 🙄

Pravděpodobně začnu certifikaci doporučovat – ovšem s novým sylabem 2023. Nestojí moc a dá se na ní připravit v angličtině bez kurzu. Snad bude další aktualizace dříve než za 5 let.

Dle nového sylabu k certifikaci ISTQB CTFL jsem zrevidovala kurz. Níže sdílím své poznatky. Co mě mile překvapilo je doplnění zdrojů a roku k principům testování. Jsou to zajímavá zjištění. Nejstarší princip je starý přes 50 let!

Zdroj: ISTQB_CTFL_Syllabus-v4.0.2.pdf. Následně jsem se zeptala AI, zda tomu tak skutečně je. Níže kopíruji její komentář. Snad nekecá. 😅

1. Testování prokazuje přítomnost defektů, nikoli jejich nepřítomnost. – Toto tvrzení, původně formulované Buxtonem v roce 1970, poukazuje na to, že cílem testování není dokázat, že software je bez chyb, ale spíše identifikovat přítomné defekty.

2. Kompletní testování není možné. – Manna v roce 1978 zdůraznil, že kvůli nekonečnému počtu možných vstupů a testovacích podmínek je nemožné software otestovat úplně.

3. Včasné testování šetří čas a peníze. – Boehm v roce 1981 upozornil na důležitost začlenění testovacích aktivit co nejdříve do vývojového cyklu, aby se předešlo nákladným opravám v pozdějších fázích.

4. Shlukování defektů. – Enders v roce 1975 poznamenal, že chyby se často vyskytují skupinově v určitých oblastech softwaru.

5. Testy se opotřebovávají. – Beizer v roce 1990 poukázal na to, že stejné testy postupně přestávají být efektivní v odhalování nových chyb, což zdůrazňuje potřebu neustálé aktualizace testovacích sad.

6. Testování je závislé na kontextu. – Kaner v roce 2011 zdůraznil, že neexistuje univerzální přístup k testování, který by byl vhodný pro všechny situace; metody testování musí být přizpůsobeny konkrétnímu kontextu projektu.

7. Nepřítomnost defektů je klam. – Boehm, znovu v roce 1981, zdůraznil, že jen proto, že testování neodhalí žádné chyby, to ještě neznamená, že software je dokonalý.

Trochu mě mrzí přejmenování „Vyvarování se pesticidnímu paradoxu“ na „Testy se opotřebovávají“. Myslím, že pesticid byl skvělý na zapamatování. Nicméně to na něm stejně i nadále vysvětluji. 😉

Kapitola 1 – Základy testování

Drobné změny v přejmenování test principů.

Kapitola o psychologii testování se zkrátila už při změně z verze 2011 na 2018. Nyní se kapitola přejmenovala a téměř je zde psychologie testování odstraněna. Škoda. Nahrazeno dovednostmi, které by tester měl mít včetně týmového přístupu. Zůstalo alespoň konfirmační zkreslení.

Přesunula se sem podkapitola o nezávislosti testování z kapitoly 5.

Zmizela věta: Zjištěné a následně opravené defekty zvyšují kvalitu komponent nebo systémů. Asi v rámci zkrácení textu. Nicméně mi tato věta přišla velmi důležitá. 🤔

Změny ve slovníku jsem nenašla. Kontroluji oproti anglické verzi, jelikož v ČJ je slovník dostupný pouze k sylabu 2018. Vypadl pojem testovací orákulum, což je dobře, nikdy jsem o tom v praxi neslyšela. 😅

Závěr: Celkově je nyní text daleko více čitelnější s cílem stát se osnovou toho, co by Tester měl znát. 👍 Nedošlo zde k žádným významným změnám a neplyne odsud nic, co by dle mého názoru bylo nové a k doučení.

Kapitola 2 – Testování v kontextu životního cyklu vývoje softwaru

Téměř celá kapitola 2.1. je přepsaná a modernizovaná. Přibyla definice TDD, ATDD, BDD. Dále se přidalo DevOps a testování – zde oceňuji, že se nesnažili přeložit DevOps Pipeline. Oceňuji podkapitolu Retrospektivy a zlepšování procesů, protože má velký význam pro QA. 👏

Přibylo nové slovo ve slovníku a další podkapitolka shift-left. Slovníková definice je jen v AJ: „An approach to performing testing and quality assurance activities as early as possible in the software development lifecycle.“

Významně se zkrátil popis úrovní testování. Z několika stránek pouze na odstaveček. Tady bych doporučila projít předchozí sylabus, aby si člověk lépe představil, co je tím myšleno. Nyní je to popsáno poměrně abstraktně. Je skvělé, že odpadlo šprtání jednotlivých atributů pro každou úroveň. 👏

Oficiálně se rozdělilo integrační testování na 2 samostatné úrovně integrační testování komponent a systémové integrační testování, které následuje po systémovém testování. Jde o formalitu, potřebné info i rozdělení bylo už v předchozí verzi, jen to nebyly samostatné úrovně.

I podkapitolu Typy testů doporučuji nejprve pročíst v předchozí verzi. Přibylo Testování černé skříňky.

Testování související se změnami už není typ testu, přesunulo se a přejmenovalo do samostatné podkapitoly Konfirmační a regresní testování. Stále se ze sylabu nedozvíte, že minimální konfirmační testování = retest, což je oproti konfirmačnímu testování v praxi běžný výraz.

Závěr: Doporučuji přečíst celou kapitolu 2.1. Další změny jsou spíše kosmetického charakteru.

Kapitola 3 – Statické testování

Statické testování je výborná a důležitá věc, která by v procesu vývoje SW určitě neměla chybět. Jde hlavně o princip testování: Včasné testování šetří čas a peníze.

Do slovníku kapitoly přibylo slovo anomálie. Ubyly naopak konkrétní druhy revizí. Minule jsem psala, že slovník není v češtině aktualizován. Zjistila jsem, že v oficiální aplikaci se slovníkem lze přepnout jazyk na češtinu a získat oficiální překlady. Aplikace zde.

Proč tahle kapitola nepatřila v mých očí k těm užitečným? Byla strašně abstraktní. Formální proces revize jsem v praxi nikdy nezažila, ani o něm neslyšela. Studentům jsem doporučovala se prostě obsah našprtat.

Kapitola je nyní výrazně zkrácená, odpadá škrtání se věcí, které jsem na kurzu ani neučila. Tady dávám palec jednoznačně nahoru. 👍 Je zde cítit zanesení agilních technik a přibyla zde i zpětná vazba. 👏

Role moderátora se už nejmenuje prostředník, ale nově též facilitátor. To odpovídá praxi.

Typy revizí jsou výrazně zkráceny. 👏  Můžete s klidem zapomenout, kde byla jaká role povinná. Jediné, co zůstalo je: „Při inspekcích nemůže autor vystupovat jako vedoucí revize nebo zapisovatel.“ a “Předvedení (walkthrough) – vedené autorem”.

Tedy alespoň doufám, že skutečnost, že už to v sylabu není znamená zjednodušení a na člověka to nevybafne v testu, protože je to rozvedeno v knížkách k certifikaci. 🤔 Prošla jsem všechny 4 zkušební testy, které jsou bohužel zatím dostupné jen v angličtině. Zhodnocení testů jako takových si nechám na samostatný příspěvek. Nyní zatím napíšu jen to, že jsem si v nich potvrdila svou domněnku a i otázky jsou upravené. Snad i v reálném testu nebude překvapení. O tom, že sylabus stačí, se mluvilo i na YouTube kanále při představování změn v novém sylabu.

Je odebráno použití technik revize a s ním i cíl K3 – praktické použití. Matně si vzpomínám, že jsem otázku na toto téma v testu ani nepochopila. 😅

Tyto změny jsou v souladu s obecným trendem posilování role statického testování a jeho integrace do celkové strategie kvality včetně integrace do automatizovaných CI/CD pipeline. Jednoznačně změna k lepšímu. 👏

Kapitola 4 – Techniky testování

Jedna z nejužitečnějších kapitol v certifikaci vůbec. Bohužel ze sylabu se špatně učí praktické použití. Byly z něj odebrány i všechny příklady. Black Box i White Box techniky jsou popsané abstraktně a je k nim třeba dalšího výkladu a příkladů, abyste byli schopní použít je prakticky.

🎓 V příkladech ve cvičných testech lze nyní najít více množin ekvivalenčních tříd (s více vstupními parametry), kdy musíte vymyslet minimální počet TC pro 100% pokrytí, které obsáhnou každou třídu z každé množiny alespoň jednou.

✅ Konečně jsem správně pochopila 3-hodnotovou BVA, jak jsem psala v hodnocení  cvičných testů k certifikaci: https://lnkd.in/euiZBN7H.
Chtěla bych dodat, že i certifikovaní lektoři ji vysvětlují např. na YouTube stále špatně, v duchu příkladu, který byl uveden v předchozím sylabu a který zůstává i v sylabu pro test analýzu.

🔁 Testování přechodů stavů bylo rozšířeno o podmínky přechodu. Nyní jasně poskytuje tři kritéria pokrytí – pokrytí všech stavů, pokrytí platných přechodů a pokrytí všech přechodů.

💡 Byla přidána podkapitola Význam testování bílé skříňky.

✍️ Byla přidána podkapitola Techniky testování založených na spolupráci, která má  cíl K3 – použití ATDD k odvození TC  a dva nové K2 cíle – společné psaní user stories a psaní akceptačních kritérií.

👍 Byla odstraněna podkapitola Testování případů užití a spolu s ní cíl K2. To chválím.

V kapitole White Box techniky nastala změna, která je oficiálně okomentována následovně: “Testování a pokrytí rozhodnutí nahrazeno testováním a pokrytím větví (za prvé, termín pokrytí větví se v praxi používá více; za druhé, různé standardy definují termín rozhodnutí odlišně od větve; za třetí, řeší to drobný, ale závažný nedostatek ze starých osnov základní úrovně verze 2018, kde je napsáno, že „100% pokrytí rozhodnutí znamená 100% pokrytí příkazů“ – tato věta není pravdivá v případě kódu bez podmínek nebo cyklů, tedy bez bodů rozhodnutí).”

🎯 Celkově je celá kapitola z pohledu teorie daleko lépe popsaná než v předchozím sylabu, poskytuje detailnější a systematičtější popis jednotlivých technik testování.

PS: Do češtiny byl přeložen první cvičný test.

📖 PS2: Byla vydána první aktualizovaná kniha na sylabus v4: Software Testing: An ISTQB-BCS Certified Tester Foundation Level guide (CTFL v4.0) – Fifth edition.

Kapitola 5 – Management testování

Tato kapitola je zaměřena zejména na náplň práce Test Managera a tak většinou nepatří mezi kapitoly, které by byly u Junior Testerů oblíbené. Já například moc věcí z této kapitoly na základním kurzu neučím.

Podkapitolka 5.1. o nezávislosti testování se přesunula do kapitoly 1. 

👍 Ze slovníku i z obsahu vypadly strategie testování.

💡 Je přidán nový cíl K3 u technik odhadu pracnosti, aneb tentokrát i s popisem a se vzorečky k zapamatování. Příklady ve cvičných testech jsou jednoduché. 

✍️ Přidány agilní koncepty jako testovací kvadranty či testovací pyramida. Do plánování je zahrnuto i plánování iterace. K vysvětlení testovacích kvadrantů jsem si vzala na pomoc knihu Agile Testing.

🎯 Podkapitola o rizicích je rozšířena o analýzu a hodnocení produktových rizik s cílem mitigace rizika a tak myslím, že nyní dává větší smysl.

Zbylé kapitoly byly drobně aktualizovány. I nadále se domnívám, že tato kapitola zůstane neoblíbenou.

Kapitola 6 – Testovací nástroje

V předchozí verzi sylabu byla zrovna toto moje nejNEoblíbenější kapitola. Ztělesňovala vrchol abstrakce, kdy jste se museli našprtat klasifikaci nástrojů, o mnohých jsem za 10 let praxe nikdy neslyšela. Chyběl příklad typického nástroje pro danou kategorii, aby si člověk udělal nějaké spojení s realitou.

Kapitola se nyní zkrátila na jednu A4. Zůstala podkapitola o výhodách a nevýhodách automatizace, což je praktické téma. Nicméně: „rozsah textu o automatizaci testů byl snížen z důvodů příliš vysoké odbornosti nevhodné pro učební osnovy základní úrovně.“

Klasifikace nástrojů se zredukovala na třetinu a nově jsou vypsány jen hlavní kategorie. Můžete tedy zapomenout na detailní rozčlenění např. na „Nástroje podporující provádění a protokolování testů:
🔵 nástroje pro provádění testů (např. pro provádění regresních testů),
🔵 nástroje pro měření pokrytí, např. pokrytí požadavků nebo pokrytí kódu (D),
sady testovacího vybavení (test harnesses) (D)“

Nově si stačí zapamatovat jen „nástroje pro provádění testů a měření jejich pokrytí – usnadňují automatizované provádění testů a měření pokrytí“.

Odebrala se celá podkapitola Efektivní využívání nástrojů s částmi:
🔵 Hlavní zásady pro výběr nástrojů
🔵 Pilotní projekty při zavádění nástroje do organizace
🔵 Faktory úspěchu při zavádění a používání nástrojů.

Nemyslím si, že toto bylo vhodné na základní úrovni Testera, takže hodnotím pozitivně.

Když se našprtáte tuto jednu A4, máte dva body z testu v kapse. A to se vyplatí.

Změny v kapitole jsou z mé strany velmi vítané.

Cvičné testy

K dispozici jsou 4 cvičné testy v AJ, k minulé verzi sylabu byly pouze 3 testy. Cvičný test A má ještě rozšíření v podobě dalších 26 otázek po prvních 40. Nepřehlédněte je. 😉

Co se v testech změnilo? Už zde není otázka na definici slova ze slovníku. To ale neznamená, že význam slovíček nemusíte znát. Naopak. ☝

Jednou z hlavních nevýhod certifikace bylo, že se v testu strašným způsobem slovíčkaří. Všichni jsme doufali, že to se nyní změní a můj dojem je, že se tak částečně stalo. ✅

Je třeba si pořád dávat pozor a pečlivě číst každé slovo. Některé otázky jsou stále vyloženě slovíčkaření, ale už ne tak strašné. Příklad: Je třeba znát význam pojmů validace a verifikace. Použití ve špatném kontextu logicky učiní odpověď nesprávnou. Musím říct, že mě tohle ale baví. Pečlivě přečíst větu a najít chybu právě v tomto, je poměrně zábavné a jednoduché. 😎

Druhou nevýhodou certifikace je předvedení praktických dovedností. Občas to zhatí příklad, který máte problém pochopit. Pak se praktické dovednosti špatně předvádí. V předchozích testech bylo vše jasné, nyní oceňuji, že různé varianty zadání naleznete už v cvičných testech a ne vždy je lehce pochopitelné. To studenty připraví lépe i k reálnému testu, kde nebudou překvapeni. 👏

Sama jsem byla při zkoušce velmi nemile zaskočena praktickou otázkou, u které jsem absolutně nepochopila zadání. Pokud narazíte na krkolomné zadání, doporučuji jít od něj ihned pryč a neztrácet cenné minuty. Když zbyde čas, vrátíte se k němu později. 😉

Díky otázce na 3-hodnotovou BVA, která v minulých cvičných testech chyběla, jsem zjistila, že jsem ji špatně pochopila. K tomu pomohl i nesprávný příklad přímo v předchozím sylabu. Našla jsem skvělé vysvětlení zde.

Obsah sylabu je nutné se našprtat, ale nenarazila jsem na nic, co by v něm nebylo napsáno. Trochu jsem se u radikálně zkrácených kapitol 3 a 6 bála, že je knihy, které jsou k certifikaci doporučené, budou rozvádět více a tyto informace budou třeba pro test. Naštěstí tomu tak alespoň v cvičných testech není. Věřím, že tomu tak není ani v reálném testu. 🙏

V celém sylabu a i v testech je cítit velká změna v tom, že je agilní vývoj daleko více zahrnut. Však je také nová verze sylabu kombinací staré verze a obsahu certifikace Agile Tester. I když znalost agilních metodik byla i dříve doporučena ke složení předchozí verze, reálně moc potřeba nebyla. To si troufám říct, se nyní změnilo. Je třeba znát jak agilní svět funguje a o jaká pravidla se opírá, což vám v testu u některých otázek velmi pomůže. Vím, že tato stránka je na kurzech či samotnými studenty velmi často opomíjena kvůli tomu, jakou pověst má agile u nás v ČR.

Celkově hodnotím změny velmi pozitivně.

Negativně opět hodnotím to, že ve vzorových testech jsou postupně nacházeny a opravovány chyby, což může komplikovat studium.