Evaluatiemethode

Een toegankelijkheidsonderzoek moet betrouwbaar zijn en goed te vergelijken. Zonder een vaste methode lukt dat niet. WCAG-EM geeft die structuur. WCAG-EM die structuur.

WCAG-EM is een openbare en betrouwbare evaluatiemethode om het toegankelijkheidsniveau van een website te bepalen. De methode heeft 5 stappen:

  1. Scope definiëren
  2. Website verkennen
  3. Steekproef bepalen
  4. Steekproef onderzoeken
  5. Onderzoek rapporteren

Deze stappen zorgen voor een grondig toegankelijkheidsonderzoek. Onderzoeken van verschillende websites zijn daardoor beter te vergelijken.

Scope definiëren

De scope bepaalt precies wat wel en niet wordt onderzocht. De onderzoeker stemt dit altijd af met de opdrachtgever.

Wat hoort bij scope definiëren?

1. Doelwebsite

Eerst bepaalt de onderzoeker welke website of welk websiteonderdeel wordt onderzocht. Dat gebeurt zo specifiek mogelijk. Daarbij horen twee dingen:

  • Welke hoofd- en eventueel subdomeinen binnen de scope vallen.
  • Welke onderdelen expliciet buiten de scope vallen.

2. Conformiteitsniveau

WCAG heeft 3 niveaus. Niveau A biedt basis toegankelijkheid, niveau AA is de standaard voor overheid en bedrijven. Niveau AAA is het hoogste niveau maar wordt zelden gevraagd.

3. Basisniveau van ondersteuning

In overleg met de opdrachtgever stelt de onderzoeker vast welke combinaties van besturingssystemen, browsers en hulptechnologieën de website minimaal moet ondersteunen.

4. Extra eisen (optioneel)

In overleg met de opdrachtgever komen er soms extra onderzoeksvereisten bij. Denk aan testen met specifieke doelgroepen, het detailniveau van het rapport of het gebruik van specifieke tools. Dat staat vooraf vast, zodat er later geen discussie ontstaat.

Website verkennen

Voordat er een steekproef komt, moet eerst duidelijk zijn hoe de website werkt. Dit is speurwerk: de onderzoeker zoekt uit welke pagina’s, functies en technologieën de site heeft. Dat gaat vaak in overleg met de opdrachtgever, want die kent de website het best.

Waarom website verkennen belangrijk is

Elke website is anders. Goed verkennen voorkomt dat belangrijke onderdelen buiten de steekproef blijven.

Wat levert de verkenning op?

De verkenning levert een lijst op met:

  • Verschillende paginatypes en documenten:
    • Templates met verschillende opmaak en structuur
    • Content zoals formulieren, tabellen, media, infographics
    • Componenten zoals accordeons, carrousels, dialoogvensters, tabpanelen, applicaties
  • Belangrijke functionaliteiten:
    • Zoeken op de website
    • Formulier invullen en verzenden
    • Producten bestellen
  • Verschillende technologieën:
    • HTML
    • CSS
    • JavaScript
    • WAI-ARIA
    • SVG
    • PDF

Steekproef bepalen

Grote websites hebben duizenden pagina’s. Niet alles kan worden onderzocht. Daarom is een slimme steekproef nodig die betrouwbare resultaten geeft.

Wanneer alle pagina’s toetsen?

In sommige situaties worden alle pagina’s getoetst. Dit zijn veelgebruikte praktijkrichtlijnen in de sector:

  • De website heeft minder dan 20 pagina’s.
  • De opdrachtgever vraagt dit expliciet.
  • Er is genoeg tijd en budget.

WCAG-EM heeft hier zelf geen vaste regels over.

Welke pagina’s horen in een steekproef?

De grootte van de steekproef hangt af van verschillende factoren: meer pagina’s betekent een grotere steekproef, complexere functionaliteit vraagt om meer pagina’s, verschillende ontwerpen vragen om meer variatie, en meer technieken betekent dat er breder moet worden getoetst.

WCAG-EM combineert 2 typen steekproeven:

1. Gestructureerde steekproef

Dit is de hoofdsteekproef. De onderzoeker kiest bewust pagina’s die de hele website vertegenwoordigen.

Daarin zitten, waar mogelijk, altijd:

  • Gemeenschappelijke pagina’s: Beginpagina, contactpagina, over ons, sitemap
  • Essentiële functionaliteit: Zoeken, inloggen, formulier versturen, media, meertaligheid
  • Verschillende paginatypes: Overzichtspagina, detailpagina, formulier, dashboard
  • Verschillende componenten: Accordeon, carrousel, tabpaneel, dialoogvenster
  • Toegankelijkheidspagina’s: Niet gevonden, hulppagina’s, alternatieve contactopties
  • Alle gebruikte technologieën: JavaScript-applicaties, PDF

2. Willekeurige steekproef

De willekeurige steekproef vormt 10% van de gestructureerde steekproef. Bij een gestructureerde steekproef van 21 pagina’s komen daar dus 2 willekeurige pagina’s bij, bij 36 pagina’s zijn dat er 4.

Deze pagina’s komen uit een crawl van de website, een willekeurige keuze uit de sitemap of de zoekfunctie van de website.

3. Complete processen

Wordt 1 pagina van een proces getest? Dan hoort het hele proces erbij.

  • Voorbeeld webshop: Productpagina → Winkelwagen → Checkout → Betaling → Bevestiging
  • Voorbeeld inschrijving: Aanmeldformulier → Verificatie → Inloggen → Account

Steekproef onderzoeken

Nu komt het echte werk. De onderzoeker toetst alle geselecteerde pagina’s en documenten grondig op toegankelijkheid, langs alle succescriteria van het gekozen WCAG-niveau. Ook alle functies komen aan bod: knoppen, formulieren en alle stappen van processen.

Daarna volgt een vergelijking tussen de gestructureerde en de willekeurige steekproef. Komen in de willekeurige pagina’s problemen naar voren die in de gestructureerde steekproef ontbraken? Dan komen vergelijkbare pagina’s erbij en herhaalt de onderzoeker de toets.

Het resultaat is een lijst met problemen, gekoppeld aan specifieke pagina’s of documenten en succescriteria.

Onderzoek rapporteren

Een WCAG-onderzoek is pas klaar als de resultaten goed worden gerapporteerd. De volledigheid van het rapport bepaalt of de bevindingen echt leiden tot een toegankelijkere website.

  • Scope: Welke website is onderzocht en waarom?
  • Technologieën: HTML, WAI-ARIA, JavaScript, PDF: wat kwam er voor?
  • Steekproef: Welke pagina’s en documenten zijn meegenomen?
  • Testomgeving: Welke browsers, hulptechnologie en software zijn gebruikt?
  • Resultaat per succescriterium: Voldaan, niet voldaan of niet van toepassing.
  • Concrete voorbeelden: Welke problemen zijn gevonden en waar precies?

WCAG-EM 2.0 in ontwikkeling

Het W3C werkt aan een nieuwe versie: WCAG-EM 2.0. Deze versie kijkt breder dan alleen websites. Ook web-apps, mobiele apps, kiosks, e-books en documenten vallen eronder. De methode noemt deze samen “digitale producten”. De vijf stappen blijven gelijk, net als de gestructureerde en willekeurige steekproef.

Wel verandert er terminologie: “webpagina” wordt “view”, en een steekproef heet een “sample set”.

WCAG-EM 2.0 is nog in concept. De inhoud kan dus nog veranderen.