Schrijven van managementletters via e-learning: een analytisch en psychometrisch onderzoek naar de kwaliteiten van een formatieve, objectief scoorbare intaketoets

In dit analytisch-psychometrisch onderzoeksrapport is, concreet gesteld, de vraag onderzocht of het mogelijk is de intaketoets bij het e-learningprogramma Schrijven van managementletters voor Deloitte (een diagnostisch instrumentarium dat uit objectief te scoren vragen c.q. items bestaat) te verkorten van 80 naar 60 items, zonder al te groot verlies in betrouwbaarheid en validiteit - aangenomen uiteraard dat de 80-item toets voldoet aan de vigerende psychometrische eisen die doorgaans aan een formatieve, diagnostische toets gesteld worden. Testverkorting leidt immers, zo blijkt uit het onderhavige onderzoek, tot een aanzienlijke tijdsbesparing: ruwweg in de orde van grootte van 30 minuten.
Uit dit onderzoek is voorts gebleken dat de huidige intaketoets, bestaande uit 80 items, een uiterst bevredigende betrouwbaarheid en (construct)validiteit bezit; reductie van dit aantal tot 60 items leidt in het geheel niet tot een verlaging van de validiteit, en evenmin tot een dramatische teruggang in betrouwbaarheid. Het geringe betrouwbaarheidsverlies dat niettemin geconstateerd kan worden, manifesteert zich met name in de aard van de (leer)adviezen die op basis van de behaalde scores op de intaketoets aan de deelnemers van het trainingsprogramma Schrijven van managementletters voor Deloitte verstrekt worden. Voor het overgrote deel zijn de verstrekte adviezen bij een 80-item intaketoets identiek aan die bij een 60-item toets, zij het dat bij de 60-item toets in een enkel geval aan een deelnemer ten onrechte wordt geadviseerd een bepaald onderdeel van het trainingsprogramma niet te hoeven oefenen omdat zijn vaardighedenniveau in dat onderdeel optimaal zou zijn.
Alles overwegende luidt de eindconclusie van dit empirisch onderzoek dat het alleszins verantwoord is de formatieve intaketoets bij het e-learningprogramma in te korten tot 60 items.