RTTI training 2 (FS)

• Communicatie
• HBO
• Beroepsopleiding
• Studiejaar 1-4

Tekst

Felmen Schinkel

Toetsen analyseren in RTTI-online

Omnia College

17-01-2022

Wat hoop je deze training te leren?

Doelen

Aan het einde van de module:

1. Kun je scores van leerlingen invoeren in RTTI-online
2. Kun je de data-analyse van RTTI-online interpreteren
3. Kun je a.d.h.v. de QA-analyse (stap 1 t/m 3 ) je toetsvragen verbeteren
4. Kun je a.d.h.v. de QA-analyse (stap 4 & 5) gerichte verbeteracties voor leerlingen formuleren

Inhoud training

• Scores invoeren
• QA-analyse uitgelegd



• Pauze
• Praktijkopdracht
• Focuspunt
• Afsluiting en eindopdracht

Waarom ook alweer?

• Maakt leren inzichtelijk
• Geeft een gemeenschappelijke taal over leren en gedrag
• Biedt hulp (tips en handvatten) bij formatief evalueren
• Helpt bij het verbeteren van toetskwaliteit a.d.h.v. data

Gulikers en Baartman (2017)

✔️

✔️

Terugblik

Sectieplan en beoordelingscriteria

Doel van de module

Met behulp van de formatieve evaluatie van de QA-analyse, maak je een kort verbeterplan. Dit plan voer je uit in de praktijk en je reflecteert daar op. 

Scores invoeren

Peilen wie de toetsresultaten heeft. 

15 minuten voor het invoeren van de resultaten. 

Al gedaan? 

Neem dan een collega die geen resultaten heeft mee in het proces. 

Nog niet gedaan?

Voer dan de resultaten in. Vraag hulp aan collega's als hij/zij het al ingevoerd heeft. 

Ben je eerder klaar? Haal een kopje koffie en zorg dat je om x tijd klaar zit. 

QA-analyse

Afhankelijk van het beginniveau kun je docenten zelf voorbeelden laten geven of zelf een paar (vakspecifieke) voorbeelden laten zien. 

QA-analyse

• Doel: toetsinformatie gebruiken om leerlingen optimaal te ondersteunen


• Helpt jou en schoolbreed om (op formatieve wijze) naar toetsen te kijken en toetskwaliteit te verbeteren

Stap 1

Informatie over en feedback op de toetsopbouw en doorlopende leerlijn.

Bijvoorbeeld voor het aantal I-vragen dat je hebt opgenomen. Of een scheve verdeling tussen het aantal vragen en de weging daarvan.

QA – Stap 1

Hoe kies je een juiste RTTI-verdeling?

Wat gebeurt er als je veel vragen weinig punten toekent?

Waarom is het belangrijk om minimaal 30% aan T2 en I vragen op te nemen?

Stap 2

Informatie over en feedback op je de toetskwaliteit en toetsvragen. Als er toetsvragen zijn die opvallen, worden deze door het systeem uitgelicht. 

Kies specifieke voorbeelden voor het vak waar jij training aan geeft

Een vraag is een T1-vraag als de toepassing geoefend is, de vraag (met eventuele bron) herkenbaar en de vraag een vergelijkbare moeilijkheidsgraad heeft als in bijvoorbeeld het werkboek. RTTI T1 - SkeletonDe leerlingen herkennen de onderdelen in de nieuwe bron. De zaken waar leerlingen op moeten letten zijn bij een T1-vraag herkenbaar aanwezig en op een vergelijkbare manier te vinden, zoals leerlingen tijdens de les geoefend hebben op bronnen met vergelijkbare onderdelen.

QA – Stap 2

Wat houdt de p-waarde in?

Wat betekenen de verschillende p-waardes?

Wat kan een fout in de vraagconstructie zijn?

Wat kan een fout in de codering zijn?

Wat kan er 'misgaan' in het lesaanbod of de didactiek?

Wat zegt de waarde achter het huisje?

(de gemiddelde p-waarde  in de school) 

Wat betekent de p-waarde achter de opgestapelde schijfjes?

(die van alle scholen samen = de gehele database van RTTI-online)

Wat betekent de p-waarde achter de Nederlandse vlag? 

(het landelijk gemiddelde (cito)

Stap 3

Informatie over en feedback op de cesuur, N-term en het gemiddelde. 

Deze informatie kun je gebruiken om de toetskwaliteit te verbeteren. Bijvoorbeeld door de toets te verbeteren en met een cesuur van 50% te werken of de N-term aan te passen naar 1. 

QA – Stap 3

Wat betekent de cesuur?

Wat is een goede cesuur en waarom?

Wat is de N-term? 

Wat is een goede N-term en waarom?

Ben je tevreden met het gemiddelde? Is dat in lijn met je verwachting?

Waarom zou je een cesuur of n-term laten afwijken?

Waarom heb je er voor gekozen om de N-term en Cesuur aan te passen?

Als je N-term op 50% zet, wat gebeurt er dan?

Als N-term hoger is dan 50%, is het waarschijnlijk een makkelijke toets die je 'kunstmatig verzwaart'. De toets wordt hier niet beter van, daarom zal er gekeken moeten worden naar de kwaliteit van de toets. 

Pauze

Pauze

Stap 4

Informatie over en feedback op de aanpak in de les. Het relatief zwakke cognitieve niveau wordt getoond met suggesties voor strategieën. 

Deze informatie kun je gebruiken om in je les meer aandacht te besteden aan het relatief zwakke cognitieve niveau van de lesgroep. Met behulp van suggesties voor concrete strategieën wordt dit aangereikt. Het bewust worden van het relatief zwakke niveau, helpt om daar meer en bewust aandacht aan te besteden. 

QA – Stap 4

Herken je je in het relatief zwakke niveau 

van deze lesgroep?

Hoe ervaren je collega's dat?

Waarom is het belangrijk om hierbij stil te staan?

Welke werkvormen ken je om hier aan te werken?

Herken je je in het relatief zwakken niveau voor deze lesgroep?

Stap 5

Informatie over en feedback om te differentiëren op leerlingniveau. Bij iedere leerling met een onvoldoende worden een aantal suggesties voor strategieën gedaan. Deze kun je aanvullen of als strategie aan leerlingen tippen. 

Deze informatie helpt om leerlingen van concrete strategieën te voorzien om zich te ontwikkelen op een cognitief niveau. Dit kan ook door tips te geven op het gebied van OMZA. 

QA – Stap 5

Wat is de diagnose? Herken je je daarin? 

Wat kun je de leerling als tip meegeven? 

Welke strategie kan hem/haar helpen om zich te verder te ontwikkelen?

Aan de slag...

Praktijkopdracht

Zelfstandig (10 minuten)

• Doe de QA-analyse voor je toets
• Bekijk de vijfde stap
• Kies één leerling met een onvoldoende en geef hem haar feedback / feedforward.

In duo's (±5 minuten)

• Bespreek met elkaar de feedback die je gegeven hebt. 

Plenaire bespreking (5 minuten)

Praktijkopdracht

Zelfstandig (±5 minuten)

• Doe de QA-analyse voor je toets
• Bekijk de vijf stappen
• Kies één tot maximaal drie opvallende punten. Stel jezelf vragen of stel deze.

In duo's (10 minuten)

• Bespreek met elkaar de punten 
• Benoem een concrete (verbeter)actie bij minstens één van deze punten

Plenaire bespreking (15 minuten)

Welke verbeteractie(s) heb je geformuleerd?

Plenaire bespreking

Bespreken van de verschillende verbeteracties en punten uit de QA-analyse.

Eindopdracht

Eindopdracht

Aan de hand van de QA-analyse maak je een kort verbeterplan, voer je die in de praktijk uit en reflecteer je daar op. 

Format Verbeterplan

Klik hier om het Format verbeterplan te downloaden.

Eindopdracht

• Werk een verbeterplan uit voor stap 2 of stap 5.
• Voer de verbeteracties uit 
• Reflecteer op de verbeteracties
• Voer verbeteringen door en werk verder aan verbeterplan
• Lever de eindopdracht in

OMZA

OMZA

Executieve functies

• Organisatie
  
• Meedoen
  
• Zelfvertrouwen
  
• Autonomie
  

O — Organisatie

De O is van ‘organisatie’. Het gaat hier om overzicht, planning, het meenemen van de juiste boeken en schriften, werkt de leerling per vak met aparte schriften of een map met tabbladen in plaats van dat alle aantekeningen door elkaar staan of op allemaal ‘losse blaadjes’, taakgerichtheid en omgang met (digitale) materialen. Als docent en mentor kun je hierop sturen door de leerling bijvoorbeeld te laten oefenen met timemanagement, door te variëren met ondersteuning van instructie in opdrachten, samenwerkings-opdrachten vanwege alternatieve voorbeelden van aanpak van mede-leerlingen, gepersonaliseerde actielijsten, etc.

Deze gedragsindicator vertoont een bepaalde mate van samenhang met de cogni- tieve indicator R. Indien de leerling uitvalt op R, is het zinnig om te kijken of er mogelijk vanuit O een (mede)oorzaak ligt.

M — Meedoen

De M is van ‘meedoen’. Als je wilt kijken naar dit aspect, vraag je dan het volgen- de af. Doet de leerling mee in de les, heeft de leerling huiswerk gemaakt, is hij betrokken, geconcentreerd, beantwoordt hij vragen, kan hij samenwerken? Als docent kun je hierop sturen door in te zetten op resonantie, aan te sluiten bij de voorkeuraanpak, gedrag te spiegelen, de leerling te verplaatsen in de klas, andere werkvormen in te zetten, meer te laten verbaliseren door onder andere samen- werkingsopdrachten, gerichte feedback te geven op het gemaakte huiswerk. Deze gedragsindicator vertoont een bepaalde mate van samenhang met de cogni- tieve indicator T1. Indien de leerling uitvalt op T1, is het zinnig om te kijken of

er mogelijk vanuit M een (mede)oorzaak ligt.

Z — Zelfvertrouwen

De Z is van ‘zelfvertrouwen’. Wie daarnaar wil kijken, let op de volgende indica- toren. Bij een gebrek aan zelfvertrouwen zie je bijvoorbeeld onzekerheid bij nieuwe lesstof, twijfel bij de leerling, dat de leerling heel veel vragen stelt, graag precies wil weten wat geleerd moet worden, of op andere wijze veel bevestiging en aan- dacht vraagt. Dat de leerling vragen die net even anders zijn dan geoefend overslaat bij het maken van het huiswerk, maar ook juist clownesk gedrag om het gebrek aan zelfvertrouwen te versluieren. Geef leerlingen met een gebrek aan zelfvertrouwen opdrachten die een succeservaring zullen opleveren omdat ze aansluiten bij de bestaande kennisbasis, laat de leerling samenwerken, geef (terechte) complimenten, geef hen regelmatig ‘de beurt’ met vragen die ze aankunnen en bevestig dat ze het kunnen, bespreek de aanpak van T2- en I-vragen uit het huiswerk. Verder is wellicht een cursus  faalangstreductie-training voor een leerling met een gebrek

aan zelfvertrouwen aan de orde, of een cursus sociale vaardigheidstraining voor hen die sociaal minder weerbaar zijn. Deze gedragsindicator vertoont een bepaalde mate van samenhang met de cognitieve indicator T2. Indien de leerling uitvalt op T2, is het zinnig om te kijken of er mogelijk vanuit Z een (mede)oorzaak ligt.

A — Autonomie

De A is van ‘autonomie’. De volgende vragen helpen om de autonomie van een leer- ling in kaart te brengen. Kan de leerling zelfstandig functioneren, stelt de leerling vragen die ertoe doen in plaats van uit onzekerheid of vanwege een roep om aan- dacht, is de leerling pro-actief, stelt hij vragen over lesstof die nog aan de orde gaat komen in de lessenreeks, is er sprake van kritische reflectie, inlevingsvermogen en interne attributie? Als docent en mentor kun je autonomie stimuleren door de leerling bijvoorbeeld te laten werken met de toetsanalyse uit RTTI-online of dit handboek, door kritische beschouwingen te laten geven, verantwoordelijkheid

te geven, reflectie te stimuleren, ruimte te laten voor eigen en nieuwe ideeën. Deze gedragsindicator vertoont een bepaalde mate van samenhang met de cognitieve indicator I. Indien de leerling uitvalt op I, is het zinnig om te kijken of er mogelijk vanuit A een (mede)oorzaak ligt.

OMZA toevoegen

Noteer je observatie van OMZA per leerling in RTTI-online. Inclusief to do's. Deze informatie is voor jezelf, collega's, leerlingen én (vooral) de mentor relevant. 

Naast de cognitieve indicatoren RTTI kun je ook de gedragsindicatoren per leerling aangeven. Zo geef je leerlingen en mentoren de kans om breder te kijken dan de cognitieve ontwikkeling. 

De OMZA-selfie

Vragenlijst voor leerlingen ter bevordering van zelfreflectie en inzicht. Je meet hiermee de executieve functies op OMZA. 

Ideaal voor bijvoorbeeld je mentorles.

Volgende keer

Bespreken en evalueren we het actieplan en welke stappen je gezet hebt. 

Evaluatie

bit.ly/evaluatieomnia

Hulpbronnen

Format Verbeterplan

Klik hier om het Format verbeterplan te downloaden.

Codeerhulp-poster

Klik hier om de codeerhulp te downloaden

Artikel over formatief evalueren

Klik hier om het artikel te lezen. 

Meer informatie op mijn.academy4learning.nl