Language Teaching and Assessing week 1.7_TV

• Language
• HBO
• Studiejaar 3

Language Teaching and Assessing

Week 1.7: toetsen van de receptieve vaardigheden       

Lesplannen

feedback/feedforward lesplanning (deel 1C)

feedforward "meten" leeropbrengst (deel 1D)  

Vandaag

• Kennismaking formatieve didactiek/ formatief handelen
• Introductie summatief toetsen
• Een toets beoordelen op o.a. validiteit en betrouwbaarheid 
• Oefenen toetsanalyse

Echt diep kunnen we vandaag niet ingaan op formatieve didactiek. Daarom: Een kennismaking formatieve didactiek. 

Waarom toetsen we?

Waarschijnlijk komen studenten tot de conclusie dat we toetsen om te meten. We meten wat een leerling wel al kan en wat nog niet. A.d.h.v. die cijfers maken we beslissingen over het niveau. Bijvoorbeeld: mag de leerling wel/of niet over naar het volgende leerjaar?

Maar zijn die toetsen wel representatief voor wat de leerling wel/niet kan? 

Omdat er op de scholen nog veel summatief getoetst wordt is dat onze focus vandaag.

Doelen

• Aan het einde van de les kun je het verschil tussen formatief handelen en summatief toetsen benoemen.
• kun je de concepten validiteit en betrouwbaarheid uitleggen en bepalen of een toets aan deze concepten voldoet.
• kun je ahdv een toetsanalyse een oordeel geven over een bepaalde toets

Bron: https://www.babel.nl/blog/formatief-en-summatief-toetsen/

Formatief handelen is bedoeld om het leerproces te sturen en versterken. Vaak halverwege of gedurende een cursus.

Summatief toetsen is gericht op resultaten die de basis vormen om een beslissing te nemen. Bijvoorbeeld: slagen of zakken (eindexamen).

De vraag is dus: wil je toetsen als meetinstrument van resultaten, of wil je "toetsen" om leerlingen verder te helpen in het leerproces. Indien dat laatste het geval is > formatief handelen.

NB! Eigenlijk heet het formatieve didactiek, ook wel formatief handelen. Het is namelijk geen toetsen meer, maar een manier van werken (didactiek) gericht op het leerproces.

Voordelen Formatief Handelen

• Effectiever in sturen leerproces
• Motivatie verhogend
• Diepgeworteld begrip
• Regulatie vaardigheden 
• Ondersteunend in differentiatie

Bron: Formatief Handelen (René Keyber) pagina's 20 t/m 26

Zie het boek Formatief Handelen (René Keyber) pagina's 20 t/m 26. Hieronder digitaal beschikbaar:

https://toetsrevolutie.nl/wp-content/uploads/2022/03/Rene-Kneyber-Formatief-handelen-WEB.pdf

voorbeeld: terughaaleffect

Het gedwongen terughalen zonder hulpmiddelen is het meest effectieve leermiddel ( = terughaaleffect). Iedere antwoordoptie moet de leraar iets leren over de fouten die studenten maken. 

Een voorbeeld (en daarna gaan we over naar summatief): In het boek Volgens Barton4  beschrijft de Britse wiskundedocent Craig Barton een typisch proces van formatief handelen. Als docent heeft hij net uitleg gegeven over het uitrekenen van hoeken, en het is nu tijd dat de leerlingen zelfstandig aan het werk gaan. Maar is iedereen daar klaar voor? Hij laat de volgende vraag op het bord zien, en geeft de leerlingen een aantal seconden de tijd om zelfstandig na te denken. Vervolgens laat hij de leerlingen stemmen door ze hun vinger te laten opsteken. Hij kijkt rond en ziet aan de antwoorden meteen waar de problemen zitten. Leerlingen die antwoord C hebben gekozen, kunnen alvast beginnen aan de opgaven. Leerlingen die A antwoorden, hebben

een fout gemaakt bij het hoofdreken en zullen eerst wat hoofdreken sommetjes met getallen boven de honderd moeten oefenen, en degenen die voor B en D hebben gekozen krijgen een korte verlengde instructie, want die begrijpen het nog niet goed genoeg. Na de sommen en de instructie stelt hij de leerlingen nogmaals een vraag, om te achterhalen of ze het nu wel zelfstandig kunnen.

Voor meer voorbeelden: zie René Kneyber p.20.

Hoe weten jouw leerlingen of ze goed zijn in lezen?

Hoe vaak wordt luistervaardigheid getoetst en hoe vaak geoefend?

summatieve toetsing

Validiteit

Meet je met de toets wat je wilt/beoogt te toetsen?

Wat was het doel van de toets?

Betrouwbaarheid

Komt dezelfde beoordelaar op verschillende momenten bij dezelfde prestatie tot dezelfde beoordeling?

klopt de toets?

klopt het cijfer?

Leesvaardigheid meten met behulp van meerkeuze vragen is zowel een valide als betrouwbare manier

ja

nee

Validiteit = Meet je met de toets wat je wilt/beoogt te toetsen?

Betrouwbaarheid = komen ik/we altijd tot dezelfde beoordeling?

bijv. als leerlingen een tekst lezen dan is aan natuurlijke manier van controle; waar ging het over? (=meer valide, mogelijk minder betrouwbaar). Maar de begripscontrole wordt meestal via meerkeuze vragen gedaan (meer betrouwbaar, minder valide)

Summatieve toetsanalyse

• Maak groepen van 3
• Open Voorbeeldtoets Duits 
• Gebruik werkblad "Model Toetsanalyse"

Vraag 1

Wat wordt er gemeten [leerdoel]?

Taalgericht toetsen

Inhoudsgericht toetsen (communicatief)

Terug naar summatief toetsen.

Taalgerichte toetsen zijn vaak gericht op correctheid en/of deelvaardigheden (gramm, woordenschat, spelling, etc). Inhoudgerichte/communicatieve toetsen gericht op de boodschap (taalvaardigheid) waarbij alle aspecten (zowel boodschap als correctheid) getoetst EN beoordeeld worden.

Bron: From: Stepping Stones 7th edition 1VMBO-T/HAVO

 

Vraag 2:

Welke onderdelen zijn taalgericht, welke inhoudsgericht?

[5 minuten]

Laat studenten in groepjes werken/overleggen.

Communicatief toetsen

1. Betekenisvolle communicatie
2. Authentieke situatie
3. Onvoorspelbare input
4. Vrije productie
5. Integratie vaardigheden

zie artikel week 2

Vijf eisen waaraan een communicatieve toets moet voldoen volgens Brown (2005). 

Op de volgende slide een drag & drop waarbij ze de betekenis van deze 5 eisen koppel.

Achtergrondinformatie te vinden in artikel week 2, pagina 2. 2:file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdffile:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf

Vraag 3:

Beoordeel aan welke aspecten van communicatief toetsen wordt voldaan:  

1. Betekenisvolle communicatie
   
2. Authentieke situatie
   
3. Onvoorspelbare input
   
4. Vrije productie
   
5. Integratie vaardigheden

Type vragen

• Open vragen
• Gesloten vragen
• "weergeef" vragen
• structurerende vragen
• interpreterende vragen
• in het Engels of Nederlands?
• etc

Vraag 4

Welk type vragen is er gebruikt? 

Is dat type vragen gepast is om het leerdoel te meten?

Welk "soort" lezen en luisteren wordt vooral gemeten?

Vraag 5

Beoordeel nu of de toets valide en betrouwbaar is

Open: Tips bij toetsing 

Kwakernaak H5.6

Vraag 6:

Beoordeel of de toets voldoet aan de tips voor toetsing

LTA deel 1E: Toetsanalyse

• Gebruik het Model voor Toetsanalyse om je eigen toets te analyseren.
• Vat je bevindingen samen in een kort verslag (+/- 1 A4).
• Lever het verslag met de analyse in de bijlage uiterlijk woensdag 19 oktober in via Handin [23.59u].

Aan de slag (deel 1E)!

• Neem een toets van stage (indien dat niet mag neem dan de LTA toets op #OO).
• Analyseer jouw toets a.d.h.v. het Model Toetsanalyse.
• Beschrijf je (kritische) bevindingen.