Language Teaching and Assessing week 1.6

• English
• HBO
• Studiejaar 3

Language Teaching and Assessing

Week 1.6

Toetsen van receptieve vaardigheden

Programma

• Terugblik op vorige week: nameten leeropbrengst
• Kennismaking Formatieve didactiek
• Een toets beoordelen op validiteit en betrouwbaarheid 
• Oefenen toetsanalyse

Echt diep kunnen we vandaag niet ingaan op formatieve didactiek. Daarom: Een kennismaking formatieve didactiek. 

Welke activiteit heb jij ingezet om de leeropbrengst van jouw receptieve les te meten?

Waarom toetsen we?

Waarschijnlijk komen studenten tot de conclusie dat we toetsen om te meten. We meten wat een leerling wel al kan en wat nog niet. A.d.h.v. die cijfers maken we beslissingen over het niveau. Bijvoorbeeld: mag de leerling wel/of niet over naar het volgende leerjaar?

Maar zijn die toetsen wel representatief voor wat de leerling wel/niet kan? 

Omdat er op de scholen nog veel summatief getoetst wordt is dat onze focus vandaag.

Doelen

• Aan het einde van de les kun je het verschil tussen formatief handelen en summatief toetsen benoemen.
• Je kunt een receptieve toets analyseren en de kwaliteit daarvan beoordelen

Communicatief toetsen

1. Betekenisvolle communicatie
2. Authentieke situatie
3. Onvoorspelbare input
4. Vrije productie
5. Integratie vaardigheden

Vijf eisen waaraan een communicatieve toets moet voldoen volgens Brown (2005). 

Op de volgende slide een drag & drop waarbij ze de betekenis van deze 5 eisen koppel.

Achtergrondinformatie te vinden in artikel week 2, pagina 2. 2:file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf file:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdffile:///C:/Users/svrek/Downloads/Artikel%20Visievorming-%20CLT%20in%20Nederlands%20Onderwijs%201.pdf

Betekenisvolle communicatie

Autentieke situatie

Onvoorspelbare input

Vrije productie

Integratie vaardigheden

De context moet aansluiten bij de belevingswereld

De opdrachten bevatten realistische situaties

Studenten moeten zonder voorbereiding de opdracht aan kunnen gaan

Leerlingen moeten de eigen inbreng kunnen communiceren

De opdracht moet stimuleren om alle/meerder vaardigheden te gebruiken

Wat maakt een lees-/luistertoets communicatief?

Bron: https://www.babel.nl/blog/formatief-en-summatief-toetsen/

Formatief handelen is bedoeld om het leerproces te sturen en versterken. Vaak halverwege of gedurende een cursus.

Summatief toetsen is gericht op resultaten die de basis vormen om een beslissing te nemen. Bijvoorbeeld: slagen of zakken (eindexamen).

De vraag is dus: wil je toetsen als meetinstrument van resultaten, of wil je "toetsen" om leerlingen verder te helpen in het leerproces. Indien dat laatste het geval is > formatief handelen.

NB! Eigenlijk heet het formatieve didactiek, ook wel formatief handelen. Het is namelijk geen toetsen meer, maar een manier van werken (didactiek) gericht op het leerproces.

0

Voordelen Formatief Handelen

• Effectiever in sturen leerproces
• Motivatie verhogend
• Diepgeworteld begrip
• Regulatie vaardigheden 
• Ondersteunend in differentiatie

Zie het boek Formatief Handelen (René Keyber) pagina's 20 t/m 26. Hieronder digitaal beschikbaar:

https://toetsrevolutie.nl/wp-content/uploads/2022/03/Rene-Kneyber-Formatief-handelen-WEB.pdf

Terughaaleffect

Het gedwongen terughalen zonder hulpmiddelen is het meest effectieve leermiddel ( = terughaaleffect). Iedere antwoordoptie moet de leraar iets leren over de fouten die studenten maken. 

Een voorbeeld (en daarna gaan we over naar summatief): In het boek Volgens Barton4  beschrijft de Britse wiskundedocent Craig Barton een typisch proces van formatief handelen. Als docent heeft hij net uitleg gegeven over het uitrekenen van hoeken, en het is nu tijd dat de leerlingen zelfstandig aan het werk gaan. Maar is iedereen daar klaar voor? Hij laat de volgende vraag op het bord zien, en geeft de leerlingen een aantal seconden de tijd om zelfstandig na te denken. Vervolgens laat hij de leerlingen stemmen door ze hun vinger te laten opsteken. Hij kijkt rond en ziet aan de antwoorden meteen waar de problemen zitten. Leerlingen die antwoord C hebben gekozen, kunnen alvast beginnen aan de opgaven. Leerlingen die A antwoorden, hebben

een fout gemaakt bij het hoofdreken en zullen eerst wat hoofdreken sommetjes met getallen boven de honderd moeten oefenen, en degenen die voor B en D hebben gekozen krijgen een korte verlengde instructie, want die begrijpen het nog niet goed genoeg. Na de sommen en de instructie stelt hij de leerlingen nogmaals een vraag, om te achterhalen of ze het nu wel zelfstandig kunnen.

Voor meer voorbeelden: zie René Kneyber p.20.

Op basis van deze vraag meet je of leerlingen in staat zijn de betekenis van een woord te herleiden uit de context van een zin. De docent controleert kort de antwoorden of gebruikt daarvoor een digitale tool (e.g. ANS). Op basis van de antwoorden: GOED of FOUT deelt de docent de leerlingen de volgende les in in groepen.

Het gedwongen terughalen zonder hulpmiddelen is het meest effectieve leermiddel ( = terughaaleffect). Iedere antwoordoptie moet de leraar iets leren over de fouten die studenten maken. 

Een voorbeeld: In het boek Volgens Barton4  beschrijft de Britse wiskundedocent Craig Barton een typisch proces van formatief handelen. Als docent heeft hij net uitleg gegeven over het uitrekenen van hoeken, en het is nu tijd dat de leerlingen zelfstandig aan het werk gaan. Maar is iedereen daar klaar voor? Hij laat de volgende vraag op het bord zien, en geeft de leerlingen een aantal seconden de tijd om zelfstandig na te denken. Vervolgens laat hij de leerlingen stemmen door ze hun vinger te laten opsteken. Hij kijkt rond en ziet aan de antwoorden meteen waar de problemen zitten. Leerlingen die antwoord C hebben gekozen, kunnen alvast beginnen aan de opgaven. Leerlingen die A antwoorden, hebben

een fout gemaakt bij het hoofdreken en zullen eerst wat hoofdreken sommetjes met getallen boven de honderd moeten oefenen, en degenen die voor B en D hebben gekozen krijgen een korte verlengde instructie, want die begrijpen het nog niet goed genoeg. Na de sommen en de instructie stelt hij de leerlingen nogmaals een vraag, om te achterhalen of ze het nu wel zelfstandig kunnen.



Voor meer voorbeelden: zie René Kneyber p.20.

Leerlingen schrijven een tekst en leveren deze in bij de docent. De hele klas krijgt feedback van de docent op dezelfde vier onderwerpen: groen, rood, blauw, en geel. De docent markeert dit in de tekst maar geeft geen schriftelijke feedback. De leerling moet de volgende les zelf identificeren m.b.v. “colour key” wat er goed is en wat de leerling nog kan verbeteren. Vervolgens verbetert de leerling zijn/haar eigen werk.

NB! Dit werkt alleen wanneer de docent goed na heeft gedacht over de colour key. Afhankelijk van de leerdoelen van de lessenreeks bepaal je op welke fouten/verbeterpunten leerlingen wel/niet geattendeerd moeten worden. Zo valt in dit schema op dat er niet gekeken wordt naar grammatica.

Een voorbeeld voor tekstbegrip (leesvaardigheid of luistervaardigheid)

Reden dat de implementatie veelal mislukt is door de introductie van de term “formatief toetsen”. Dit wekt de indruk dat dit een vorm van toetsing is waarbij cijfers worden vervangen voor feedback.

De reactie hierop leidde tot formatief handelen, waarbij geïmpliceerd wordt dat zowel student als docent in actie komen. Echter richtte docenten zich voornamelijk op het ontwerpen van losse instrumenten en activiteiten.

Recentelijk heeft dit geleid tot formatieve didactiek. Dit benadrukt het accent op de (MVT) didactiek; het ontwerpen van onderwijs wat de leerling in staat stelt de taaldoelen te behalen.

Maar wanneer toetsen we wel?

Zodra we iets willen meten met een beoordeling om te bepalen of bijvoorbeeld een leerdoel of meerdere leerdoelen zijn behaald. 

We noemen dit summatief toetsen.

Taalgericht of inhoudsgericht

Wat wordt er gemeten [leerdoel]?

Kwakernaak p. 109

Taalgericht toetsen

Inhoudsgericht toetsen (communicatief)

Terug naar summatief toetsen.

Taalgerichte toetsen zijn vaak gericht op correctheid en/of deelvaardigheden (gramm, woordenschat, spelling, etc). Inhoudgerichte/communicatieve toetsen gericht op de boodschap (taalvaardigheid) waarbij alle aspecten (zowel boodschap als correctheid) getoetst EN beoordeeld worden.

Bron: From: Stepping Stones 7th edition 1VMBO-T/HAVO

 

Welk soort vragen kun je ontwerpen bij een lees-/luistertoets? Zie Kwakernaak p. 173 en p. 192

1. zoekvragen

2. hoofdgedachte van een tekst(gedeelte) weergeven

3. structuuropdrachten

4. gat in tekst met passende inhoud vullen

5. betekenis van lastige zinnen of passages weergeven

6. interpreteren (conclusies trekken)

Validiteit

Meet je met de toets wat je wilt/beoogt te toetsen?

Betrouwbaarheid

Komt dezelfde beoordelaar op verschillende momenten bij dezelfde prestatie tot dezelfde beoordeling?

Komen verschillende beoordelaars bij dezelfde prestatie tot dezelfde beoordeling?

Validiteit = Meet je met de toets wat je wilt/beoogt te toetsen?

Betrouwbaarheid = komen ik/we altijd tot dezelfde beoordeling?

Toetsanalyse

• Werk samen met een medestudent
• Gebruik de Duitse leestoets en het Model voor Toetsanalyse om te oefenen met het analyseren van een toets. 
• 10 min, daarna bespreken we enkele opvallende bevindingen

Volgende week (deel 1E)!

• Lees Kwakernaak H5.6: Tips bij toetsing
• Lees het artikel: Welke rol speelt zelfevaluatie bij betekenis toetsen? op #OO
• Neem een toets van stage (indien dat niet mag neem dan de LTA toets op #OO).
• Analyseer jouw toets a.d.h.v. het Model Toetsanalyse.
• Dit onderdeel kun je niet inleveren voor feedback van je docent. Volgende week is er mogelijkheid voor peer feedback. 

Deadlines portfolio receptief

G1: Maandag 23 oktober 2023 [23.59 uur] via HandIn 

G2: Maandag 27 november 2023 [23.59 uur] via HandIn