Language Teaching and Assessing week 2.6

• Docent
• Speciaal Onderwijs
• Leerroute 1

Language Teaching and Assessing

Week 2.6

Toetsing van Productieve vaardigheden

Waar let je op bij het beoordelen van spreken/schrijven?

Vandaag

• Doelen
• Theorie over beoordelen
• Kalibreren
• Aan de slag! Ontwikkel je eigen communicatieve toets en beoordelingsmodel


• Vooruitblik LTA deel 2E: Terugblik op jouw Kernwaarden
• Terugblik doelen

Doelen

Aan het eind van deze les kun je:

• Een productieve toets beoordelen op validiteit/betrouwbaarheid
• A.d.h.v. vakdidactische aspecten beargumenteren of een productieve toets geschikt is om een leerdoel te meten.
• Een communicatieve productieve toets voor schrijf -of spreekvaardigheid ontwikkelen.
• Een beoordelingsmodel voor een communicatieve productieve schrijf -of spreektoets ontwikkelen.

Waarom een beoordelingsmodel?

Betrouwbaarheid verhogen

Beoordelingsproces wordt meer transparant voor zowel leraar en leerling

Verschillende manieren van beoordelen

Analytisch

Globaal

Comperatief

Onderzoek (Melse, 1990) heeft aangetoond dat een gedetailleerde aanpak minder betrouwbaar is dan globaal beoordelen. Bij globaal beoordelen worden geen fouten geteld, maar wordt op basis van het algemene beeld van teksten van leerlingen een oordeel gegeven.

Analytisch beoordelen

 Ieder aspect van schrijfvaardigheid is in een aantal criteria uitgewerkt en wordt één voor één beoordeeld. 

Heeft de alinea een kernzin en een toelichting? Zijn er signaalwoorden gebruikt? Is de titel origineel en passend? Hierbij past een rubric waarin per criterium beschreven wordt wat onvoldoende, voldoende en goed is. Of een lijstje met beoordelingscriteria bij het beoordelingsmodel.

Globaal beoordelen

Je beoordeelt aan de hand van een aantal aspecten, bijvoorbeeld is je doel bereikt? Is de inhoud origineel en sprankelend? Voldoet de opbouw voor deze tekstsoort?

Belangrijk om uit te lichten dat globale beoordeling geschikter is om te meten waar de leerling staat ten opzichte van het te behalen doel.

Analytisch is juist beter voor het geven van gedetailleerde feedback (formatief).

Comparatief beoordelen

Bekijk de video op de volgende slide en beantwoord de volgende vraag:

Wat zijn ankerteksten en hoe worden deze ingezet om comparatief te beoordelen?

drive.google.com

Comparatief beoordelen

Bij comparatief beoordelen worden schrijfproducten met elkaar vergeleken op basis van een gehele prestatie in plaats van alle afzonderlijke beoordelingsaspecten te beoordelen. Bij beoordelen met ankerteksten gebruik je teksten die verschillende kwaliteitsniveaus representeren (schaalbeoordelingen). Hiermee vergelijk je steeds de teksten die je wil beoordelen. Bij comparatief beoordelen en beoordelen met ankertekst

Hoe stel je een beoordelingsmodel op?

Het ERK maakt onderscheid tussen drie aspecten die daarbij als richtlijn kunnen dienen:

• vaardigheden zoals bijvoorbeeld spreken of schrijven;

• strategieën zoals bijvoorbeeld planning of compensatie;

• ondersteunende vaardigheden zoals bijvoorbeeld

grammaticale correctheid of coherentie en cohesie.

Gesprekken voeren, spreken en schrijven en de ondersteunende vaardigheden hebben betrekking op het product dat de leerling aflevert. Strategieën zeggen iets over het proces; de manier waarop de leerling te werk gaat om tot een bepaald product te komen. Voor het beoordelen hiervan zou men eigenlijk in het hoofd van de leerling moeten kunnen kijken. Zoiets is onder andere mogelijk met een hardop-denk onderzoek. Omdat dit over het algemeen niet tot de praktijk van het talenonderwijs op het vo behoort, beperken we ons hier tot de beoordeling van vaardigheden en ondersteunende vaardigheden.

De volgende competenties kun je meenemen in je beoordelingsmodel. Vaak kies je 4-6 competenties voor een beoordelingsmodel: 

linguïstische competenties

• algemeen linguïstisch bereik (taalbeheersing in het algemeen)

• bereik van de woordenschat

• beheersing van de woordenschat

• grammaticale correctheid

• fonologische beheersing (uitspraak en intonatie)

 • orthografische beheersing

(spelling, leestekens, lay-out en alinea-indeling)

sociolinguïstische competenties

• sociolinguïstische trefzekerheid (beheersing taalregister in verschillende sociale contexten)

pragmatische competenties

• flexibiliteit (aanpassen aan situatie en gesprekspartner)

• beurten nemen (aan het woord komen en blijven) 

• thematische ontwikkeling (hoofd- en bijzaken

scheiden)

• coherentie en cohesie (verbanden en samenhang)

• gesproken vloeiendheid

• propositionele nauwkeurigheid (nauwkeurigheid van

de weergegeven informatie)

Schaalpunten: normatief / descriptief / productschalen

Normatief

Bij een normatieve schaal worden omschrijvingen gebruikt als: uitstekend, matig, voldoende, onvoldoende, juist, correct en acceptabel. 

Het grote voordeel hiervan is de snelle en eenvoudige beoordeling. (Kuhlemeijer, 2011) Normatieve schalen hebben echter ook een nadeel: elke docent heeft zijn eigen interpretatie.

Descriptief

Een descriptieve schaal wordt ook wel een rubriek genoemd. In descriptieve schalen wordt bij de schaal- punten een inhoudelijke beschrijving gemaakt. 

Ook bij deze schaal is het lastig om subjectiviteit te vermijden, omdat het bij taaltoetsing soms lastig is om een eenduidige beschrijving te geven. Voor wat betreft het aspect ‘inhoud’ valt het vaak nog wel mee, maar het vastleggen van schaalpunten voor bijvoorbeeld ‘beheersing van de woordenschat’ of ‘grammaticale correctheid’ is al een stuk lastiger. Als bijvoorbeeld beoordeeld moet worden of een tekst getuigt van een goede beheersing van de woordenschat, dan zullen niet alle docenten dat op precies dezelfde manier doen, omdat niet iedereen hetzelfde beeld heeft bij ‘een goede beheersing van de woordenschat’.

Productschalen

Dit doe je met ankers - een tekst van een leerling die het ‘niveau’ van het schaalpunt illustreert.

Welk voorbeeld zag je in de vorige slide? 

1. Normatief
2. Descriptief
3. Productschalen

Leerlingen worden beoordeeld op communicatieve effectiviteit, beheersing van woordenschat en grammaticale correctheid op A2 niveau. Moeten alle criteria even zwaar wegen qua punten?

1. ja
2. nee

Hoeveel punten?

Denk na over: hoeveel punten moeten er per categorie maximaal worden toegekend?

Meer dan zeven schaalpunten werkt niet goed. Het wordt voor de beoordelaars dan te lastig om onderscheid te maken tussen 7 of 8 punten. (Kuhlemeijer, 2011)

En weegt elk criterium even zwaar? (zie afbeelding hiernaast)

Voorbeeld

De nadruk ligt hier op inhoudsaspecten, wat goed past bij niveau A2. 

Wil men echter een score-overzicht maken voor niveau B1, dan zal men ervoor moeten zorgen dat de vormaspecten iets meer gewicht krijgen. 

In dit voorbeeld kan dat door de schaal voor communicatieve effectiviteit in te korten of door de andere schalen te verlengen.

Kalibreren

Gebruik de hand-out: ERK beoordelingsmodel

Bekijk de video op de volgende slide

Communicatief doel: I can express my opinion about hobbies (A2). 

Bouwstenen in voorbereiding: leerlingen hebben de present simple,  woorden die met hobby's te maken hebben en phrases voor het geven van je mening behandeld. 

Beoordeel de spreektoets individueel. 

Bespreek vervolgens in een groepje: kwamen jullie op hetzelfde resultaat? Werkt dit beoordelingsmodel?

Aan de slag

Werk samen met je partner

1. Bedenk of je een normatief / descriptief / productschaal model gaat ontwikkelen

2. Kies beoordelingscriteria 

3. Bepaal de puntenverdeling

Vooruitblik deel 2E

Blik kort terug op jouw kerndoelen. Beschrijf daarbij jouw nieuwe vakdidactische inzichten. Onderbouw dit vanuit de literatuur en voorbeelden. Sluit af met een aantal vakdidactische leerdoelen voor WPL3.

Het is niet mogelijk om deel 2E in te leveren voor feedback.

Nieuwe vakdidactische inzichten?

Doelen

Aan het eind van deze les kun je:

• Een productieve toets beoordelen op validiteit/betrouwbaarheid
• A.d.h.v. vakdidactische aspecten beargumenteren of een productieve toets geschikt is om een leerdoel te meten.
• Een communicatieve productieve toets voor schrijf -of spreekvaardigheid ontwikkelen.
• Een beoordelingsmodel voor een communicatieve productieve schrijf -of spreektoets ontwikkelen.

Deadlines

G1: Maandag 8 januari 2024 [23.59u] via Handin

G2: Vrijdag 9 februari 2024 [23.59] via Handin

Bronnen

Kuhlemeijer, H. (2011) Het construeren van praktijktoetsen. In P. Sanders, Toetsen op School. (125 – 141) Arnhem: Cito.

Melse, L. (1990) Schrijftoetsen voor de moderne vreemde talen. Apeldoorn: Van Walraven.