Met veel plezier heb ik het zaterdagprogramma van het NOVA festival in Oirschot bijgewoond. Er werd een grote variatie aan soms indringende, dan weer indrukwekkende, informatieve, of vermakelijke films vertoond. Een van mijn redenen naar Oirschot te gaan was te zien (en te horen) wat er zoal geproduceerd wordt op amateurniveau, en om te horen hoe de jury tegen al deze films aankeek. Het combineren van je eigen indruk en de juryrapporten zou mij moeten helpen mijn eigen kritisch vermogen aan te scherpen, en, wellicht, mijn eigen films ook op een hoger plan te krijgen. Ik keek dan ook uit naar de juryrapporten, die al snel beschikbaar waren.
Ik heb ze allemaal doorgelezen. Ik ging er zonder nadenken van uit dat er een relatie zou bestaan tussen het behaalde niveau (medaille, punten) en de opmerkingen in deze rapporten. Al lezende raakte ik vaak het spoor bijster over deze relatie. Ik ben toen de rapporten eens wat nader gaan analyseren.

Vooraf wil ik een paar opmerkingen maken. Ten eerste ben ik, of is Havic, geen belanghebbende in deze NOVA uitkomsten, anders dan dat ik er zelf van wil leren. Ik gun iedereen de hoogst mogelijke classificatie. Verder ga ik er van uit dat de NOVA jurering grosso modo vergelijkbaar is met de wijze waarop we dat binnen de AVO doen (zie Handleiding Kringjurering), met andere woorden, uitgaande van een afgesproken standaard kom je met plussen en minnen tot een individueel eindcijfer dat wordt gesommeerd tot een jury-totaalcijfer. Een meerhoofdige jury dient daarbij om de onvermijdelijke persoonlijke subjectiviteit in het eindcijfer enigszins af te vlakken, en daardoor de cijfers tussen de verschillende jury’s beter te kunnen vergelijken. Een meerhoofdige jury vergroot dus de objectiviteit.
In de volgende analyse heb ik geprobeerd de NOVA juryrapporten zo objectief mogelijk te analyseren, simpelweg door aan de opmerkingen in elk rapport plussen en minnen toe te kennen, wat, per rapport, tot een netto score leidde. Zes plussen en twee minnen resulteren zo in een +4 score; zes minnen en drie plussen leidt tot een -3 score. Een film van dit laatste voorbeeld heeft dus meer negatieve dan positieve punten, en er valt nogal het een en ander aan te verbeteren.
Als voorbeeld film no 2, waarbij ik de onderstreepte delen als + of – waardeerde (linker kolom).

Op deze wijze heb ik de rapporten van alle films van plussen en minnen voorzien. Vervolgens heb ik de films gegroepeerd in Goud, Zilver en Brons, en per groep de Netto scores in aflopende volgorde in een staafdiagram (zie onder) weergegeven. Ik noem de Netto scores hierna voor het gemak ‘scores’. De films hebben een volgnummer conform de jury-rapportage.

Een aantal zaken valt sterk op:
De scores van alle films samen lopen van +15 tot -11. Dat is een enorme variatie, die des te opvallender is omdat er alleen medailles zijn uitgereikt. Geen Eervolle Vermeldingen en geen Vermeldingen, ook niet voor de zes films die een negatieve score of score 0 hadden.
De grote variatie is deels te verklaren uit het aantal opmerkingen per rapport. Dit aantal fluctueert sterk.

De grote variatie toont overigens ook aan dat het algemene beeld niet erg gevoelig is voor kleine veranderingen in mijn scores. We hoeven dus niet te twisten of een score van bijvoorbeeld +6, misschien beter +5 of +7 had kunnen zijn.
De laagste score voor Goud was +9. Vier andere films (2 Zilver en 2 Brons) hadden echter een even hoge of zelfs hogere score.
Zowel binnen de categorie Zilver als Brons valt de enorme variatie in de score op. Het onderscheid tussen Zilver en Brons lijkt daarom zelfs triviaal. En als het iemand interesseert: statistisch gezien is er inderdaad geen significant verschil tussen Zilver en Brons. Wellicht leuk te weten voor de Bronzen medaillewinnaars (of misschien juist niet?).
De laagste score voor Zilver was -4. Als we dit als ondergrens voor zilver zouden beschouwen, hadden alle bronzen winnaars, op 2 na, eigenlijk zilver moeten krijgen.
Een ding is duidelijk: de rapportage is erg onduidelijk op het punt van de puntentoekenning. De formuleringen in de juryrapporten komen nauwelijks overeen met de behaalde medailles. Ik heb van de juryrapporten dan ook niet veel kunnen leren. En de vraag komt naar voren in hoeverre deze rapportage recht doet aan zowel de individuele filmmaker alsook aan de anderen in dit nationale festival?
Mijn suggestie is dat de jury meer tijd besteedt aan haar rapportage en ervoor zorg draagt dat de rapporten recht doen aan het behaalde resultaat én onderling vergelijkbaar zijn. Eén manier is de rapportage zelf te standaardiseren conform de toetsingscriteria.

Alfred de Gier

Reactie Jury Coordinatie Commissie

Jan Schoonen (secretaris van de Jury Coördinatie Commissie van de NOVA)

Het stuk "De NOVA op rapport?" van Alfred de Gier, dat je als bijlage meestuurde in je e-mail bericht van 14 december, is aan de orde geweest tijdens de JCC-vergadering van dinsdag 26 januari.
Hoewel wij de wetenschappelijke analyse van de juryrapporten van het afgelopen NOVA Film Festival, zoals gepresenteerd door Alfred de Gier, bijzonder waarderen, moet ons van het hart dat de aangeboden analyse geen recht doet aan de persoonlijke inzet van elk van de vijf juryleden.
Het is nu eenmaal onmogelijk om exact tekst en cijferwaardering gelijke tred te laten houden.
Hoewel de jurysecretaris alles in het werk zal stellen om te proberen dat de uitgesproken dan wel geschreven tekst steeds in balans is met de waardering uitgedrukt in een getal, zal dat niet altijd mogelijk zijn. Het uiteindelijk door elk jurylid verleende cijfer blijft een steeds gevoelsmatig verkregen element te zijn in het hele jureringproces.
Ik hoop van harte dat ik je, in naam van de JCC, hiermee voldoende heb ingelicht.

Slot-reactie Alfred de Gier