De afgelopen jaren heb ik met enige regelmaat stukken gepubliceerd over de relatieve rekenmethode. Ik werd dan steevast door experts als Jan Telgen, Hans Kuiper en Fredo Schotanus gecorrigeerd. Dat was zeer leerzaam. Ik weet nu dat de relatieve rekenmethode afgeraden moet worden vanwege het feit dat aanbestedende diensten de uitkomst van de aanbesteding kunnen manipuleren (de Staffing/Manpower-zaak), dat de relatieve methode bij een openbare procedure (waarbij het aantal deelnemers onbepaald is) een loterij is, maar ook dat manipulatie door een nep-inschrijver in de praktijk niet voorkomt (er schijnt één voorbeeld uit Italië bekend te zijn).
Bij een niet-openbare procedure geldt dat er dan maar vijf inschrijvers zijn, en de kans op uitval van een van die vijf (rank reversal) klein is, omdat alle selectiedocumenten al gecontroleerd zijn door de aanbestedende dienst. Daar zou je dus in bepaalde gevallen voor een relatieve rekenmethode kunnen kiezen, hoewel ook daar natuurlijk, al is het in mindere mate, het loterij-element nog meespeelt. (Is het zo in orde Jan, Hans en Fredo?) Vandaag wil ik het echter niet hebben over de relatieve rekenmethode, maar over het relatief beoordelen van bijvoorbeeld plannen van aanpak, wat daar overigens vaak mee op een hoop gegooid wordt.
Een zekere mate van vergelijking
Ik ging er eigenlijk altijd van uit dat een inhoudelijke beoordeling altijd in een zekere mate van vergelijking tot stand komt. Een voorbeeld. Een beoordelingscommissie moet vijf plannen van aanpak beoordelen. De cijfers die ze mogen geven zijn 0 – 2 – 4 – 6 – 8 – 10. Een beoordelaar gaat het eerste plan (bedrijf A) lezen en is danig onder de indruk. Over ieder criterium heeft de inschrijver prima ideeën. Hij geeft ze een 8. Dan gaat hij plan twee (bedrijf B) lezen en tot zijn verbazing is dat nog veel beter. Niet getreurd, bedrijf B krijgt een 10. Maar dan komt bedrijf C, en het lijkt wel of die eerste twee er amper over nagedacht hebben. Wat doet de beoordelaar? Bedrijf A wordt een 6, bedrijf B wordt een 8 en bedrijf C wordt de 10. Dit gebeurt nog twee keer en uiteindelijk eindigt bedrijf A dus op een 2. Is dit een probleem? De rechtbank Gelderland vindt van niet: “Afgezien van het meer principiële bezwaar dat dit een beoordeling in een andere aanbesteding betrof, geldt dat, zoals hiervoor gezegd, de beoordeling in een geval als dit in een zekere mate van vergelijking van de inschrijvingen tot stand komt. (ECLI:NL:RBGEL:2020:2407 Rechtbank Gelderland)
De docentenmethode
Maar er zijn ook deskundigen die zeggen dat je wel degelijk plannen van aanpak kunt beoordelen zonder te vergelijken. We noemen dit de docentenmethode. Een docent geeft een proefwerk met 20 vragen. Studenten die op een vraag het goede antwoord geven, krijgen 1 punt per vraag, studenten die het bijna goed hebben een half punt, en studenten die het fout hebben geen punt. Zo worden alle studenten apart van elkaar beoordeeld en heeft de score van de een dus geen effect op de score van de ander. Een prima werkwijze, maar hij is wel afhankelijk van een zeer belangrijke factor: de docent weet wat het goede antwoord is!
Het perfecte plan van aanpak
De vraag is nu: kan de docentenmethode ook bij aanbestedingen? Ik ben geneigd die vraag met ‘nee’ te beantwoorden. Wanneer vraagt een aanbestedende dienst om een plan van aanpak? Dat is wanneer zij hoopt nieuwe creatieve, innovatieve ideeën uit de markt te halen. Als de aanbestedende dienst het perfecte plan van aanpak (het goede antwoord!) al in zijn hoofd heeft, dan is het een vorm van zinloze werkverschaffing om bedrijven te laten proberen daar zo dicht mogelijk bij in de buurt te komen. Dan kun je beter je perfecte plan van aanpak als eis voorschrijven en hoef je nooit voor de rechter het verschil uit te leggen tussen inschrijving A (‘vertrouwenwekkend’) en inschrijving B (‘zeer vertrouwenwekkend’).
Kleine stukjes
Een oplossing die ik in de praktijk wel zie, is dat inkopers de beoordelaars instrueren om kleine deeltjes van het plan van aanpak apart te beoordelen. Bijvoorbeeld wat staat erin over veiligheid (goed 1, beetje goed 1/2, niks 0), wat staat erin over de planning, wat staat erin over de communicatie, wat staat erin over de risico’s, etc etc. Hierdoor wordt de beoordeling in ieder geval meer toetsbaar en vermijden we beoordelingen als ‘het plan van aanpak gaf mij geen goed gevoel’.
Maar, lastig blijft het en ik denk dat in sommige gevallen een (inhoudelijke) relatieve beoordeling zelfs onontkoombaar zal zijn.
