Magnifying glass Close

Adblocker is geactiveerd!

Op deze website worden advertenties getoond. Van de advertenties wordt de redactie betaald. De redactie verzorgt het nieuws op deze website. Zonder advertenties geen nieuws. Zou je je adblocker daarom willen uitschakelen

Relatief beoordelen? Onontkoombaar!

De afgelopen jaren heb ik met enige regelmaat stukken gepubliceerd over de relatieve rekenmethode. Ik werd dan steevast door experts als Jan Telgen, Hans Kuiper en Fredo Schotanus gecorrigeerd. Dat was zeer leerzaam. Ik weet nu dat de relatieve rekenmethode afgeraden moet worden vanwege het feit dat aanbestedende diensten de uitkomst van de aanbesteding kunnen manipuleren (de Staffing/Manpower-zaak), dat de relatieve methode bij een openbare procedure (waarbij het aantal deelnemers onbepaald is) een loterij is, maar ook dat manipulatie door een nep-inschrijver in de praktijk niet voorkomt (er schijnt één voorbeeld uit Italië bekend te zijn).  

Bij een niet-openbare procedure geldt dat er dan maar vijf inschrijvers zijn, en de kans op uitval van een van die vijf (rank reversal) klein is, omdat alle selectiedocumenten al gecontroleerd zijn door de aanbestedende dienst. Daar zou je dus in bepaalde gevallen voor een relatieve rekenmethode kunnen kiezen, hoewel ook daar natuurlijk, al is het in mindere mate, het loterij-element nog meespeelt. (Is het zo in orde Jan, Hans en Fredo?) Vandaag wil ik het echter niet hebben over de relatieve rekenmethode, maar over het relatief beoordelen van bijvoorbeeld plannen van aanpak, wat daar overigens vaak mee op een hoop gegooid wordt.  

Een zekere mate van vergelijking  

Ik ging er eigenlijk altijd van uit dat een inhoudelijke beoordeling altijd in een zekere mate van vergelijking tot stand komt. Een voorbeeld. Een beoordelingscommissie moet vijf plannen van aanpak beoordelen. De cijfers die ze mogen geven zijn 0 – 2 – 4 – 6 – 8 – 10. Een beoordelaar gaat het eerste plan (bedrijf A) lezen en is danig onder de indruk. Over ieder criterium heeft de inschrijver prima ideeën. Hij geeft ze een 8. Dan gaat hij plan twee (bedrijf B) lezen en tot zijn verbazing is dat nog veel beter. Niet getreurd, bedrijf B krijgt een 10. Maar dan komt bedrijf C, en het lijkt wel of die eerste twee er amper over nagedacht hebben. Wat doet de beoordelaar? Bedrijf A wordt een 6, bedrijf B wordt een 8 en bedrijf C wordt de 10. Dit gebeurt nog twee keer en uiteindelijk eindigt bedrijf A dus op een 2. Is dit een probleem? De rechtbank Gelderland vindt van niet: “Afgezien van het meer principiële bezwaar dat dit een beoordeling in een andere aanbesteding betrof, geldt dat, zoals hiervoor gezegd, de beoordeling in een geval als dit in een zekere mate van vergelijking van de inschrijvingen tot stand komt. (ECLI:NL:RBGEL:2020:2407 Rechtbank Gelderland)  

De docentenmethode  

Maar er zijn ook deskundigen die zeggen dat je wel degelijk plannen van aanpak kunt beoordelen zonder te vergelijken. We noemen dit de docentenmethode. Een docent geeft een proefwerk met 20 vragen. Studenten die op een vraag het goede antwoord geven, krijgen 1 punt per vraag, studenten die het bijna goed hebben een half punt, en studenten die het fout hebben geen punt. Zo worden alle studenten apart van elkaar beoordeeld en heeft de score van de een dus geen effect op de score van de ander. Een prima werkwijze, maar hij is wel afhankelijk van een zeer belangrijke factor: de docent weet wat het goede antwoord is!  

Het perfecte plan van aanpak  

De vraag is nu: kan de docentenmethode ook bij aanbestedingen? Ik ben geneigd die vraag met ‘nee’ te beantwoorden. Wanneer vraagt een aanbestedende dienst om een plan van aanpak? Dat is wanneer zij hoopt nieuwe creatieve, innovatieve ideeën uit de markt te halen. Als de aanbestedende dienst het perfecte plan van aanpak (het goede antwoord!) al in zijn hoofd heeft, dan is het een vorm van zinloze werkverschaffing om bedrijven te laten proberen daar zo dicht mogelijk bij in de buurt te komen. Dan kun je beter je perfecte plan van aanpak als eis voorschrijven en hoef je nooit voor de rechter het verschil uit te leggen tussen inschrijving A (‘vertrouwenwekkend’) en inschrijving B (‘zeer vertrouwenwekkend’).  

Kleine stukjes  

Een oplossing die ik in de praktijk wel zie, is dat inkopers de beoordelaars instrueren om kleine deeltjes van het plan van aanpak apart te beoordelen. Bijvoorbeeld wat staat erin over veiligheid (goed 1, beetje goed 1/2, niks 0), wat staat erin over de planning, wat staat erin over de communicatie, wat staat erin over de risico’s, etc etc. Hierdoor wordt de beoordeling in ieder geval meer toetsbaar en vermijden we beoordelingen als ‘het plan van aanpak gaf mij geen goed gevoel’.  

Maar, lastig blijft het en ik denk dat in sommige gevallen een (inhoudelijke) relatieve beoordeling zelfs onontkoombaar zal zijn.  

Partner van Aanbestedingscafé:
Partner van Aanbestedingscafé:

Reacties (2)

Ard 24 december 2021 23:08 uur

Vergelijken van aanbiedingen is niet hetzelfde als relatief beoordelen. Het beschreven verloop van een 8 naar een 2 is in mijn ogen niet realistisch - een deskundige die dit beoordeelt weet al eerder waar een inschrijving "staat". En dan nog prevaleert het eerst lezen van alle aanbiedingen en dan beoordelen boven de geschetste aanpak en staat dichter bij de praktijk. Als we ons door de inschrijvers willen laten verrassen door te leveren meerwaarde, dan heeft het geen pas om de volgorde van lezen van aanbieders leidend te laten zijn bij de beoordeling.

Hans Kuiper 22 december 2021 15:57 uur

Mijn naam te lezen in dat rijtje maakt een zonnig einde aan dit donkere jaar. Theo, je maakt een heleboel los met je opmerkingen. Je voorbeeld van het scoreverloop van een 8 naar een 2 is niet realistisch omdat een 8, denk ik, boven de eigen verwachting zal scoren en een 2 eronder. En die eigen verwachting is toch een ijkpunt in de score. Ik ben niet enthousiast over een meetmethode waarbij alleen de even eenheden worden gebruikt en de oneven worden genegeerd. Sommige AD'n zijn zo gefocust op 'het verschil maken' dat hun meetmethode het verschil maakt ipv de aanbieders onderling. Stel je een voor dat we de tijd bij het schaatsen op de 10 km voortaan alleen maar gaan meten in minuten. Onzin natuurlijk, ook een 0,01 seconde is een verschil. In advies 504 van het CvAE wordt gesteld dat je de 'docentenmethode' gebruikt waarbij de kwaliteit eenduidig (absoluut) kan worden gemeten en dat wanneer dat niet kan een relatieve methode kan worden gebruikt met een paarsgewijze vergelijking, b.v. AHP. Zelf zou ik in dat geval het eigen beoordelingskader meewegen zodat je voorkomt dat een lage beste kwaliteit onbedoeld een hoge kwaliteitscore krijgt. Vr. Gr. Hans Kuiper

Partner van Aanbestedingscafé:
Sluiten

Inloggen met

of met e-mailadres