Inloggen
Op deze website worden advertenties getoond. Van de advertenties wordt de redactie betaald. De redactie verzorgt het nieuws op deze website. Zonder advertenties geen nieuws. Zou je je adblocker daarom willen uitschakelen
Op 16 juni gaven Richard Lennartz (MinBZK/HIS) en Theo van der Linden (VdLC) op het PIANOo-congres een presentatie over het boek RUIS van nobelprijswinnaar Daniel Kahneman. Kahneman werkt op het snijvlak van psychologie en economie: dat is ook het snijvlak van belangrijke elementen van aanbestedingen. Lennartz en Van der Linden zijn ervan overtuigd dat de ideeën van Kahneman grote invloed gaan hebben op de wijze waarop beoordelingscommissies tot hun oordeel komen. Deze zomer plaatsen ze hierover elke week op aanbestedingscafe een artikel. Dit is het vijfde deel uit die reeks.
Maximaal zeven waarden op onderlinge intensiteit vergelijken
Stel er zijn vier touwtjes van verschillende lengte. Ze zijn allevier tussen de 5 en 10 centimeter lang. De lengteverschillen zijn echter gelijk. U krijgt steeds één touwtje te zien en u moet dan een getal van 1 tot 4 noemen, waarbij 1 voor het kortste stukje staat en 4 voor het langste. Niet moeilijk. Stel nu dat het om vijf touwtjes gaat. Ook nu moet u telkens een getal noemen, in dit geval van 1 tot en met 5. Nog steeds niet moeilijk. Wanneer begint u fouten te maken? Dat is rond het magische getal van zeven touwtjes. Verrassend genoeg hangt dit aantal nauwelijks af van het bereik van de lengtes: als die tussen 5 en 15 centimeter zouden variëren, zou u nog steeds na ongeveer zeven touwtjes de mist in gaan. Een test met in luidheid variërende tonen of kleuren van verschillende helderheid zou vergelijkbare uitkomsten laten zien.
Er zit een duidelijk constante grens aan het vermogen van mensen om aparte labels te plakken op stimuli in een bepaalde dimensie. Die grens ligt rond de zeven labels. Deze grens is van groot belang: we kunnen niet beter presteren dan dat ons vermogen is.
Les vertaald naar de inkooppraktijk
We zijn volgens de lessen van Kahneman prima in staat om aan aanbiedingen van vier leveranciers waardeoordelen te geven en daarbij het onderlinge onderscheid goed tot uitdrukking te brengen. Dat geldt ook voor aanbiedingen van vijf leveranciers en van zes leveranciers. Hebben we aanbestedingen waar we aanbiedingen van zeven of meer leveranciers hebben? Dan is ons vermogen om een goed onderscheid te maken eenvoudigweg niet meer toereikend. Het komt met name bij openbare aanbestedingen voor dat er zeven of meer aanbiedingen zijn. De les uit Kahneman is dat we die dan niet goed kunnen beoordelen en leveranciers dus ongewild en onbedoeld tekortdoen. (Hoe vaak komt het bij jullie voor dat je zeven of meer aanbiedingen hebt….?)
Als we deze les vertalen naar de inkooppraktijk, dan betekent dat dat we moeten zorgen dat we minder dan zeven te beoordelen inschrijvingen hebben. Bij een aanbesteding kan dat door te werken met een preselectie en er op basis van goede selectiecriteria voor te zorgen dat maximaal zes leveranciers een offerte mogen uitbrengen. De Gids Proportionaliteit stelt dat wanneer je meer dan tien inschrijvers verwacht, je de niet-openbare procedure zou moeten kiezen. Op basis van Kahneman zou je dat al bij meer dan zeven verwachte inschrijvingen moeten doen.
Gebruik vergelijkingen in plaats van labels
Ons vermogen dingen te vergelijken is veel groter dan ons vermogen ze een plek op een schaal te geven. Wat zou u doen als u een gedetailleerde schaal moest gebruiken bijvoorbeeld om de kwaliteit van een restaurant op aan te geven? Een vijfsterrenschaal zou goed te doen zijn, maar het is onmogelijk elke waarde van een 10-puntschaal met afronding 1 cijfer achter de komma op een betrouwbare manier te gebruiken. De oplossing voor dit probleem is simpel, al kost ze wel wat tijd.
Kahneman illustreert dat aan de hand van de beoordeling van restaurants. Geef een restaurant eerst een waarde op basis van 1 tot en met 5 sterren. Feitelijk deelt u ze dan in een van de vijf categorieën. Daarna stelt u binnen de categorie de rangorde vast. Wat meestal prima te doen is: uw weet waarschijnlijk heel goed of u Joe’s Pizza beter vindt dan Fred’s Burger, of elk ander restaurant. De psychologie van deze exercitie is simpel. Bij expliciete vergelijkingen tussen te beoordelen zaken is kun je een veel verfijnder onderscheidend maken dan als je iets rechtstreeks moet beoordelen met een score. In feite is dit een vorm van relatief beoordelen, wat niet verward moet worden met de relatieve rekenmethode (met risico op rank reversal).
Les vertaald naar de inkooppraktijk
In de inkoop zou je met het toepassen van vergelijkingen in plaats van labels, dus wél veel leveranciers op een goede manier kunnen beoordelen. In het restaurant-voorbeeld uit Ruis gebruikt Kahneman het sterrenmodel. Bij beoordelen van kwaliteit van bijvoorbeeld (elementen van) een Plan van Aanpak kun je iets vergelijkbaars doen. Je kunt de aanbiedingen eerst grofweg indelen in categorieën als slecht, voldoende, goed of uitstekend. Vervolgens ga je binnen elke categorie de aanbiedingen onderling vergelijken en in volgorde plaatsen. Je wist al in welke categorie ze vallen (slecht etc.). Je hebt vooraf al de bandbreedte van elk categorie bepaald (slecht loopt bijvoorbeeld van 1 tot 6, voldoende van 6 tot 7,5, goed van 7,5 tot 9, en uitstekend is 9 of hoger. Je kent al de volgorde van de aanbiedingen binnen elke categorie, en het toekennen van op een cijfer achter de komma afgeronde score is dan goed te doen.
Schalen anders interpreteren
Kahneman beschrijft een analyse van strafzaken waarbij de juryleden zich moeten uitspreken over straffen. De hypothese was dat juryleden het er over het algemeen wel over eens zijn hoe streng ze de gedaagde willen straffen. Ze kwamen echter tot sterk uiteenlopende bedragen komen als ze die `strengheid’ in Dollars moesten uitdrukken.
Les vertaald naar de inkooppraktijk
In de inkooppraktijk hebben we in de regel templates met daarin een model voor het scoren van de aanbiedingen van leveranciers. Zo’n model bestaat dan uit de verbale labels zoals: slecht – onvoldoende – voldoende – goed – uitstekend. En als we geen model in een template hebben die we voor alle aanbestedingen gebruiken, dan hebben we in de regel binnen één aanbesteding wel een model dat we voor alle te scoren elementen gebruiken.
Onze veronderstelling was altijd dat zo’n model helder en duidelijk is. En door consequent hetzelfde model te hanteren, scoren we ook consequent op dezelfde wijze. De les uit Ruis is dat we deze veronderstelling maar gauw overboord moeten zetten. De duidelijkheid van eenzelfde schaal verschilt per te beoordelen element. We moeten bij aanbestedingen daarom op zoek naar modellen die passen bij de te beoordelen elementen. Dat kan (zal) betekenen dat we voor een communicatieplan een volstrekt ander scoremodel zullen hebben als voor een planning, een duurzaamheidsplan of een plan voor de inzet van mensen met een achterstand op de arbeidsmarkt.
Gezien de hoeveelheid ruis die optreedt bij de illustratieve onderzoeken van Kahneman, moeten we die scoremodellen ook nog eens heel precies uitwerken om ruis zoveel mogelijk te elimineren. Als de ruis bij aanbestedingen net zo groot is als bij de strafzaken uit het onderzoek van Kahneman, is het tot een aanvaardbaar niveau terugbrengen van ruis om te beginnen al een uitdagende ambitie.
Dit artikel is onderdeel van een groep artikelen. Hieronder een overzicht van alle artikelen:
Op 16 juni gaven Richard Lennartz (MinBZK/HIS) en Theo van der Linden (VdLC) op het PIANOo-congres een presentatie over het boek RUIS van nobelprijswinnaar Daniel Kahneman. Kahneman werkt op het snijvlak van psychologie en economie: dat is ook het snijvlak van belangrijke elementen van aanbestedingen. Lennartz en Vander Linden zijn ervan overtuigd dat de ideeën van Kahneman grote invloed gaan hebben op de wijze waarop beoordelingscommissies tot hun oordeel komen. Deze zomer plaatsen ze hierover elke week op aanbestedingscafe een artikel.
