Relatief scoren en Cambuur-uit: altijd lastig

Beste Fredo,

Ik zag op LinkedIn jouw presentatie over rank reversal bij relatieve scoremethodes. Je schrijft daar: “We find that after adding fictional losing bids to a large dataset with tenders that use relative scoring methods, there is in 1 out of 5 (!) tenders the possibility of rank reversal”. Ik lees dat wel vaker en ik begrijp er niks van. Waarom zou je verzonnen verliezende inschrijvingen toevoegen? Bij de aanbesteding waar advies 504 over gaat beweert de klager ook dat de uitkomst beïnvloed kan worden door een stroman in te zetten. Ik lees: “Bijvoorbeeld zou een (eventueel buitenlands) bedrijf als ‘stroman’ gevraagd kunnen worden om 100% emissievrij te bieden, met als gevolg dat waarschijnlijk veel of alle andere inschrijvers zeer laag scoren op dit gunningscriterium (de stroman krijgt 50 punten en wie 25 punten of minder scoort krijgt 0 punten volgens de formule).” Ik heb dit argument wel vaker gehoord en laat ik er maar eens rond voor uitkomen, ik geloof er niks van. Zeker, achteraf kun je vaststellen dat, als een stroman had ingeschreven met bijvoorbeeld een waanzinnig slecht plan van aanpak (0 punten), de andere deelnemers bij een relatieve methode in de beoordeling dichter bij elkaar zouden eindigen. Maar is het ook mogelijk om (van tevoren!) een model te bedenken waarbij twee bedrijven samenspannen om een van de twee te laten winnen? Ikzelf word overigens heel vrolijk van de verder zinloze toevoeging dat de stroman eventueel een buitenlands bedrijf zou kunnen zijn. Dat klinkt toch een beetje naar een operatie van de CIA.

Vriendelijke groet,
Theo

Beste Theo,

Het punt dat wij willen maken in de volledige paper is niet zozeer gericht op stromannen, al dan niet van de CIA. Het gaat ons vooral om het principe. We tonen aan dat je als inschrijver in veel tenders met relatieve scoremethodes afhankelijk bent van (1) de wijze waarop een deelnemende niet-competitieve inschrijver (die dus niet wint) inschrijft en (2) het wel of niet deelnemen van een andere niet-competitieve inschrijver.

In de paper tonen we verder aan dat het rank reversal probleem minder groot is bij tenders met weinig deelnemers. Lees: voor meervoudig onderhands. Maar ook dan nog speelt het probleem.

Hoe dan ook: in alle situaties  wringt het principe. Je kunt winnen of verliezen afhankelijk van hoe een niet-competitieve inschrijver inschrijft. Een beetje een loterij dus.

Vriendelijke groet,
Fredo

Beste Fredo,

Het kwartje is nog steeds niet gevallen. Misschien gaat het nooit vallen, maar ik wil je toch mijn gedachtegang nog voorleggen, ook om te verifiëren of ik het wel goed begrepen heb. 

Er is een openbare Europese aanbesteding met vijf inschrijvers. Degene die het beste scoort op de BPKV (bedrijf A) wint. Niks aan de hand.

Nu zeg jij: er kan een inschrijver 6 zijn, die twijfelt, maar toch meedoet met een flutinschrijving. Inschrijver zes wint weliswaar niet, maar door zijn deelname verandert de volgorde en wint niet bedrijf A maar bedrijf B. Dat voelt raar.

Mijn punt is nu dat er misschien ook een inschrijver 7 is, die net wel of net niet op tijd is, en een inschrijver acht, die net in die periode wel of niet voldoende capaciteit heeft om in te schrijven. Voor allemaal kan gelden, dat de volgorde kan veranderen, als ze al dan niet meedoen. 

Maar waarom zou dat relevant zijn? Bij een aanbesteding hebben we toch een duidelijk moment van inschrijven, daarna wordt er gekeken of er inschrijvingen vanwege ongeldigheid afvallen, en van de overige inschrijvingen wordt op basis van een rekenmodel een volgorde bepaald. 

Er is toch maar één realiteit. Waarom zou je je bezighouden met de vraag ‘stel dat bedrijf X met inschrijving Y ook had ingeschreven’. Dat is toch gewoon niet zo. Bedrijf X heeft niet ingeschreven. Er is toch een duidelijk moment waarop de geldige inschrijvingen vastgesteld worden. En die moet je beoordelen.
Wat mis ik? 

Vriendelijke groet,
Theo

Theo,

Ik snap jouw denkwijze zeker. En voor die denkwijze gelden de resultaten uit het tweede deel van ons onderzoek. Uit de paper: “We tonen onder andere aan dat tenders met kromme relatieve scoremethodes ongeveer eens in de 25 keer rank reversal kunnen hebben (gegeven gemiddelde condities). Als er vrij veel prijsspreiding in een markt is, dan wordt die kans groter: eens in de 15 keer. Dit betekent dat eens in de 15 tenders er een verliezende inschrijving is die invloed kan hebben op welke andere inschrijver de tender wint.”

Voor wat betreft het eerste deel van ons onderzoek. Dat gaat ook om het principe, want je hebt natuurlijk gelijk dat er maar één realiteit is. Wij proberen hier aan te geven dat de uitkomst van een tender een beetje een loterij is. Een inschrijver had kunnen winnen (of verliezen) alleen maar omdat een niet-competitieve inschrijver 6 wel/niet deelneemt. Om het nog eens anders proberen te zeggen: “Wat jammer dat NAC niet meedoet met de eredivisie, want anders had PSV de competitie gewonnen en niet Ajax”. 

Groeten,

Fredo

Hé Fredo, 

De voetbalcompetitie is een geweldig voorbeeld (dat ik bij dezen van je jat voor mijn cursussen), maar volgens mij juist om aan te tonen dat rank reversal geen probleem is. 

De afgelopen eredivisie begon met FC Den Haag en RKC (die waarschijnlijk zouden degraderen) en niet met Cambuur en De Graafschap (die waarschijnlijk zouden promoveren). Dat kan effect hebben gehad op de stand (“Cambuur-uit, altijd lastig voor Ajax”), maar belangrijk is dat achteraf niet. De achttien clubs die begonnen zijn de deelnemers, klaar uit, basta. 

Maar wat nu, als er tijdens de competitie een club failliet gaat. Dat is in de afgelopen jaren in de eerste divisie een paar keer gebeurd (Haarlem en Veendam, zeg ik uit mijn hoofd). In de reglementen stond dan dat de resultaten die de andere clubs tegen die tegenstanders geboekt hadden, werden geschrapt. Hierdoor kon de stand ingrijpend veranderen. Als nummer 1 bijvoorbeeld twee keer tegen die failliete club gewonnen had, en nummer 2 toevallig twee keer verloren. De stand kon dan behoorlijk door elkaar gehusseld worden. Sommige clubs baalden daar wel van, maar iedereen begreep dat dit de enige eerlijke oplossing was. 

Ik zie geen enkel verschil met een aanbesteding, waarbij je ook van tevoren al aangeeft dat als er een inschrijver tijdens de aanbesteding afvalt, er opnieuw gerekend gaat worden met de overgebleven inschrijvers, en ja, hierdoor kan de volgorde veranderen, maar dat is goed uit te leggen (zeker met dit voorbeeld van de voetbalcompetitie). 

vrgr
Theo

Beste Theo,

Haha, je geeft een mooi voorbeeld van hoe je om moet gaan met het wegvallen van een leverancier. Maar dit is nu nog niet helemaal vergelijkbaar. Je zou dan allereerst moeten stellen dat aan het eind van het seizoen nadat alle wedstrijden zijn gespeeld er een voetbalclub wegvalt wegens bijvoorbeeld stelselmatig dopinggebruik, gokgedrag van spelers op wedstrijden of wegens onrechtmatige staatssteun uit een oliestaat (uiteraard allemaal fictieve voorbeelden). En daarnaast mag niemand punten hebben gescoord tegen de club, want het moet gaan om een niet-competitieve club. De club deed voor spek en bonen mee. Als deze club wegvalt en als gevolg daarvan verandert de rangorde: dat lijkt mij toch niet OK.

Vriendelijke groet.
Fredo

Hé Fredo,

Weer even terug van de eredivisie naar het aanbesteden. Er zijn toch geen niet-competitieve inschrijvers die voor ‘spek en bonen’ meedoen. Inschrijven op aanbestedingen is een hele klus. Ik word zelf al spontaan moe als ik eraan denk dat ik een UEA zou moeten invullen (dat hoef ik gelukkig nooit).

De eredivisie begint met 18 clubs, een aanbesteding begint met alle geldige inschrijvingen. Ik denk trouwens dat het in het voetbal ook goed te verdedigen is, dat een club waarbij achteraf vastgesteld wordt dat er doping gebruikt is, gegokt is op eigen wedstrijden of dubieus geld gebruikt is, dat die club uit de rangschikking verwijderd wordt en dat de resultaten tegen die club dan niet meer meetellen.

In het wielrennen en de atletiek is dat ook zo. Lance Armstrong en Ben Johnson raakten ook hun eerste plaatsen (jaren later zelfs) kwijt door dopinggebruik. Ik geef toe dat er een verschil is omdat iedereen dan alleen maar een plaatsje omhoog schuift en de volgorde niet verandert, maar de uitslag wordt toch anders en iedereen snapt waarom.

Vrgr
Theo

Theo,

Je hebt uiteraard gelijk dat inschrijven een hele klus is en UEA’s vreselijke documenten zijn, maar in tenders heb je toch wel echt inschrijvingen die niet meedoen voor de winst: lage score op kwaliteit met de laagste prijs. Dat bedoelen wij met ‘niet-competitief’, maar deze term is niet helemaal duidelijk besef ik.

Voor wat betreft het verwijderen van de winnaars: als Lance of Ben verwijderd worden uit de uitslag (en je haalt daarna alle andere doopzondaars ook consistent weg), dan zou ik het eerlijk vinden als de eerste die overblijft (als die er is?) ook wint. Dat zou dan bijvoorbeeld nummer 80 zijn. Ik zou het oneerlijk vinden als nummer 85 zou winnen in plaats van de oorspronkelijke nummer 80 als gevolg van rank reversal.

Jij bent als ik het me goed herinner niet zo’n PIANOo congres bezoeker, maar zou je het leuk vinden om daar dit debat nog eens over te doen (als PIANOo ervoor open staat)? Of anders eens in de vorm van een gezamenlijke column?

vrgr
Fredo

Beste Fredo,

Een gezamenlijke column lijkt me een leuk idee.

vrgr

Theo