woensdag, juni 02, 2010

Bibliotheekcollecties evalueren met de z-score


Twee jaar geleden publiceerde ik een artikel over kwantitatieve evaluatietechnieken voor bibliotheekcollecties : "collecties evalueren". Daarin beschreef ik zeer kort de verschillende methodieken en kan men (nog steeds) een Doe-het-zelf-formulier downloaden.

De laatste tijd voel ik steeds meer voor één van de aangekaarte methodieken : de Z-score. Deze methodiek werd niet speciaal ontworpen voor bibliotheekcollecties, maar is een vrij courante statistische methode om verschillende populaties met elkaar te vergelijken. In ons geval worden deze populaties collectieonderdelen.

Iedereen in de bibliotheekwereld is (zou) vertrouwd (moeten zijn) met de klassieke basistechnieken als bezitscoëfficiënt, leenfrequentie en gebruikscoëfficiënt (turnover rate). Deze technieken zijn misschien goed voor basale benchmarktoepassingen en normeringen, maar zijn zeer beperkt in hun toepassing binnen de bibliotheek, omwille van het ontbreken van statistische relevantie. Anders gesteld : wat moeten we met die cijfers ? Wat betekent een turnoverrate van 2,3 voor onze bibliotheek ?

Aan de andere kant van het spectrum hebben we dan de integrale benadering van systemen als het Integraal Collectiebeheer (ICB) (ontwikkeld door Bureau Leemans). Hiermee krijgt men kant-en-klare-collectieadviezen.

Toch kan Z-socere een tussenweg bieden. Het is (uiteraard) veel beperkter dan het ICB-model, maar het biedt in combinatie met goed uitgewerkte collectieprofielen een efficiënt alternatief.
De Z-score is alvast hanteerbaarder dan andere modellen zoals Gütersloh en Doucet-Larbre.

De Z-score is afgeleid van de Use-factor (die dan weer gelijkenissen vertoont met de turn-over-rate). Bij de Use-factor bepaalt men voor elk collectieonderdeel het relatieve aandeel in de gehele uitleen en het relatieve aandeel in de totale collectie. Het eerste getal wordt door het tweede gedeeld.

% uitleningen van een rubriek / % bezit van een rubriek

Indien het bekomen getal groter is dan 1 is het aanbod in die rubriek te klein, indien het kleiner is dan 1 is het aanbod te groot.

Het grote probleem is echter dat de Use-factor (zoals alle berekeningen op basis van percentages en gemiddelden) zeer gevoelig voor uitschieters. Dit kan bijvoorbeeld een schrijver of een onderwerp zijn die een hype veroorzaakt. Bij gemiddelden kunnen die uitschieters geneutraliseerd door gebruik te maken van de standaard-afwijking (zoek maar eens STDEV op bij de Excel-functies).

Dit is ook wat de Z-score gebruikt om een evenwichtig beeld te verkrijgen van de collectie. Deze methodiek gebruikt de Use-factor voor elk collectieonderdeel, maar trekt daar de gemiddelde use-factor van de totale collectie af en deelt dit door de standaardafwijking.

Een evenwichtige collectie ligt dan tussen -1 en 1.

Dries Calleeuw maakte een mooie case over een muziekafdeling en hier vindt u een leeg formulier voor eigen gebruik.

Zoals eerder gesteld moet deze werkwijze gecombineerd worden met duidelijke collectieprofielen en een duidelijke beleidsvisie (zie mijn vorige post).

9 opmerkingen:

  1. Begrijp ik je goed als ik denk dat de Z-score vooral aangeeft hoe dringend het is dat er iets aan een collectieonderdeel verandert? Dus dat de collectieonderdelen met de hoogste Z-score als eerste uitgebreid moeten worden, en die met de laagste score als eerste gesaneerd moeten worden?

    BeantwoordenVerwijderen
  2. Zo zou je het inderdaad kunnen bekijken. Het zorgt voor beleidsindicatoren die je moet combineren met de doelstellingen die je met die collectieonderdelen wilt bereiken.

    BeantwoordenVerwijderen
  3. Z-SCORE uiterst beperkt en voegt niets toe; C-OPT superieur

    Geachte heer Van Hee,

    In uw artikel “Bibliotheekcollecties evalueren met de z-score” komt u op grond van enkele algemene statistische overwegingen tot de conclusie dat Z-Score voor die evaluatie een goed bruikbare methode is: “Het is (uiteraard) veel beperkter dan het ICB-model, maar het biedt in combinatie met goed uitgewerkte collectieprofielen een efficiënt alternatief.
    De Z-score is alvast hanteerbaarder dan andere modellen zoals Gütersloh en Doucet-Larbre.”

    Zonder er verder veel woorden aan vuil te maken bekroont u het ICB-model, louter door zijn “integrale benadering”, tot State of the Art.
    En in één moeite door verwijst u C-OPT, waarin zowel van Gütersloh als Doucet-Larbre gebruik wordt gemaakt, naar de prullenbak.
    Als ontwikkelaar van C-OPT vind ik dat uiteraard een prikkelende stelling.

    Om na te gaan of, en zoja in hoeverre, uw stelling hout snijdt zal ik de verschillende methoden (plus het door u in een eerder artikel genoemde RCB) nader analyseren én toetsen aan de praktijk. Voor dat laatste gebruik ik de collectie van de muziekafdeling, zoals in uw artikel vermeld. Maar hierbij dient direct te worden opgemerkt dat de bevindingen niet alleen gelden voor deze ene muziekcollectie, maar voor álle collecties.

    (ivm de beperkte ruimte per reactie moet ik mijn verhaal opdelen in 5 delen)

    BeantwoordenVerwijderen
  4. z-score uiterst beperkt en voegt niets toe; C-OPT superieur
    Deel 2

    VRAAGGERICHT?
    Zoals ‘Informatiegebruiker’ in reactie op uw artikel schrijft, geeft de z-score in eerste instantie vooral aan welke “collectieonderdelen met de hoogste z-score als eerste uitgebreid moeten worden, en die met de laagste score als eerste gesaneerd moeten worden.”
    Maar uiteraard geeft de z-score tegelijkertijd ook voor álle andere collectieonderdelen aan of ze te groot zijn of juist te klein. Weliswaar is de afwijking daar minder heftig, maar ook daar is sprake van te groot of juist te klein bezit.
    Z-score lijkt geschikt voor de analyse van de Vraaggerichtheid van die collecties. Voor elk onderdeel met een z-score groter of kleiner dan 0 geldt immers dat het bezit te groot danwel te klein is in relatie tot het gerealiseerde aantal uitleningen. Het aantal Uitleningen is de meest duidelijke én betrouwbare uitdrukking van de Vraag van klanten.

    Om tot een evenwichtige collectie te komen volstaat het natuurlijk niet om alleen de meest uit de pas lopende collectieonderdelen aan te pakken. Met hoeveel zou je deze moeten laten groeien danwel krimpen? Verandering van het bezit bij één van de onderdelen heeft niet alleen effect op de z-score van het betreffende onderdeel, maar ook op dat van de andere onderdelen. Daarop geeft z-score geen antwoord.

    (Daarbij heeft elke verandering in het bezit van één onderdeel ook gevolgen voor het totaalbezit: dat groeit of krimpt ook. De vraag is of dat wel wenselijk is. Ook daarop geeft z-score geen antwoord. Maar hierop kom ik later terug)

    Je zou voor elk collectieonderdeel het bezit moeten weten met een zo laag mogelijke z-score (zo dicht mogelijk bij 0). Zo’n uitgebalanceerde collectie is echter niet makkelijk (lees: onmogelijk) te vinden. Na diverse pogingen kwam ik op een max. z-score van 0,45. Is dat goed? Of kan het nog veel beter?

    Als ik de data van de muziekcollectie inlaadt in C-OPT geeft de ingebouwde formule van Doucet-Larbre (met wegingsfactor 1) precies dezelfde informatie als z-score: de door C-OPT (onder de motorkap) toegekende score’s per rubriek komen overeen met de z-scores.
    Deze muziekcollectie in zijn geheel scoort in C-OPT voor Vraaggerichtheid: 1,8
    Een geheel uitgebalanceerde collectie scoort een 10.
    In C-OPT is het een koud kunstje om die uitgebalanceerde collectie te vinden. Je vult in bij Herverdelen: 100% … en voilá daar staan de cijfers.
    Als ik deze data vervolgens weer overbreng naar een z-score spreadsheet dan krijgt elk collectieonderdeel een z-score van 0,14 en een use-factor van 1,00.

    Conclusie
    1. analyse van een collectie in C-OPT levert hetzelfde op als een analyse mbv de z-score’s: het is een analyse naar de Vraaggerichtheid van de collectie.
    2. het einddoel, de volledig uitgebalanceerde, Vraaggerichte collectie, komt in beide methoden exact overeen.
    3. z-score biedt slechts beperkte informatie voor een collectioneur. Het geeft score’s per collectie-onderdeel: maar wat is b.v. een z-score van +1,15 waard?
    C-OPT berekent een score voor de Vraaggerichtheid van de héle collectie. Een score op een schaal van 0 tot 10; dat begrijpt iedereen.
    4. Maar nog veel belangrijker is dat je in C-OPT heel eenvoudig een stap in de richting van het uitgebalanceerde einddoel kunt zetten, óf deze in een klap realiseert. Met z-score is het onmogelijk een Vraaggerichtte collectie te maken.

    Bij RCB (benchmarking) wordt per collectieonderdeel gekeken naar de prestaties bij andere bibliotheken. Als je deze zonder meer overneemt, hetgeen bij alle gangbare benchmarkmethodes gebeurt, dan moet je niet gek opkijken als blijkt dat de Vraaggerichtheid van de eigen collectie er meestal op achteruitgaat.
    In het ICB-model ontbreekt (voor zover mij bekend) enige analyse van de collectie ten aanzien van Vraaggerichtheid.
    Zowel bij RCB als ICB zal een analyse van aanvangs- en doelcollectie met behulp van z-score of C-OPT verrassende, zelfs schokkende resultaten opleveren.

    BeantwoordenVerwijderen
  5. z-score uiterst beperkt en voegt niets toe; C-OPT superieur
    Deel 3

    RENDABEL / KEUZERIJKDOM
    Maar dit was nog maar het begin. Nu komt de vraag aan de orde of alleen herverdelen binnen de collectie voldoende is. Zowel z-score als Doucet-Larbre zegt louter iets over de onderlinge verhoudingen binnen een collectie. Uitbalanceren van een collectie brengt de Vraaggerichtheid op peil, hetgeen op zichzelf uiteraard erg belangrijk is.
    Maar dat zegt nog niets over de totale omvang van de betreffende collectie: rentabiliteit/keuzerijkdom. Zowel een te kleine, alsook een te grote collectie kan wat betreft Vraaggerichtheid prima in orde zijn (use-factor overal 1 en een z-score van bijna 0).
    De vraag of een collectie te groot of te klein is kan echter onmogelijk worden beantwoord met alleen z-score of Doucet-Larbre als gereedschap.

    Als collectioneur/directeur/wethouder/gemeenteraadslid/minister wil je natuurlijk óók wel weten of een collectie voldoende rendement oplevert?
    Een aanwijzing daarvoor is de uitleenfrequentie (UF=B/U) die bij de muziekcollectie slechts 0,7 bedraagt.
    Maar een betere indicator voor het rendement is het in C-OPT toegepaste aanwezigheidspercentage, omdat hierin behalve Bezit en Uitleningen ook de Uitleentermijn wordt betrokken. Een belangrijk gegeven, omdat het van groot belang is de klant te alle tijden voldoende keuzerijkdom te bieden. Een boek/CD/DVD dat lang(er) weg is maakt immers langer géén deel uit van het effectieve aanbod aan klanten.
    C-OPT geeft aan dat het aanwezigheidspercentage bij een uitleentermijn van drie weken 98% bedraagt. Met andere woorden: slechts 2% van de gehele muziekcollectie is, gemiddeld genomen, afwezig.
    Dat lijkt een wel zéér ruim aanbod voor klanten, met een zéér laag rendement voor de bibliotheek.
    Om de grootte van bibliotheekcollecties te beoordelen kan het best gebruik worden gemaakt van de in Gühtersloh ontwikkelde normen. Daar werd uitgedokterd wat het optimale aanwezigheidspercentage is voor verschillende domeincollecties. Optimaal is het percentage waarbij de klant voldoende aanbod aantreft (dat is dus ook nadrukkelijk ter beoordeling van de klant) èn de organisatie tegelijkertijd zoveel mogelijk rendement behaalt.
    Als de collectie groter is dan zal dit ten koste gaan van het rendement; omgekeerd zal een kleinere collectie ten koste gaan van de keuzerijkdom en daarmee op termijn van de klanttevredenheid en het aantal klanten.

    Voor muziekcollecties geldt in C-OPT een Norm-aanwezigheidspercentage van 65%: de muziekcollectie krijgt dan ook een Krimp-advies.
    Als we deze muziekcollectie in C-OPT met b.v. 20% laten krimpen en de geoptimaliseerde collectie weer overbrengen naar het z-score spreadsheet dan levert ook deze collectie bij elk collectieonderdeel een z-score op van 0,14 en een use-factor van 1,00.

    Gebruik van aanwezigheidsnormen is de enig juiste aanpak voor de beoordeling van de collectieomvang omdat hierbij zowel rendement (ook voor bibliotheken steeds belangrijker ivm draagvlak/legitimatie) als keuzerijkdom aan de orde zijn en de klant hierbij (zoals altijd) de eerste en de laatste stem heeft.
    Sommigen pleiten ervoor de grootte van collecties te bepalen op basis van een norm per inwoneraantal, omdat hiermee volgens hen voorkomen wordt dat bij afnemend gebruik een negatieve spiraal in werking treedt. Dit heeft als ogenschijnlijk voordeel dat collecties op korte termijn niet (drastisch) hoeven krimpen als het gebruik afneemt. Dit zal echter op den duur ten koste gaan van de legitimiteit. Wanneer op enig moment de subsidies worden afgebouwd op grond van een te laag gebruik was deze aanpak, achteraf gezien, toch niet meer dan een in het zand gestoken kop. Noch afgezien van het gegeven dat bibliotheekgebruikers helemaal geen hoge waardering blijken te hebben voor te grote collecties.

    BeantwoordenVerwijderen
  6. z-score uiterst beperkt en voegt niets toe; C-OPT superieur
    Deel 4

    RENDABEL / KEUZERIJKDOM
    Conclusie
    1. Z-score geeft niet aan óf de collectie in zijn geheel zou moeten krimpen of juist groeien. En het geeft al helemaal niet aan in welke mate dat dan zou moeten.
    Met z-score is het dan ook onmogelijk om een Collectieplan (collectieprofiel) te maken.
    2. C-OPT gaat wél verder dan alleen het uitbalanceren van de collectie. Weloverwogen wordt toegewerkt naar een kleinere of juist grotere, uitgebalanceerde collectie: de OPTimale collectie in de gegeven context.


    Voor RCB geldt dat inherent aan de gehanteerde methode is dat deze zal leiden tot te kleine collecties: de best presterende (lees: de hoogste UF; ofwel het laagste bezit per uitlening) wijst immers steeds weer de weg …

    Bij ICB wordt het nieuwe bezit, het ‘Wens-Bezit’, eenvoudig berekend met de formule W-Bezit=W-Uitleen/W-UF
    Getracht wordt de complexe werkelijkheid te benaderen door veel variabelen in deze formule te betrekken. Een aantal variabelen beïnvloeden het ‘wens-uitleenaantal’. Voorbeeld: een volgens marktonderzoek te verwachten hogere vraag. Om het wens-uitleenaantal om te zetten in een daawerkelijk hoger uitleenaantal is van cruciaal belang óf en hoe deze, voorlopig nog niet ingeschreven bibliotheeklanten, daadwerkelijk worden binnenhaalt en effectief tot lenen aangezet.
    De meeste variabelen beïnvloeden de “wens-UF”. Voorbeeld: uit benchmarking blijkt dat een andere bibliotheek een hogere UF heeft voor detectives: “dat willen wij in onze bibliotheek ook wel”. Als u nu het bezit inkrimpt om op dezelfde UF uit te komen is echter nog wel de vraag of door het wensen van een hogere UF alléén het aantal Uitleningen op peil zal blijven? Anders bent u er nog niets mee opgeschoten.
    Hoe meer variabelen er meespelen hoe ondoorzichtiger het eindresultaat.
    Inherent aan de methode, waarbij de collectioneur voor elk van de collectieonderdelen voor elk van de meebepalende variabelen een waarde moet invullen, zou wel eens kunnen zijn dat er oneigenlijk gestuurd wordt. Gestuurd in de richting van een gewenst resultaat: collecties toch maar niet zo erg laten krimpen? Of juist gaan voor een zeer hoog rendement en de ‘beste’ worden in de provincie?
    Bij ICB zal elk jaar voor elk collectieonderdeel en voor elke onderliggende variabele nagegaan moeten worden of deze moet worden aangepast.
    Om te bepalen in welke richting en hoeveel de ‘W-UF’, het W-Uitleen’ en daardoor het ‘W-Bezit’, moet worden bijgesteld.
    Hoe meer onderliggende variabelen hoe moeilijker het zal zijn, zoniet onmogelijk, om achteraf te bepalen welke variabelen toch niet helemaal juist waren gewaardeerd.

    BeantwoordenVerwijderen
  7. z-score uiterst beperkt en voegt niets toe; C-OPT superieur
    Deel5

    BELEID
    Analyse van een collectie en het maken van een collectieplan dient te geschieden op basis van heldere beleidsuitgangspunten.
    In het algemeen zou als hoofdbeleidsuitgangspunt voor collecties in openbare bibliotheken moeten gelden dat deze a. niet te groot maar ook niet te klein mogen zijn (rendabel/keuzerijkdom) en b. vraaggericht moeten zijn.
    Vervolgens zouden gedetailleerder beleidskeuzes gemaakt kunnen worden: bv om één of enkele collectieonderdelen juist aanbodgericht te (blijven) aanbieden, gemotiveerd doordat het aanbod bij deze collectieonderdelen behoort tot de culturele taak van de bibliotheek. Bij deze aanbodgerichte collectieonderdelen spelen overwegingen van rendement geen, of althans een veel geringere rol.

    Bij de z-score–analyse zouden collectieonderdelen waarvoor een dergelijke beleidskeuze geldt, van de analyse moeten worden uitgesloten omdat, zoals eerder aangegeven, met z-score juist en uitsluitend de Vraaggerichtheid wordt geanalyseerd.

    Ook RCB (zoals ontwikkeld en omschreven door PBC Brabant, thans Cubiss) is erop gericht collecties rendabel en vraaggericht te maken. Controle hierop ontbreekt echter en andere beleidskeuzes zijn niet aan de orde.

    In ICB worden, voor zover mij bekend, geen hoofdbeleidsuitgangspunten ten aanzien van de collectie geformuleerd. Uiteraard ontbreekt dan ook controle op het bereiken van resultaat hierop.
    Vele beleidskeuzes en variabelen per collectieonderdeel zijn van invloed op het eindresultaat. Controle op het bereiken van een beter resultaat
    (‘wenscollectie’ beter dan aanvangscollectie?) ontbreekt.

    In C-OPT worden collectieonderdelen waarvoor een aanbodgericht beleid geldt, onttrokken aan de Vraaggerichtheids-Analyse en tevens aan de berekening voor het uitbalanceren van de collectie.
    C-OPT geeft mbv score’s (0 t/m 10) aan hoe de aanvangscollectie én de doelcollecties scoren mbt de hoofdbeleidsuitgangspunten.
    Input van meerdere variabelen/beleidskeuzes per collectieonderdeel is mogelijk, waarmee een integrale aanpak wordt gerealiseerd. Deze zijn echter ondergeschikt aan de hoofddoelstelling en beogen vooral, uit de praktijk voortkomende, noodzakelijke correcties op het collectieplan te bewerkstelligen.


    Eindconclusie
    - z-score is een zeer beperkte tool voor collectioneurs in een openbare bibliotheek. Met de methode kunnen collecties louter worden geanalyseerd op Vraaggerichtheid, waarbij de informatie voor de gebruiker echter zeer onduidelijk is. Z-score is ongeschikt als optimalisatietool.
    - RCB en ICB ontberen beide een analysemethode voor collecties. Noch de kwaliteit van de aanvangscollectie noch die van de doelcollectie wordt bepaald.
    Wanneer met een methode een collectieplan wordt opgesteld dat geen betrouwbaar, controleerbaar en beïnvloedbaar uitzicht biedt op een betere collectie is deze methode aantoonbaar minder ‘bruikbaar’.
    - C-OPT is superieur. Allereerst door de heldere uitgangspunten en door de combinatie van twee methoden die elkaar perfect aanvullen. Daarnaast ook door de, op maximale flexibiliteit gerichte, gebruikersinterface. En door de gebruiker altijd precies die informatie te geven die nodig is.

    Peter Huygen / OPTERA


    Voor meer informatie over C-OPT zie: www.optera.nl

    BeantwoordenVerwijderen
  8. Geachte Heer Huygen,
    Beste Peter,

    Hartelijk dank voor uw uitvoerige reactie en mijn excuses voor de late reactie.

    Met mijn artikel over de z-score heb ik allerminst willen beweren dat die methode superieur is, wel dat het een zeer handig (dfr. handzaam) instrument is om in te zetten in het collectiemanagement. Als één van de instrumenten, niet als HET instrument...

    Over C-OPT zal ik geen uitspraak ten gronde doen omdat ik het slechts ken uit demo's, artikels en gesprekken met bibliothecarissen die het gebruik hebben.

    De methodieken waarop C-OPT gebaseerd is, Gütersloh en Doucet-Larbre, ken ik wel ten gronde (zie ook de rekenmodellen). De meerwaarde van deze modellen is de duidelijke score (het te besteden bedrag, aan te kopen/af te voeren boeken) die het resultaat is. Maar ten gronde zijn het, net zoals de z-score, statistische modellen.

    De complexiteit in gebruik heeft, volgens mijn bescheiden mening, er toe geleid dat die methodes nooit echt doorgebroken zijn in de bibliotheekwereld.

    Dit doet niks af aan de waarde die ze hadden als laboratoriumfunctie om op een rationele manier aan collectiebeleid te doen.

    BeantwoordenVerwijderen
  9. Geachte heer Van Hee, beste Jan,

    Dank voor uw reactie.

    Ik blijf van mening dat z-score juist niet erg handig is. Ik heb daar denk ik overtuigende argumenten voor geleverd, die door u niet zijn weerlegd.
    Daarnaast is het een feit dat C-OPT veel meer functionaliteit biedt dan z-score.

    Naar mijn mening zijn de methoden Gütersloh en Doucet-Larbre eerder om een ándere dan de door u genoemde reden nooit doorgebroken in de bibliotheekwereld. Ieder op zich biedt namelijk maar een deel van de oplossing voor het collectieprobleem.
    In C-OPT worden deze methoden echter allebei tegelijk ingezet; en dan vullen ze elkaar perfect aan. Wat de een niet kan doet de ander en omgekeerd. Niet voor niks wordt C-OPT in vele bibliotheken al jaren gebruikt.

    En wat betreft de ‘complexiteit in gebruik’ die u noemt: dat is in C-OPT niet aan de orde.
    Een collectieplan maken voor 1 bibliotheek óf voor 33 vestigingen? In C-OPT gaat dat makkelijk en … razendsnel; en de resultaten zijn betrouwbaar en controleerbaar.
    Ik kom graag een keer bij u, en uiteraard bij andere geïnteresseerden, langs om dat te demonstreren.

    BeantwoordenVerwijderen