BIX bibliotheksindex: effizienz ineffizient
Montag, 12. Juli 2010 13:06
· von meik
das ziel des BIX wird so umrissen: "Er macht die Situation einer Bibliothek mit Hilfe von Kennzahlen transparent und trägt damit zur Verbesserung der Kommunikation zwischen Bibliothek, Verwaltung, Öffentlichkeit und Politik bei." in wirklichkeit schauen am ende natürlich alle nur auf ihren rangplatz und schreiben jubelvolle pressemtteilungen, wenn der gut ausfällt. dabei fällt dann schonmal unter den tisch, daß die indikatoren "laufend optimiert" werden, d.h. die berechnungsgrundlagen jedes jahr etwas anders sind (etwa "Nutzerzufriedenheitsquote wird 2010 nicht erhoben"). eigentlich sind damit die positionen aus verschiedenen jahren gar nicht mehr direkt vergleichbar, denn unterschiede könnten ausschließlich auf die geänderte berechnung zurückgehen. als veränderungsanzeige ist der BIX damit in jedem fall relativ unbrauchbar, und es verbietet sich, eine platzänderung als objektive verbesserung/verschlechterung zu interpretieren. es stellt sich ein wenig die frage an, was denn mit dem ranking überhaupt kommuniziert werden soll, wenn jedes jahr ein bißchen anders gerechnet wird. das erinnert irgendwie an die arbeitslosenstatistik: dort ändert sich auch regelmäßig die grundlage, wer gezählt wird und wer nicht, so daß sich zahlen über längere zeiträume nicht vernünftig miteinander vergleichen lassen.
unter "transparent machen" ist wahrscheinlich datenreduktion zu verstehen. in der tat müssen die teilnehmenden bibliotheken ganz schön viele deskriptive daten zusammentragen. wie bei jedem ranking gehen die dann in den quirl, und am ende kommt eine platzierung heraus. das BIX setzt sich aus vier sogenannten zieldimensionen zusammen: angebot, nutzung, effizienz (wirtschaftlichkeit) und entwicklungspotenzial. die ersten beiden erklären sich selbst, die anderen sind das, was man bei jedem produkt der bertelsmann-stiftung erwarten kann: unternehmerische führung und der blick in die glaskugel. den genaueren blick auf die herangezogenen indikatoren spare ich mir hier, obwohl dort natürlich schon echter rechtfertigungszwang herrscht. ich will lieber wissen, wie sinnvoll diese vier subskalen eigentlich sind.
in echt jetzt
schauen wir uns doch mal an, wie die einzelnen skalen miteinenader zusammenhängen. ich habe dazu die ränge der jahre 2007-2010 einer korrelationsanalyse unterzogen. wer es genau wissen möchte: da ränge nur ordinalskalenniveau haben und beim BIX auch mehrmals vergeben werden, hab ich kendalls tau berechnet:
| angebot | nutzung | effizienz | entwicklung | |
| gesamt | 0.48-0.61 | 0.57-0.60 | 0.20-0.32 | 0.48-0.55 |
| angebot | -- | 0.38-0.47 | 0.00-0.12 | 0.25-0.40 |
| nutzung | -- | -0.05-0.14 | 0.32-0.43 | |
| effizienz | -- | -0.07-0.03 |
was hier auffällt: die skala effizienz korreliert eigentlich mit nichts so wirklich berauschend, sogar der zusammenhang zum gesamtergebnis ist stets mager -- koeffizienten unter .40 werden üblicherwiese als "schwach" gedeutet, und sogar die korrelationen aller anderen subskalen untereinander(!) erscheinen höher als die von effizienz mit dem gesamtranking. so kann die uni-bibliothek konstanz 2010 z.b. gesamtplatz 1 belegen, obwohl sie im effizienzranking nur auf platz 23 kommt. man könnte auch sagen: die erhebung dieser ganzen "zieldimension" kann man sich eigentlich schenken. es ist ja ein bißchen ironisch, daß die erkennbar ineffizienteste dimension dieses rankings ausgerechnet "effizienz" messen will. es sind wohl eher rein politische gründe, warum man diesen faktor trotzdem einrechnet. was auch immer der gesamtwert ausdrücken mag, "effizienz" spielt eigentlich keine rolle.
umrühren, fertig
die anderen drei skalen korrelieren dagegen tendenziell fast so hoch miteinander wie mit dem gesamtergebnis. da muß man sich schon fragen, ob diese dimensionen sinnvoll gewählt sind, um voneinander unabhängige bestandteile zu messen. es kommen einem ketzerische fragen in den sinn: warum sollen angebot und nutzung (nachfrage) auch nicht direkt miteinander zusammenhängen? in die dimension entwicklung gehen wiederum hauptsählich finanzmittel der bibliothek ein -- warum soll die finanzierung keinen zusammenhang zum angebot haben? für mich hinweise, die auf eine eher naive konstruktion des messinstrumentes schließen lassen.
schonmal irgendwo gesehen
also, ich hab hier ein deja-vu: viele "kennzahlen" werden unter willkürlich gewählten schlagworten zusammengerechnet, ganz egal ob sie das gleiche oder was ganz anderes erfassen. die reliabilität dieses rankings ist konstruktionsbedingt mäßig -- es wird ja jedes mal ein bißchen anders angerührt. ein instrument, das so nicht mal wiederholt das gleiche messen kann, hat zwingend probleme die frage zu beantworten, was es denn überhaupt mißt. am ende hab ich keine ahnung mehr, was das ergebnis bedeutet. mit blick auf die selbstgesteckten ziele bleibt mir da schleierhaft, wie das irgendeine "kommunikation" verbessert.


Kein Kommentar
kommentar schreiben: