Par Lucie Chanas, SCD Université de Paris, Nelly Sciardis, SCD Université Polytechnique Hauts-de-France, Cécile Touitou, Bibliothèque Sciences Po Paris/ Commission Pilotage et Evaluation
En 1983 sortait Zelig, un film sur un homme hors du commun, capable d’endosser en quelques secondes l’apparence et la psychologie de son interlocuteur. Le protagoniste, surnommé « Léonard le lézard », incarné par Woody Allen, fait alors l’objet d’un engouement planétaire dans les années 1920. Sous ses airs de faux documentaire, Zelig dévoile un de nos souhaits les plus chers en bibliothèque : être capable de s’identifier à nos usagers, capter leur attention, pour mieux comprendre leurs attentes et y répondre.
L’évolution et la variété des dispositifs de mesure de la satisfaction et des besoins en bibliothèque illustrent cette quête de « l’outil-caméléon ». Les usages de ces outils sont d’ailleurs souvent combinés. Ainsi, il n’est pas rare de mener une enquête de satisfaction quantitative et de compléter par exemple les résultats au moyen d’entretiens qualitatifs semi-directifs, de focus groups ou encore de tests relevant davantage des fameuses méthodes UX. Le professionnel a donc l’embarras du choix, mais il s’interroge à juste titre: l’outil forgé par une institution est-il le meilleur moyen d’évaluer ce que le public attend ? Ne devrait-on pas inverser les rôles ? Observons à présent quelques exemples concrets.
LibQUAL+, un outil pensé par et pour les institutions : une enquête-caméléon des instances ?
Cette enquête existe depuis près de 20 ans. Elle évalue la perception qu’ont les utilisateurs des bibliothèques de l’enseignement supérieur de la qualité des services de leur bibliothèque. Initié par l’Association of Research Libraries (ARL), outil de dimension internationale, LibQUAL+ a fait ses preuves, comme le montrent les milliers d’éditions de l’enquête recensées à travers le monde. On observe cependant un intérêt grandissant pour d’autres dispositifs depuis quelques années. Plusieurs raisons peuvent être invoquées. Certaines existent depuis la conception de l’outil, d’autres proviennent de dispositifs concurrents aux méthodes innovantes.
Il faut tout d’abord insister sur la qualité scientifique de l’outil, résultat d’un travail très fin pour mesurer le plus objectivement possible les besoins des usagers. L’expertise de la méthode est l’une de ses forces. Le dispositif peut apparaître plutôt onéreux (3200$ en 2020 pour un abonnement de base), d’autant que les bénéfices que l’établissement en retire nécessitent un travail important de la part des équipes locales. L’enquête s’appuie sur un questionnaire en ligne composé de 22 questions communes à toutes les bibliothèques participantes, auxquelles elles ont la liberté d’adjoindre 5 questions optionnelles. Le vocabulaire employé dans les questions a été soigneusement choisi et traduit par des professionnels de la documentation. Mais LibQUAL+ en rebute plus d’un par sa forme et son système de notation. Chaque item doit recevoir une note de 1 à 9 en fonction de trois critères : ce que ce l’usager attend au minimum, perçoit réellement et souhaiterait dans l’idéal, en s’inspirant d’une méthodologie utilisée dans le marketing et les services appelée SERVQUAL. Cette triple notation permet de mieux connaître les attendus et les exigences des usagers, et de les pondérer en mesurant les écarts entre notes minimales, idéales et perçues. Mais si elle représente un atout dans la finesse d’analyse, elle engendre aussi une certaine complexité pour répondre. Face au découragement de certains répondants à renseigner une enquête qui prend dix bonnes minutes à être renseignée, comment parvenir au seuil de représentativité requis ? Bon nombre d’établissements ne peuvent exploiter les résultats faute de participation suffisante des répondants potentiels. Une version plus courte, créée ultérieurement, LibQUAL Lite, donne l’avantage d’un remplissage plus rapide, avec seulement un item sur trois à noter par rapport à la version exhaustive. La sélection de l’item s’effectue de manière aléatoire.
D’autre part, le questionnaire propose un vocabulaire et des thématiques qui n’ont pas évolué depuis les années 2000, afin d’optimiser la comparabilité entre les établissements sur le long terme. Or les bibliothèques ont changé en l’espace de vingt ans. C’est la raison pour laquelle l’ARL a permis aux établissements participants d’introduire des questions locales. Pour prendre un exemple, la BU de Bordeaux Montaigne a introduit dans son enquête 2019 les questions locales suivantes :
- La bibliothèque possède les fonds multimédias (CD, DVD, enregistrements vidéo ou audio) dont j’ai besoin
- La bibliothèque possède les textes et les ouvrages dont j’ai besoin dans le cadre de mon travail
- Les conditions d’emprunts sont adaptées à mes besoins (nombre, durée)
- Les horaires de service sont appropriés
- Les ressources électroniques correspondent à mes besoins en matière d’information
Le caractère spécifique des questions posées à l’échelle locale diminue d’autant les possibilités de comparaison avec d’autres établissements. Les items demeurent très fondamentalement tournés vers les services élémentaires que fournit une BU pour des étudiants de 1er et 2ème cycles, à savoir : la bibliothèque comme lieu, offrant des ressources et des services. Si l’absence de l’évocation des services aux chercheurs en plein développement peut se justifier en ce sens, il est par contre étonnant que la thématique des formations documentaires, pourtant au cœur des activités des bibliothèques universitaires, fasse seulement partie de ces questions proposées localement.
L’exploitation des résultats peut sembler difficile, lorsqu’une interprétation fine est recherchée, à partir de l’extraction des données brutes. L’intérêt de cette enquête est la possibilité de segmenter les réponses fournies par les usagers selon les catégories que l’on voudra bien étudier : par année d’étude, localisation, discipline, etc., à condition que le nombre de répondants pour ces différentes catégories demeure statistiquement significatif. A Sciences Po Paris, par exemple, fort des 3043 réponses à l’édition 2017, il a été possible de comparer la perception des bibliothèques de Paris et des campus en région, par cycle et par communauté linguistique, et, sur le site de Paris, par école, nous permettant de comprendre l’insatisfaction relative des étudiants internationaux moins familiers avec les modalités de fonctionnement d’une bibliothèque universitaire française, ou encore de constater que les collections imprimées comptaient beaucoup plus pour les apprentis juristes que pour leurs collègues journalistes !
La communication autour de LibQUAL+, l’une des stratégies du caméléon pour attirer le regard des répondants potentiels
La campagne de communication autour d’un tel dispositif doit être particulièrement soignée en amont, afin de contrebalancer l’austérité du questionnaire et aider les usagers à se l’approprier. La plupart du temps, des lots attractifs sont proposés aux répondants. Les coûts engendrés par la campagne de communication sont bien souvent équivalents, voire supérieurs au prix déjà engagé pour l’enquête en elle-même et le traitement des données.
Les usagers qui ont participé attendent ainsi les résultats de l’enquête avec impatience. Nicolas Alarcon soulignait déjà il y a dix ans sur son blog l’importance d’un plan d’action clair, rapidement opérationnel, souvent au détriment d’une analyse très poussée des résultats qui demande plus de temps.
Un groupement de bibliothèques et centres de documentation francophones s’est d’ailleurs très rapidement constitué afin de partager leur expérience sur l’outil, les moyens déployés pour faire connaître l’enquête auprès des usagers et en communiquer les résultats. Le wiki ainsi constitué pour le réseau français est une mine d’informations à destination de ceux qui se lancent dans le dispositif pour la première fois ou souhaitent s’améliorer en s’inspirant des expériences couronnées de succès ailleurs. On y trouve les différents supports de communication en direction des usagers, des instances, des collègues en interne, des tutoriels pour interpréter les statistiques, etc. En cours de réorganisation et de mise à jour, le wiki a pour objectif de proposer des outils pour faire évoluer cette enquête afin de la rendre plus attractive aux yeux des répondants potentiels. « Léonard le lézard » n’est pas bien loin…
Par ailleurs, face à la rigidité du questionnaire LibQUAL+, la case dédiée aux commentaires libres apparaît comme un défouloir salvateur. L’exploitation peut faire l’objet d’une étude en soi par certains établissements tels que la bibliothèque de Sciences Po Paris.
Au-delà des apparences : Zelig pénètre dans le quotidien des utilisateurs
Bon nombre d’établissements hésitent à se lancer dans cette grande enquête internationale permettant d’évaluer la perception qu’ont les usagers des bibliothèques. Ils privilégient le recueil d’informations sur les usages et la satisfaction, pour disposer d’informations plus circonscrites à un service ou une problématique, grâce à des outils d’évaluation « maison » ponctuels. Ils choisissent plus volontiers d’observer les usagers et de les associer à l’évolution des services avec les méthodes UX : focus groups, tests d’utilisabilité ou toutes sortes d’enquêtes d’observations (voir à ce sujet l’ouvrage consultable en ligne : Utile, utilisable, désirable : redessiner les bibliothèques pour leurs utilisateurs). L’enthousiasme des équipes en interne à l’égard de ces nouveaux outils de conception de service et d’évaluation permet d’ailleurs de nombreuses initiatives sur des thématiques particulières. Toute innovation est rendue difficile dans le cadre d’un questionnaire figé, alors que l’utilisateur, et non le bibliothécaire, devrait être prescripteur des services qui lui sont destinés. Avant même l’explosion de l’UX, les sociologues faisaient déjà le même constat, insistant sur l’importance des entretiens qualitatifs, des focus groups, où l’enquêteur tente au maximum de s’effacer pour laisser libre cours aux suggestions du répondant. Les usagers deviennent ainsi acteurs à part entière du processus d’innovation, aux côtés de l’institution à leur service.
Mais le pouvoir de Zelig est aussi de s’introduire dans la cour des Grands…
Des intermédiaires capables de traduire les désirs des usagers en réalité sont indispensables pour faire entendre la voix de nos utilisateurs et mener à bien un plan d’action. Leonard Zelig doit continuer à faire sensation, en s’introduisant par exemple incognito dans la cour des puissants, comme il le fait par exemple à la cour pontificale… La bibliothèque, au contact direct avec ses usagers, est bien placée pour parler en leur nom auprès des instances. Le choix d’un outil tel que LibQUAL+ est donc particulièrement stratégique, en lien avec la politique de l’université. Un article d’Hélène Coste en 2013 en soulignait déjà l’intérêt pour le pilotage d’un établissement. Depuis quelques années, les universités s’engagent clairement dans une démarche Qualité, en nommant un responsable sur cette question, chargé de coordonner, relayer et harmoniser l’ensemble des initiatives au sein des composantes et services de l’université. Les bibliothèques qui utilisent LibQUAL+ peuvent déjà le présenter comme un outil normé, de dimension internationale. L’impact des bibliothèques sur la réussite des étudiants à l’université fait d’ailleurs partie des items proposés depuis plusieurs années.
Un dispositif tel que LibQUAL+, avec plus de 2000 rapports en ligne depuis près de 20 ans, ne peut que séduire les instances d’un établissement. La qualité des rapports globaux et la datavisualisation au moyen de radars garantissent la fiabilité des résultats et leur exploitation objective. Les rapports permettent des comparaisons internationales qu’aucun autre outil ne propose aujourd’hui. Ces études sont ainsi disponibles sur le wiki francophone. La dernière restitution en date, en 2015, au travers d’une enquête que l’ADBU avait commandé à Six et Dix sur les données des établissements français de 2008 à 2013, avait mis en valeur les évolutions, mais surtout les constantes dans les réponses des publics. Elle avait souligné les indicateurs les plus satisfaisants (le personnel en particulier) et les indicateurs les moins satisfaisants (surtout les collections). Elle avait aussi démontré que le degré d’exigence des usagers avait augmenté au fil des ans.
Library Life Pulse : un autre type de reptile ?
Il existe aujourd’hui des alternatives ou des concurrents potentiels à LibQUAL+. L’équipe de la société Alterline basée à Manchester a expérimenté une enquête, Library Life Pulse, qui cherche à mesurer différemment l’expérience étudiante et la valeur de la bibliothèque dans la réussite étudiante. Plus simple à renseigner pour les étudiants (ils n’ont qu’une note à donner par question), le questionnaire aborde cependant bien des questions déjà présentes chez son concurrent américain.
On trouve ainsi les questions suivantes :
- Globalement, dans quelle mesure êtes-vous satisfait ou insatisfait de votre bibliothèque universitaire ?
- Il est facile d’obtenir de l’aide et du soutien lorsque j’utilise les services de la Bibliothèque en ligne.
D’autres cependant, tentent de cerner l’impact de la bibliothèque dans l’expérience et le succès des étudiants. On y trouve :
- En trois mots, comment décririez-vous la bibliothèque universitaire ?
- Mon utilisation de la bibliothèque me rend plus employable.
- La bibliothèque m’a aidé à réussir mon cursus d’études/de recherche.
- La bibliothèque a un impact positif sur mon bien-être.
- La bibliothèque a un impact positif sur mon expérience sociale à l’université
À ce questionnaire finalement assez proche de celui de l’ARL, Alterline propose aux clients britanniques de déployer tout un dispositif qualitatif autour de focus groups et de « storytelling » (les étudiants doivent réaliser une enquête photographique sur le campus).
En 2017, la bibliothèque de l’Université de Manchester s’est jointe au projet de recherche Library Life Pulse d’Alterline afin de comprendre et de suivre les interactions et les perceptions des étudiants avec la bibliothèque au cours de trois années consécutives.
Des résultats, tels que celui présenté dans le graphique ci-dessous, permettent à la bibliothèque de plaider auprès de ses tutelles sur son rôle auprès des étudiants.
Figure 5: Library impact on University life in University of Manchester – Library Life Pulse – Final Report – Year 1-2017 (version exhaustive du rapport à la fin de cet article)
Bénéficiant d’une forte proximité entre la BU et la société Alterline basée également à Manchester, ces résultats ont pu être enrichis d’observations diverses. Il semble difficile de concevoir en France de travailler avec cette société, mais il serait par contre intéressant d’imaginer déployer un dispositif relativement similaire qui permettrait de disposer d’un baromètre national permettant de réaliser des benchmarks entre les BU françaises sur leur impact dans la réussite étudiante.
Léonard le lézard a donc bien évolué dans ses stratégies de camouflage depuis quelques années… Soucieux de séduire à la fois les usagers et les instances dont les BU dépendent pour revêtir ses plus beaux atours, il doit à présent faire preuve d’imagination pour concilier règles de camouflage normées et réalités du terrain… LibQUAL+ reste incontournable… On attend encore celui qui détrônera le roi de la jungle.
