Rédaction collective par des membres de la Commission Pilotage et Evaluation et des collègues de l’université de Lyon 1 (Isabelle Bontemps, Léonard Bourlet, Charlène Criton, Henriette de Daran, Cécile Quillard de Coccola, Nelly Sciardis, Cécile Touitou)
La Commission Pilotage et Evaluation mène depuis quelques années un travail approfondi sur cette question : voici un bilan des initiatives effectuées et quelques pistes en projet.
Une journée d’étude sur les enquêtes « faites maison » le 16 novembre 2021
L’organisation de cette journée et le choix de ses intervenants ont pour origine un constat partagé, et ce, bien avant la crise sanitaire. Depuis des années, les bibliothèques déploient différents dispositifs d’évaluation, normés, tels que LibQUAL+ utilisé depuis plus de 20 ans. Sur le terrain, ces méthodes s’avèrent de plus en plus en décalage avec l’évolution des comportements et des attentes des usagers. Une enquête diffusée en juin 2021 sur le forum ADBU avait précisément pour objectif de prendre le pouls des structures documentaires : ont-elles l’intention de déployer ce dispositif dans les années à venir et pour quelles raisons ? Une synthèse des réponses obtenues souligne le besoin de recherche d’alternatives. Ce phénomène n’est d’ailleurs pas limité au contexte français. De nouvelles méthodes fleurissent et reflètent une volonté de s’adapter davantage aux contextes locaux. Le contexte pandémique a bousculé la temporalité des enquêtes menées jusqu’alors et les méthodes employées. Les fameuses enquêtes « maison » ont donc été le fil conducteur de cette journée, avec en regard des dispositifs davantage normés ou institutionnalisés, français ou étrangers, dont on pourrait partager certaines méthodes et rendre ainsi comparables les résultats obtenus.
- Un retour d’expérience de Manchester avec Michael Douglas, Pilote de Library Life Pulse, Data and Research Coordinator-Strategic Marketing Communication Team
La Commission Evaluation et Pilotage s’était déjà livrée à un petit exercice de comparaison entre le nouveau dispositif Library Life Pulse, mis en place dans les pays anglo-saxons et son concurrent direct LibQUAL+. La présentation de Michael Douglas, en anglais, est sous-titrée en français dans l’enregistrement disponible en ligne. Le support de sa présentation, en anglais, est disponible également. Michael Douglas a souligné les avantages de ce type d’enquête, incluant des temps pour des focus groups, en particulier pour les étudiants internationaux. Celle-ci propose en effet un niveau global, abordant les questions des espaces, du personnel et des services. Michael Douglas a ensuite insisté sur un complément particulièrement instructif pour recueillir l’appréciation des usagers : il leur était demandé de prendre une photo de ce qui leur plaisait ou non dans la bibliothèque. Chaque cliché devait être accompagné d’une légende ou d’un commentaire. Avec le contexte de crise sanitaire, les usagers apprécient de plus en plus les outils permettant de poser directement les questions : le service Library chat ne serait-il pas suffisant pour bénéficier de ces témoignages des usagers ? Michael Douglas préconise la mise en place d’enquêtes plus courtes et plus régulières, accompagnées d’un plan d’action facile à mettre en œuvre. Des outils comme Qualtrics, Lime Survey suffisent parfois largement. A ses yeux, la mesure de la satisfaction pourrait être résumée par trois grandes questions :
- Qu’est-ce qui vous plaît le plus à la bibliothèque ?
- Qu’est-ce qui vous plaît le moins à la bibliothèque ?
- Que feriez-vous différemment ?
Les enquêtes, souvent déployées à la demande de la direction de la bibliothèque de Manchester, ne doivent pas faire l’objet d’une exploitation trop longue et coûteuse. Les équipes de la bibliothèque prennent également les devants en menant des enquêtes sans pour autant avoir une commande de la direction.
L’Office for students propose l’accès aux statistiques d’enquêtes nationales et permet de se comparer avec d’autres établissements britanniques. L’objectif serait d’y intégrer les données de Library Life Pulse puisque ce dispositif a été déployé dans d’autres bibliothèques et aborde des problématiques plus larges telles que le bien-être étudiant. Les enquêtes nationales analysent le parcours étudiant dans son ensemble, avec notamment l’évaluation des services proposés, de la qualité des formations, de la pédagogie et les services de la bibliothèque. L’enquête nationale dédiée aux étudiants https://www.thestudentsurvey.com/ n’a pas la notion du niveau de qualité attendu, tel que défini dans la méthodologie de LibQUAL+. Le Russell Group est également actif pour le partage de données comparatives au niveau de 24 universités britanniques.
Le rendu des résultats et le suivi des statistiques est parfois difficile. Michael Douglas préconise et utilise comme outil de datavisualisation Microsoft Power BI car les tableaux de bord y sont simples et clairs. A la bibliothèque de Manchester, le personnel est nombreux et doté de compétences diverses. Ainsi, Michael Douglas n’est pas bibliothécaire, mais analyste de données. Il travaillait auparavant dans le secteur du marketing et la conception d’enquêtes. D’autres personnels de la bibliothèque ont une formation de bibliothécaire, mais ont aussi des missions telles que la rédaction de contenus numériques et le développement de solutions web, ou encore d’analyses de données sur Internet.
- Enquêtes « maison » dans des BU en France face à la crise sanitaire
En France, la crise sanitaire a également renforcé le besoin de maintenir le contact avec des étudiants moins présents dans les murs des bibliothèques. La commission Evaluation et Pilotage de l’ADBU a saisi cette opportunité pour échanger sur le contenu des enquêtes à créer et partager leurs analyses des résultats obtenus au niveau local. Un article de synthèse est disponible afin de cerner les apports et les limites de cet exercice.
- Echanges animés par Cécile Touitou autour du thème : les enquêtes institutionnelles menées depuis plusieurs années à l’échelle nationale, internationale, sont-elles à réinventer ? Quel est l’apport des enquêtes « faites maison » ?
Les intervenants présentaient des profils variés, avec à la fois des professionnels de méthodes d’évaluation et/ou représentants de grandes bibliothèques où des services spécialisés existent, telles que la Bibliothèque nationale de France ou la Bibliothèque Publique d’Information.
L’Observatoire national de la Vie Etudiante (OVE) mène tous les trois ans une enquête sur les conditions de vie des étudiants. Celle-ci dépasse le périmètre des utilisateurs des ressources et services des BU. Ce dispositif très abouti et en constante évolution depuis sa création en 1994 intègre des questions relatives aux bibliothèques universitaires. L’analyse des résultats synthétisée par le directeur de l’OVE Feres Belghith présentait par conséquent un double intérêt :
- Mieux connaître le positionnement des BU en tant que lieux de vie et d’études
- Réinterroger ce dispositif proposant plus de 400 questions dans un contexte inédit de crise pandémique
L’une des évolutions positives de l’enquête est prendre en compte la taille des régions. Les données Le taux de réponses diminue régulièrement. Le Cereq mène une réflexion pour améliorer le taux de réponses. Jusqu’en 2016, l’enquête ne présentait qu’une seule question sur les bibliothèques, mesurant l’utilisation régulière ou non des services et équipements des BU. La seconde question interroge les étudiants sur l’adaptation des BU à leurs besoins et doit être mise en relation avec les conditions de vie étudiante : les horaires d’ouverture, l’offre documentaire, les espaces, l’accueil et le renseignement, et le nombre de places assises. Les résultats de cette dernière enquête révèlent que la satisfaction diminue à mesure que le niveau d’étude augmente. D’autre part, plus l’activité rémunérée d’un étudiant est intense, moins il est satisfait des horaires d’ouverture. Il sera nécessaire d’approfondir ces premiers résultats en travaillant avec l’ADBU.
Irène Bastard (Délégation à la Stratégie et à la recherche, Bibliothèque Nationale de France) pilote des enquêtes barométriques au sein de l’Observatoire des publics. Celles-ci permettent d’enregistrer des données avec des temporalités plus larges, et parfois des profils spécifiques, tels que les primo-arrivants. A partir de 2020, l’enquête, uniquement en ligne, concerne tous les sites et aborde les activités sur place et en ligne, avec ou sans compte d’accès, par exemple pour Gallica. Les participants au questionnaire ne sont donc pas forcément représentatifs des usagers sur site. Irène Bastard souligne d’autre part l’importance de croiser ces premières analyses avec d’autres enquêtes menées, à plus grande échelle, notamment celle sur les pratiques culturelles des Français piloté par le Ministère de la Culture.
Christophe Evans, chef du service Etudes et recherche à la Bibliothèque Publique d’Information (BPI), a souligné l’intérêt de ce type de journées d’étude, permettant de comparer des enquêtes relevant de structures documentaires du réseau de lecture publique et celles des universités. Le service Etudes et recherche est composé de deux chargés d’étude en sociologie et d’un chargé d’évaluation. L’enquête barométrique, quantitative, est réalisée tous les trois ans. La même trame est conservée au fil du temps afin de faciliter l’analyse des évolutions avec des données comparables. Les questions autour de la fragilité sociale, de la précarité ne sont pas adaptées à un questionnaire de type quantitatif. Christophe Evans rappelle que l’usager peut restituer l’espace de la bibliothèque d’une manière différente de celle instituée par le bibliothécaire. Les enquêtes normées de type LibQUAL+ restent très intéressantes si elles sont mixées avec des approches différentes, telles que les focus groups, instaurant une complicité entre les participants. Les enquêtes exploitant les méthodes d’observation sont trop souvent négligées alors qu’elles sont riches de sens : l’utilisation des ressources électroniques et les usages d’Internet au moyen d’un système de jetons autorisant un accès de 2h font partie des thématiques étudiées au moyen de ces méthodes d’observation.
Muriel Amar, maîtresse de conférences au Pôle Métiers du Livre de l’Université de Paris-Ouest Nanterre et directrice de collections aux Presses de l’ENSSIB, a piloté des enquêtes sur les services avec l’échelle READ adaptée à la Bibliothèque Publique d’Information. Un article paru en 2016 dans la collection de la Boîte à outils de l’ENSSIB et résumant l’apport de cette méthode est disponible en ligne[1]. Dès 2014, ce dispositif a été traduit en français et transposé d’abord à la Bibliothèque de Sciences Po Paris, puis à la BPI. Il propose de coder l’effort et l’expertise mobilisés lors d’une interaction avec des usagers. Il permet d’analyser des situations ordinaires lors des permanences de service public. L’autre intérêt de ce dispositif est de recourir à l’autoévaluation : le bibliothécaire doit déterminer lui-même le degré de difficulté pour répondre à la demande de l’usager. Ce dernier n’intervient pas dans l’évaluation. L’échelle READ permet ainsi d’identifier le degré d’implication nécessaire du bibliothécaire. L’aide apportée peut aussi faire l’objet de typologies plus fines, prenant aussi en compte la situation de l’usager. Pour analyser les résultats, la BPI a utilisé l’outil Modalisa, dont les bibliothèques d’Amérique du Nord sont familières et désormais paramétré dans LibAnalysis. L’échelle READ pourrait être mobilisée dans le cadre du chat, devenu dominant parmi les moyens d’interactions.
Conclusion des échanges de la matinée
Les résultats des enquêtes menées, que ce soit avant ou depuis la crise sanitaire, amènent davantage de questions que de réponses. Les données quantitatives ne parlent jamais d’elles-mêmes. Tout dépend de ce que l’on veut faire avec une enquête. Certaines relèvent d’une démarche scientifique, d’autres obéissent à une « logique d’advocacy » et permettent de recréer du lien, auprès des usagers, mais aussi au sein des équipes en interne.
L’après-midi a laissé place à des ateliers collaboratifs, comprenant pour chaque séance une quinzaine de participants.
Atelier Les tops et les flops de l’observation
Cet atelier était animé par Léonard Bourlet et Cécile Quillard de Coccola
Son objectif était de faire toucher du doigt une séance d’observation : pas de présentation classique des objectifs et de la méthodologie mais une approche dite « guerilla » permettant en 1h de découvrir de façon légère sur le terrain les tenants et les aboutissants d’une séance d’observation.
Les espaces publics de la BULAC ont été répartis entre les participants avec différentes problématiques à couvrir (évaluation de l’utilisation d’un équipement de reprographie, le « boire et manger » dans les salles, le port du masque, cohabitation des usages, etc.). Les participants se sont vite prêtés au jeu, créant leurs grilles d’observation, échangeant entre eux pour adapter leurs stratégies d’observation, se mêlant aux lecteurs en toute discrétion avec quelques conseils distillés par les animateurs disponibles en cas de besoin.
A la fin de la séance, les participants ont pu partager avec leurs animateurs les « top et flop » de leurs observations. Ils sont repartis avec quelques conseils méthodologiques incontournables, en particulier l’idée qu’une observation d’une petite heure avec une grille bien construite était une démarche plutôt simple, facile à mettre en place et source d’informations particulièrement riches sur les usages dans leurs BU.
Atelier Découverte du NPS
Cet atelier était animé par Henriette de Daran et Cécile Touitou
Comment mesurer la satisfaction des usagers ? Les spécialistes nous disent qu’interroger frontalement les usagers, particulièrement en bibliothèque, génère des niveaux de satisfaction très élevés non exempts de biais. Dans un article devenu « culte », (Customer Satisfaction: A New Perspective. Public Libraries, 47 (6), Novembre/Decembre 2008, 52-55), Joe Matthews évoque l’idée du “apple pie effect” qui serait l’expression d’un biais de bienveillance si grand envers la bibliothèque et son personnel qu’il rendrait caduques les enquêtes de satisfaction. Cet auteur, comme des organismes français (Mission écoute et Innovation – SGMAP qui a rédigé un mémo : “UNE APPROCHE RENOUVELEE DES ETUDES DE SATISFACTION”) défendent l’idée d’utiliser plutôt le Net Promoter Score qui est un indicateur de recommandation utilisé en Marketing : Le « Net Promoter Score » est la différence entre le pourcentage de personnes promotrices de votre organisme (note de 8 à 10) et le pourcentage de détracteurs (note de 0 à 6). Ce score permet donc de neutraliser judicieusement le « ventre mou » (moyennement satisfaits ou insatisfaits) des études de satisfaction et de s’assurer que vous disposez d’un score NPS positif, ce qui signifie que vous avez davantage d’usagers très satisfaits de vos services que d’usagers insatisfaits.
L’atelier consistait à présenter les méthodes de calcul du NPS à partir d’un jeu de données d’enquête anonymisée et à en pratiquer le calcul afin de vérifier que ce “score” permet de dépasser les notes de satisfaction moyennes, pour identifier finement la part des promoteurs et celle des détracteurs et de mieux comprendre l’impact des services offerts par la bibliothèque sur ses usagers. Le support de présentation est disponible.
Atelier Quoi de neuf du côté de LibQUAL+ ?
Cet atelier était animé par Isabelle Bontemps, directrice adjointe et chargée de la communication, et Charlène Criton, chargée de mission indicateurs au SCD Lyon 1.
Son objectif était de cerner les apports et limites de l’enquête internationale LibQUAL+ via un retour d’expérience sur le déploiement de ce dispositif par les BU Lyon 1 en mars 2021. Le support de présentation est disponible en téléchargement.
Dans le cadre de la certification qualité ISO 9001, une enquête LibQUAL+ est réalisée tous les deux ans dans les BU Lyon 1. Cette régularité permet d’obtenir des données de satisfaction solides et comparables dans le temps. Développé à partir de modèles issus du marketing, le système de notation LibQUAL+ mesure les écarts entre la qualité de service perçue, acceptable et désirée. Ces derniers permettent de vérifier la conformité des services et d’identifier d’éventuelles inadéquations par rapport aux attentes des usagers.
Derrière un dispositif standardisé, chaque établissement peut chercher à s’approprier l’enquête LibQUAL+. La campagne de communication et son identité permettent notamment une adaptation de l’enquête au contexte et aux enjeux spécifiques de chaque structure. Par exemple, l’identité de l’édition 2021 des BU Lyon 1 s’est développée autour de la thématique « La BU toujours avec moi » avec comme idée forte que les bibliothèques maintiennent le lien avec leurs usagers malgré la crise sanitaire. En outre, cinq questions dites « locales » sont paramétrables dans le formulaire et sont l’occasion de cibler des aspects plus conjoncturels (utilisation des réseaux sociaux, ergonomie d’un nouvel outil documentaire, impact de la crise sanitaire, …).
L’atelier s’est clôturé sur l’importance de combiner l’enquête LibQUAL+ avec d’autres outils d’écoute des usagers. En effet, l’évaluation de la satisfaction et la connaissance des besoins de la communauté desservie s’insèrent dans un ensemble de méthodes et pratiques mis en œuvre tout au long de l’année universitaire. Cet ensemble peut prendre la forme de collaborations quotidiennes dans le cadre de la vie institutionnelle, de points mensuels sur les réclamations des usagers ou encore de l’organisation de Focus Group avec des étudiants et enseignants-chercheurs.
Atelier Mieux communiquer ses résultats
L’atelier était animé par Nelly Sciardis et Sophie Valade.
Il avait pour objectif de donner des pistes pour gagner en efficacité dans la diffusion des résultats, en particulier auprès des instances d’une université. Ces derniers ont une culture de l’évaluation bien ancrée, traditionnelle, tandis que les professionnels de la documentation ont enrichi progressivement leur imaginaire des méthodes UX. Quelques recommandations étaient listées en guise de mémo, ainsi que les apports et les limites de deux logiciels gratuits, Canvas et Piktochart , lorsque des infographies sont à produire dans des temps très contraints et sans moyens humains supplémentaires. Les différents groupes de travail au sein des ateliers ont également proposé des pistes intéressantes :
- Soigner les graphiques pour qu’ils soient faciles à lire
- Raconter une histoire, avec des verbatims, plus parlants qu’un graphique détaillé
- Mettre en avant systématiquement les plans d’actions en conséquence de l’analyse des résultats, ce qui rejoint les exigences du dispositif Services Publics +
- Structurer son propos (intro, développement et conclusion) pour se conformer à une culture administrative
- Privilégier les résultats sous forme d’infographies, et quelques chiffres
Lorsque les résultats devaient être communiqués aux étudiants, l’un des groupes a partagé une expérience positive : celle de la transformation des résultats en quizz, pour les rendre acteurs du processus, en particulier sur Instagram.
Et après : quelques pistes envisagées par la Commission Pilotage et Evaluation
La solution Library Life Pulse, certes séduisante, n’est pas traduite en français. De plus, le coût est finalement plus élevé que celui de LibQUAL+, avec un engagement pluriannuel. D’autres pistes sont donc envisagées : Outcome Project de l’ACRL est encore trop méconnu en France. La Commission Pilotage et Evaluation présentera donc fin 2022 un webinaire sur ce dispositif gratuit à traduire en français. D’autre part, la journée d’étude du 16 novembre 2021 a souligné l’intérêt de partager méthodes et analyses au sein de la communauté professionnelle. Une communauté spécifique sur Zenodo sera lancée à la rentrée universitaire 2022. Elle permettra de déposer notamment des documents d’évaluation sous toutes leurs formes. Partage d’expériences, exercices de comparaison seront ainsi facilités et alimentés par la communauté. Enfin, le croisement de données issues de LibQUAL+, de l’OVE et d’autres dispositifs devient d’autant plus nécessaire que la crise sanitaire semble avoir un impact bien plus profond et long sur les comportements et les besoins des usagers.
[1] Cécile Touitou (dir.), Evaluer la bibliothèque par les mesures d’impacts. Villeurbannne : Presses de l’ENSSIB, 2016. Disponible en ligne : https://books.openedition.org/pressesenssib/5599
