Un questionnaire n’est jamais meilleur que l’expérience qu’il propose aux répondants.

L’expérience répondant est souvent négligée, alors qu’elle peut faire ou défaire la qualité des données. Le format, le contenu et la durée du questionnaire influencent directement l’attention et l’implication des répondants.

Beaucoup de questionnaires semblent écrits comme si les répondants avaient une patience infinie. Résultat : les bons profils bâclent leurs réponses, se désengagent ou abandonnent. Pendant ce temps, fraudeurs et opportunistes vont jusqu’au bout pour la récompense.

Pour les cabinets de conseil et les fonds de PE qui s’appuient sur les données pour prendre des décisions clés, une mauvaise conception du questionnaire entraîne des risques bien réels :

• Données biaisées : réponses désengagées, erratiques ou confuses, taux d’abandon élevé.
• Insights superficiels : moins de profondeur et de fiabilité dans les analyses.
• Coûts et délais : terrain rallongé, nettoyage de données chronophage, voire collecte à refaire.

La dernière étude Research on Research (RoR) de Potloc démontre que de petits ajustements dans la conception du questionnaire peuvent entraîner de grandes améliorations en termes de qualité des données — et rééquilibrer le triangle qualité, rapidité et coût. Notre analyse fournit des insights concrets à destination des cabinets de conseil et des fonds souhaitant optimiser leurs investissements en recherche primaire.

Une meilleure expérience répondant = une meilleure qualité des données.

La qualité des données repose sur des réponses fiables et authentiques — ce qui exige attention, honnêteté et engagement de la part des répondants. Trois piliers y contribuent :

Notre étude : mesurer l’impact du design du questionnaire.

Après avoir étudié l’impact des sources d’échantillons dans notre première étude RoR, nous avons testé ici l’effet de la conception du questionnaire.
 Méthodologie : 3 000 adultes américains interrogés via cinq sources d’échantillonnage, avec des variations sur :

Notre étude : principaux enseignements.

1. Des questions de présélection strictes filtrent 33 % de mauvais répondants en plus.

Les premières questions de votre questionnaire sont une occasion unique de proposer une bonne expérience aux répondants pertinents — tout en excluant les répondants inadaptés (c’est-à-dire ceux qui ne correspondent pas à la cible ou les fraudeurs prêts à mentir pour se qualifier).

Nous avons testé deux types de filtres de présélection :

• Présélection souple : expérience plus fluide, meilleure faisabilité, mais plus grande probabilité de laisser passer des répondants inéligibles, inattentifs ou frauduleux.
• Présélection rigoureuse : expérience un peu plus exigeante, mais critères plus stricts pour exclure les répondants non pertinents.

Résultats principaux

• La présélection rigoureuse améliore la qualité des données en réduisant la proportion de mauvais répondants de 33%.
• Cette amélioration a un coût : une baisse de 28 % du taux d’incidence, c’est-à-dire du nombre total de répondants qualifiés.

À retenir

Des critères de qualité plus élevés nécessitent plus de temps et de ressources. Les cabinets de conseil et les fonds doivent calibrer leur stratégie de présélection selon le niveau de rigueur exigé par chaque projet :

• Une présélection rigoureuse réduit le bruit et les fraudes, mais complexifie la faisabilité et augmente les coûts d’échantillonnage.
• Pour des projets à fort enjeu, l’investissement dans un filtre strict est justifié. Si le temps et le budget sont limités, un filtre plus souple peut être envisagé — à condition d’ajouter des contrôles qualité en aval.

2. Le format des questions influence l’engagement et la rapidité.

Votre questionnaire doit maximiser la collecte d’informations tout en offrant une expérience fluide pour encourager l’engagement.

Classement vs. réponses multiples

• Classement : demande aux répondants d’ordonner les options selon leurs préférences. Riches en insights, mais plus exigeantes cognitivement.
• Réponses multiples : les répondants sélectionnent toutes les options pertinentes. C’est plus rapide et plus simple.

Autosomme vs. réponses multiples

• Autosomme : les répondants doivent répartir une valeur (ex. : 100 points) entre plusieurs options — engageant, mais exigeant.
• Réponses multiples : permettent une réponse plus simple et rapide.

Questions projectives vs. questions directes

• Questions projectives : demandent aux répondants d’imaginer (ex. : "Si ce produit était une personne…"). Encourage des réponses plus profondes.
• Questions directes : posent simplement une question d’opinion ou de préférence.

À retenir

Les formats doivent être choisis en fonction des objectifs de recherche.

• Quand la profondeur est prioritaire, un effort cognitif plus élevé peut être justifié.
• Quand la rapidité et l’engagement sont clés, il vaut mieux opter pour des formats simples et familiers.

Les formats simples génèrent souvent des insights équivalents, avec moins d’abandons. Les formats complexes offrent parfois plus de profondeur, mais augmentent les biais et les risques de désengagement.

Pour les projets à exécution rapide et à portée large, privilégiez des formats efficaces comme les réponses multiples.

3. Réduire la durée du questionnaire de 40% diminue les abandons de 30%.

Au-delà de chaque décision de conception, la durée globale du questionnaire joue un rôle clé dans la fatigue et l’abandon des répondants.

Nous avons testé deux durées :

• Questionnaire court : 7 minutes
• Questionnaire long : 12 minutes

Les questionnaires longs augmentent le risque de désengagement, de réponses bâclées, et de "satisficing" (choix de la réponse la plus facile au lieu de la plus honnête).

À retenir

Soyez stratégique avec la durée. Des questionnaires plus courts améliorent la qualité des données et le taux de complétion.

• Lorsque la qualité des réponses est cruciale, il faut viser la durée la plus courte possible sans sacrifier les insights essentiels.
• Si une durée plus longue est inévitable, intégrez des leviers d’engagement : formats interactifs, incitations claires, rythme de questions bien pensé.

Conseils de conception pour les cabinets de conseil et les fonds PE.

• Le design de questionnaire est un avantage concurrentiel caché. En recherche par questionnaire, la qualité ne dépend pas uniquement du filtrage des mauvaises données — elle commence par la capacité à attirer de bonnes données. Aucun nettoyage ne peut compenser un questionnaire ennuyeux, confus ou frustrant. Un mauvais questionnaire n’est pas qu’un irritant pour le répondant : c’est un risque réel pour vos délais, vos budgets, et la qualité de vos décisions.
• Rappel utile : nous avons besoin des répondants plus qu’eux de nous. Un bon questionnaire peut améliorer l’engagement, mais garantir un flux constant de répondants de qualité passe par une condition de base : une rémunération équitable. La prochaine fois qu’un prestataire vous promet 100 CFOs en une semaine avec 2 $ d’incitation, posez-vous la question de ce que cela implique vraiment pour la crédibilité des données.

Chaque choix, de la faisabilité au design, a un impact sur la qualité, la rapidité et le coût des insights. Bien faire les choses nécessite de l’expertise, de l’expérience, et les bons outils.