Going from research findings to themes, insights, and problem prioritization

La version française est en dessous de l’anglais 👇

Hi there! My name is Gillian, and I am the UX Design Fellow that is part of the 5th cohort working at Code for Canada to improve digital governance. Alongside my teammates Malik Jumani (Product Manager Fellow) and Ian Cappellani (Developer Fellow), we are working with the Canada Energy Regulator (CER) to improve the tools that Canadians use to participate in hearings regarding energy projects regulated by the CER.

To learn more about us, click here.

Previously, I went over the research findings from our interviews and usability testing sessions. In this article, I will show how my team took the findings, found the key problems, and prioritized them for our project.

Synthesizing the data

I experimented with three different ways of synthesizing data — affinity mapping, rainbow sheet, and a method from the book Sprint. Depending on the amount of information that was collected from the research, each method had different pros and cons to consider.

1. Affinity mapping is a method where you cluster similar ideas together until you get a clear picture of each theme. This is typically done using sticky notes and sharpies, but in the remote world, you might be using digital tools such as Miro or FigJam.

2. The rainbow sheet helps you track observations across participants on a spreadsheet. Each participant is assigned a colour, which is used to note an observation in the research session. This method allows you to quickly and concisely understand commonalities once everything is filled out.

3. The scorecard method comes out of the book Sprint and allows you to track positive, negative and neutral feedback. Observations are recorded on a spreadsheet and coloured in with green (positive feedback), grey (neutral feedback) and red (negative feedback).

Our experience with affinity mapping

We diverged and converged a few times to narrow down the themes. The first version of our affinity map is not easily digestible, but it allowed us to scope out the entire problem space.

Pros

• Affinity mapping allowed us to see the bigger picture and connect various issues together on a systemic level.
• Sticky notes created flexibility and allowed us to easily group information together.

Cons

• It was difficult for people outside our team to navigate, read and understand the information.
• This method was time-consuming and sometimes overwhelming to work on because of how detailed it got.

Our experience with the rainbow sheet method

My team found affinity mapping to be time-consuming, so with the data, we collected from usability testing, I tried the rainbow sheet method. I loved how quick and easy it was to complete. This method is great for when you have a lot of information to synthesize.

Pros

• It made synthesizing information a lot faster and more organized.
• It is easier and faster to pull out patterns compared to affinity mapping.

Cons

• It can be difficult to visualize how some problems might be connected to each other.
• If you have a lot of participants, using colour might not be the best way to visualize the results due to accessibility issues.

Our experience with the scorecard method

The last method we tried was borrowed from the Design Sprint book. I tried this method for another usability testing session. We documented the notes from each participant and used colour to understand areas we can improve on.

Pros

• You can provide more context to the feedback your participants give you.
• It is easy to scan and compare information between participants.

Cons

• It is more time consuming than the rainbow methodology
• It is more difficult to quickly understand how many people had the same issue

Understanding the participant journey and the barriers along the way

We worked on the user journey to better our understanding of the participant experience so we can target key organizational objectives and dig deeper into the problems they face at each step. This process also allowed us to identify what part of the participation process we should be focusing on.

We considered various factors in the participation journey including:

1. How people felt going through each step of the process.
2. What happens within the CER at each stage of the process and how do participants interact with the organization.
3. How each stage relates to the business goals.
4. What the problems were at each stage and opportunities for improvement.

We discovered barriers to participation often occur due to communication issues, lack of time and funding, and unclear processes.

This helped inform the redesign of the digital participation tools, where the focus is to cut down steps, reduced jargon and made it easier for the average person to understand the process.

Some of the other concerns on the journey map are systemic and outside the scope of our work. Issues we did not have a chance to address in our fellowship are added to our transition documents, where we provide recommendations to the government team on further improvement.

Creating major themes and how-might-we (HMW) problem statements

From there, we cultivated the insights into 10 major themes before adding overarching how-might-we-statements for each section.

We looked at several factors that would help us prioritize the problems:

1. What is the problem?
2. Who has the problem?
3. When does the problem happen?
4. How often does the problem occur?
5. What causes the problem to arise?
6. Why is it important?
7. What would happen if the problem doesn’t get resolved?
8. How urgently we need to solve it?
9. What is the magnitude of the problem? Or how many people are impacted by the problem?

Prioritization map

My product manager led the prioritization exercise, where we narrowed down the problems to the top four by using an x and y-axis.

On the x-axis, there is a spectrum from low complexity to high complexity problems.

On the y-axis, there is a spectrum from low value and value impact problems.

The sweet spot is when the problem falls under high impact and low complexity, which made it feasible to tackle within a limited time frame.

The top four focus for our fellowship project

1. HMW improve the accessibility, usability, and overall inter-connectivity of the tools so that participants can voice their concerns without having to commit a huge amount of personal time into the process?
2. HWM make things easier to understand and better educate the public
3. HMW make the CER seem less intimidating, and more friendly or supportive for first-time participants?
4. HMW better accommodate the needs of Indigenous Nations and individuals?

After arriving at the problem statements, I ran a 4-day design sprint with my government team to ideate and iterate on potential design solutions. In the next article, I will go over the experience and the outcomes of it.

—

Premières constatations : établir les thèmes, les perspectives et les principaux problèmes

Bonjour, je m’appelle Gillian. Je suis la conceptrice de l’expérience utilisateur au sein de la cinquième cohorte de boursiers de Code for Canada à la Régie. Notre mission : améliorer la gouvernance numérique. Mes collègues, Malik Jumani (gestionnaire de produit) et Ian Cappellani (développeur), et moi collaborons avec la Régie afin de bonifier les outils utilisés par la population canadienne pour participer aux audiences concernant de nouveaux projets énergétiques assujettis à la réglementation fédérale.

Pour obtenir plus d’information à notre sujet, cliquez ici.

Lors d’un article précédent, j’ai passé en revue certaines des constatations qui ressortent des entrevues et des séances d’essais de convivialité menées dans le cadre de notre projet de recherche. Dans cet article, je décrirai comment mon équipe a utilisé ces constatations pour cerner les principaux problèmes et les prioriser.

Synthèse des données

J’ai fait l’essai de trois façons différentes de synthétiser les données : la méthode KJ, la méthode Rainbow Sheet et une méthode tirée du livre Design Sprint. Chacune d’elles présente des avantages et des inconvénients en fonction de la quantité d’information recueillie.

1. La méthode KJ permet de regrouper des idées semblables afin que chacun des thèmes se dégage clairement. Pour ce faire, on utilise généralement des papillons adhésifs, mais à l’ère du télétravail, on privilège les outils numériques comme Miro ou FigJam.
2. La méthode *Rainbow Sheet* facilite le suivi au moyen d’un tableur des observations relatives aux participants. Lors de la séance de recherche, les observations qui se rapportent aux différents participants sont consignées au moyen d’une couleur qui leur est attribuée. Cette méthode permet de repérer efficacement les points de convergence pour l’ensemble des données.
3. Tirée de l’ouvrage *Sprint*, la dernière méthode permet de faire le suivi de la rétroaction positive, négative et neutre des participants. Les observations sont consignées dans un tableur et colorées en vert (rétroaction positive), gris (rétroaction neutre) ou rouge (rétroaction négative).

Notre expérience de la méthode KJ

Nous avons divergé et convergé à quelques reprises pour circonscrire les thèmes. La première version de notre diagramme n’est pas facile à assimiler, mais elle nous a permis de circonscrire le problème dans son ensemble.

Avantages :

• La méthode KJ nous a permis de considérer la situation dans son ensemble et de relier divers enjeux au niveau systémique.
• La souplesse offerte par les papillons adhésifs nous a permis de regrouper facilement l’information.

Inconvénients :

• Il était difficile pour les personnes extérieures à notre équipe de consulter, de lire et de comprendre l’information.
• Cette méthode était chronophage et parfois étourdissante.

Notre expérience de la méthode Rainbow Sheet

Mon équipe a trouvé que la méthode KJ demandait beaucoup de temps. Nous avons donc essayé la méthode Rainbow Sheet avec les données recueillies lors des essais de convivialité. J’ai adoré cette méthode rapide et efficace qui permet de synthétiser une grande quantité d’information de façon remarquable.

Avantages :

• Cette méthode permet de synthétiser l’information beaucoup plus rapidement et de façon plus organisée.
• Il est plus facile et plus rapide de discerner des modèles comparativement à la méthode KJ.

Inconvénients :

• Il peut être difficile de voir les liens entre certains problèmes.
• Si votre projet comporte beaucoup de participants, la couleur n’est peut-être pas la meilleure façon de visualiser les résultats en raison d’enjeux d’accessibilité.

Notre expérience de la méthode de classement de la carte de pointage

La dernière méthode utilisée a été tirée du livre Design Sprint. J’en ai fait l’essai dans le cadre d’une autre séance d’essai de convivialité. Nous avons consigné les notes pour chaque participant et utilisé un code couleur pour comprendre les points à améliorer.

Avantages :

• Vous pouvez mettre en contexte la rétroaction de vos participants.
• Il est facile de parcourir l’information et de faire des comparaisons entre les participants.

Inconvénients :

• Cette méthode est plus chronophage que la méthode Rainbow Sheet.
• Il est plus difficile de comprendre rapidement combien de personnes ont eu le même problème.

Compréhension du parcours des participants et des obstacles en cours de route

Nous avons examiné le parcours de l’utilisateur pour mieux comprendre l’expérience des participants et les problèmes auxquels ils font face à chaque étape, et ce, de manière à cibler les principaux objectifs organisationnels. Ce processus nous a aussi permis de cerner la partie du processus de participation sur laquelle nous devrions nous concentrer.

Nous avons tenu compte de divers facteurs relatifs au parcours du participant, notamment :

1. Le ressenti des gens à chacune des étapes du processus.
2. Ce qui se passe à la Régie à chaque étape du processus et la façon dont les participants interagissent avec l’organisation.
3. Les liens entre les différentes étapes et les objectifs opérationnels.
4. Les problèmes rencontrés à chaque étape et les possibilités d’amélioration.

Nous avons découvert que les obstacles à la participation sont souvent attribuables à une communication déficiente et des processus confus ainsi qu’au manque de temps et de financement.

Ces constatations ont guidé à la refonte des outils de participation numériques, qui vise à réduire le nombre d’étapes, à simplifier le langage utilisé et à faciliter la compréhension du processus pour l’utilisateur moyen. Certaines des autres préoccupations soulevées à l’égard du parcours de l’utilisateur sont systémiques et dépassent la portée de notre travail. Nous ajoutons les questions que nous n’avons pas eu l’occasion d’aborder dans notre projet à nos documents de transition, qui nous servent aussi à formuler des recommandations sur les améliorations à apporter à l’intention de l’équipe de la Régie.

Établissement des principaux thèmes et énoncés de problèmes

Nous avons ensuite regroupé nos constatations en dix grands thèmes et avons formulé des énoncés généraux pour chaque section.

Nous avons considéré plusieurs facteurs afin de prioriser les problèmes :

1. Quel est le problème?
2. Qui a le problème?
3. À quel moment le problème survient-il?
4. À quelle fréquence le problème survient-il?
5. Qu’est-ce qui a provoqué le problème?
6. Pourquoi est-ce important?
7. Que se passerait-il si le problème n’était pas résolu?
8. Dans quelle mesure devons-nous le résoudre de façon urgente?
9. Quelle est l’ampleur du problème? Combien de personnes sont touchées par le problème?

Carte des priorités

Mon gestionnaire de produits a dirigé l’exercice d’établissement des priorités, lors duquel nous avons réduit le nombre des problèmes aux quatre plus importants en les plaçant sur deux axes (abscisses et ordonnées).

Sur l’axe des abscisses, le spectre va des problèmes peu complexes aux problèmes très complexes.

Sur l’axe des ordonnées, le spectre va des problèmes à faible incidence aux problèmes à incidence élevée.

Nous recherchions principalement les problèmes qui ont une incidence élevée et qui sont peu complexes, ce qui nous permettait de nous y attaquer dans un délai limité.

Les quatre priorités de notre projet de bourse :

1. De quelle façon pouvons-nous améliorer l’accessibilité, la convivialité et l’interconnectivité générale des outils afin que les participants puissent exprimer leurs préoccupations sans avoir à consacrer beaucoup de leur temps au processus?
2. De quelle façon faciliter la compréhension et l’éducation du public?
3. De quelle façon rendre la Régie moins intimidante et plus accueillante et conviviale pour les nouveaux participants?
4. De quelle façon mieux répondre aux besoins des peuples et des personnes autochtones?

Après avoir formulé les énoncés des problèmes, l’équipe de la Régie et moi avons fait un sprint de quatre jours pour trouver des idées et des solutions de conception potentielles. Dans le prochain article, je décrierai cette expérience et les résultats obtenus.