사용성 테스트에서도 정성조사와 정량조사를 모두 활용할 수 있습니다. 조금 더 정확히 이야기하자면, 사용성 문제를 빠르게 확인할 때에는 소수의 사용자를 대상으로 UT를 하고 사용성 개선으로 인해 실제로 얼마나 제품 이용 경험이 개선되었는지를 측정하기 위해서는 Customer Job 완료율이나 작업 시간, 만족도 등 측정 기준을 통해 ‘유용함’을 증명할 수 있습니다.
- 사용성 테스트를 위한 정성조사(Qualitative Research)는 사용하기 쉽거나 어려운 디자인 요소를 식별하기 위해 사용자가 하는 행동을 관찰한 결과로 구성되지만,
- 사용성 테스트를 위한 정량조사(Quantative Research)는 특정한 태스크를 사용자가 수행할 때 쉬웠는지 여부를 판단하기 위한 지표(예: 수행 시간, 태스크 완료율)로 구성되는 차이가 있을 뿐이죠.
사용성 테스트가 아니더라도 정성조사와 정량조사를 모두 하면 좋습니다. UX 리서치에서는 두 가지를 적절히 섞어서 가설을 검증하는 것은 Mixed Research라고 부릅니다. 그런데 현실에서는 2가지를 동시에 진행하는 대신 검증하려는 문제, 즉 '가설'에 따라서 적절한 조사방법을 조합할 때가 많습니다. 어떤 생각이나 태도를 갖고 있는지 알고 싶을 때 사용하는 방법과 어떤 행동을 보이는지 확인할 때 사용하는 방법에도 차이가 있습니다. 꼭 기억해야 할 것은 3가지입니다.
- 대답하는 것과 행동하는 것 사이에는 대부분 차이가 있다.
- 생각이나 태도를 물을 때와, 어떻게 행동하는지 확인할 때에는 다른 방법을 사용한다.
- 정성조사를 할지, 정량조사를 할지는 무엇을 알아볼 것인지를 정하면 자연스럽게 추려진다.
정성조사와 정량조사를 비교하기
| 정성조사 (Qual Research) | 정량조사 (Quant Research) | |
|---|---|---|
| 무엇에 대해 알아보는가? | 도대체 왜 그럴까? | 얼마나 많이, 자주 그럴까? |
| 조사를 하는 이유는 무엇인가? | – 디자인 솔루션을 찾기 위해서 – 사용성 이슈를 발견하기 위해서 – 사용성 문제에 대한 해결책이나 그 실마리를 찾기 위해서 | – 현재 사용자가 쓰고 있는 제품의 사용성 문제를 평가하기 위해서 – 시간을 갖고 지속적으로 사용성을 진단하기 위해서 – 현재 우리 서비스와 경쟁사의 사용성을 비교하기 위해서 – RoI(Return on Investment)를 측정하기 위해서 |
| 언제 사용할 수 있는가? | 언제든지 – 디자인을 수정하는 과정에서 – 최종 디자인 솔루션을 정의한 단계에서 | 실제로 사용자가 활용할 수 있는 제품이 있는 상태에서 – 디자인 사이클 시작 단계에서 기존 제품으로 – 디자인 사이클 마지막 단계에서 새로운 제품으로 |
| 결과물은 무엇인가? | UX 리서처가 관찰한 내용, 해석한 바, 기존 지식이나 리서치 결과에 따른 분석 | 통계적으로 유의미한 수치화된 결과로 다른 리서치에서도 반복해서 나타날 가능성이 있는 결과 (신뢰수준, 표본오차가 중요한 이유) |
| 어떤 방법을 활용하는가? | – 5~8명 내외의 적은 참여자로도 가능 – 팀, 조직 상황에 따라서 리서치 방법론을 유연하게 적용 – 참여자는 어디를 보는지, 어떤 생각을 하는지를 소리내어 말하는 ‘Think-aloud’ 방식으로 참여 | – 신뢰수준, 표본오차가 중요하므로 많은 표본이 필요 (+30) – 오류가 없도록 질문 순서, 보기 순서, 표본 선정 등이 엄격하게 점검된 후에 진행 (설문 배포 후 수정할 경우 기존 데이터는 분석하기 어려우므로) |
| 실무에서 기억할 특징은 무엇인가? | 실무 활용형 – 중요한 문제를 발견하는데 효과적이므로 적은 숫자라도 가능한 빨리 정성조사를 해보는 것이 비즈니스 목표 달성에 효과적 | 리더십 설득형 – 모든 문제에 정량조사를 활용하려는 대신, 가장 심각한 사용성 문제를 개선한 사례에 대해서 실제 비용적으로 유의미한 결과로 이어졌는지 확인하기 위한 리더십 설득 방법으로서 선택적 활용 |
정량조사는 How Many, How Much를 확인할 수 있는 방법으로 정성조사에 비해 통계적인 신뢰도를 요구하므로 최소 임의로 추출한 표본 30명 이상을 대상으로 수행할 때에 유의미한 결과를 얻을 수 있습니다. 반면, UT나 IDI와 같은 정성조사 방법론은 3명에서 5명이라는 비교적 적은 숫자라도 고객이 겪는 사용성 문제가 주요 불편사항(Bottle Neck)을 알아차릴 수 있죠. 그래서 저는 일정, 예산에 쫓기는 현업에서는 정량조사를 자주 하려고 고집하기보다는 정성조사를 가능한 빠르고 빈번하게 수행하는 것이 더 나은 사용자 경험을 만드는 비결이라고 생각합니다. 정량조사는 꼭 필요한 경우에 한정해서 분기 별로 1회 진행하는 것으로도 충분합니다. 정성조사를 짧은 주기로 반복함으로써 정량조사의 효과를 발휘할 수도 있습니다.
생각과 행동을 구분해서 알아보기 (질적, 양적 구분과 별개의 문제)
| 사용자가 어떻게 생각하는가? | 사용자가 어떻게 행동하는가? |
|---|---|
| IDI(In-depth Interview) | Ethnographic Research |
| Survey | UT(Usability Test) |
| FGI(Focus Group Interview) | A/B Test |
| Preference Test | Eye Tracking |
| Diary Study | Field Research |
| VoC | Shadowing |