📚 지식 노트

조사 방법 지도: 무엇을 알고 싶은가부터

조사 방법은 수십 가지지만, 고르는 기준은 몇 개의 축이다. NN/g는 세 축을 쓴다. 첫째는 태도와 행동이다. 사람들이 말하는 것(태도)을 들을지, 실제로 하는 것(행동)을 볼지다. 둘째는 정성과 정량이다. 정성 조사는 행동을 직접 보고 들어 "왜, 어떻게 고치나"에 답하고, 정량 조사는 설문이나 로그 같은 도구로 "몇 명이, 얼마나"에 답한다. 셋째는 조사 중에 제품을 어떻게 쓰는가(자연스럽게, 정해진 과제로, 제한적으로, 전혀 안 씀)다.

제품 단계에 따라서도 맞는 방법이 다르다. 아래 표는 NN/g가 정리한 짝이다. 어느 프로젝트도 모든 방법을 쓸 수 없으니, 지금 답해야 할 질문에 맞춰 두세 가지를 섞는다. 방법들의 기초(인터뷰·관찰·사용성 테스트·A/B 테스트)는 HCI와 UX 노트에도 있다.

인터뷰 질문 만들기: 유도하지 않는다

인터뷰는 가장 흔하고 가장 망치기 쉬운 방법이다. 질문 하나가 답을 정해 버리기 때문이다. NN/g는 질문에 원하는 답이 들어 있거나 비치는 것을 유도 질문(leading question)이라 부르고, 특히 진행자가 "전문가"로 보일 때 참가자가 그 생각을 따라 말하게 된다고 경고한다. 사용자의 말을 내 말로 바꿔 되묻기, 답을 미리 내놓기, 사용자가 쓰지 않는 화면 요소 이름 대기, 사용자가 어떻게 느꼈는지 넘겨짚기가 흔한 함정이다.

질문은 미리 인터뷰 가이드로 적되, 조사 목표에서 거꾸로 만든다. "지난번에 ~했던 때를 이야기해 주세요"처럼 구체적인 과거 사건을 물으면 기억이 살아난다. 준비한 질문 사이사이에는 "조금 더 이야기해 주세요" 같은 따라가는 질문을 넣고, 상대의 말을 끊거나 재촉하지 않는다(NN/g User Interviews 101).

관찰과 맥락 조사: 말보다 행동

인터뷰만으로는 사람들이 말하지 않는(또는 스스로도 모르는) 것을 놓친다. 습관이 된 불편, 쪽지와 메모로 때우는 우회 방법(workaround)은 현장에서 봐야 보인다. 그래서 실제로 일하고 쓰는 자리에 가서 보는 현장 조사(field study)를 한다.

현장 조사의 한 형태인 맥락 조사(contextual inquiry)는 휴 베이어와 캐런 홀츠블랫이 만든 방법이다. 조사자는 제자가 되어, 장인인 사용자가 일하는 모습을 보며 그때그때 묻는다. 네 원칙이 있다. 실험실이 아니라 사용자가 평소 일하는 맥락에서 하고, 조사자와 사용자가 대화를 함께 이끄는 동반자 관계로 하고, 본 것의 의미를 사용자와 함께 확인하는 해석을 하고, 프로젝트 목적에 따라 무엇을 볼지 정하는 초점을 가진다. 복잡한 업무 도구나 전문가 사용자를 이해할 때 특히 쓸모 있다.

설문 설계: 많이 묻는 만큼 잘 물어야

설문은 많은 사람에게 싸게 묻지만, 질문이 잘못되면 많은 사람에게서 틀린 답을 모은다. 고칠 것은 대개 정해져 있다. 답을 담은 형용사("훌륭한")를 빼고, 척도의 양끝에 이름을 붙이고, 보기 구간이 겹치지 않게 하고, 한 문항에 두 질문을 묶지 않는다.

• 중요한 것을 앞에: 사람들은 중간에 그만둔다. NN/g는 가장 중요한 질문을 앞에 두고, 순서 효과를 줄이려 절과 문항 순서를 섞어 보라고 권한다.
• 열린 질문은 아껴서: 열린 질문은 쓰는 사람의 품이 들어 응답률을 떨어뜨린다. 시험 단계에서 열린 질문으로 답의 폭을 본 뒤, 본 설문에서는 닫힌 보기로 바꿀 수 있다.
• 미리 시험한다: 대상자 한 명에게 생각을 말하며 풀게 하고 고치기를 몇 번 되풀이한다. 내 머릿속의 뜻과 읽는 사람의 뜻이 다른 문항이 꼭 나온다.
• 얼마나 정확한가: 비율을 묻는 설문의 오차 범위는 대략 응답 수의 제곱근에 반비례한다. 95% 신뢰 수준에서 가장 보수적으로 잡으면 100명은 ±9.6%p, 1,000명은 ±3.1%p다. 다만 이것은 무작위로 뽑았을 때의 이야기다. 앱 안 팝업에 답한 사람은 이미 열성 사용자 쪽으로 치우쳐 있다.

페르소나: 지어낸 인물, 지어내지 않은 근거

페르소나는 NN/g의 표현으로 "대표 사용자나 목표 사용자를 그린, 지어냈지만 현실적인 인물 묘사"다. 이름과 사진, 한 줄 요약, 제품 경험 수준, 쓰는 맥락(어쩔 수 없이 쓰는지, 얼마나 자주, 어떤 기기로), 목표와 걱정, 태도를 보여 주는 한마디가 들어간다. 팀이 "사용자"라는 막연한 말 대신 구체적인 사람을 떠올리며 결정하게 하는 도구다.

• 지어냈다고 상상한 것은 아니다: 페르소나는 현장 조사·설문·인터뷰 같은 실제 조사 위에 세운다. 회의실에서 상상으로 만든 페르소나는 팀의 선입견에 이름을 붙인 것일 뿐이다.
• 인구 통계가 핵심이 아니다: "30대 여성 직장인"은 행동을 설명하지 못한다. 같은 상황에서 같은 목표를 가진 사람은 나이가 달라도 같은 페르소나다.
• 모두를 위한 디자인을 막는 도구다: 페르소나는 한 명, 많아야 몇 명이다. 열 명이 넘어가면 결정을 돕지 못한다.
• 테스트를 대신하지 않는다: "서윤이라면 이걸 좋아할 거야"는 가설이다. 실제 사용자에게 확인한다.

공감 지도: 한 사람의 마음을 한 장에

공감 지도(empathy map)는 사용자를 가운데 두고 네 칸에 조사 내용을 붙이는 그림이다. 말한다 칸에는 조사에서 들은 말을 그대로, 생각한다 칸에는 소리 내지 않았을 생각을, 한다 칸에는 관찰한 행동을, 느낀다 칸에는 감정을 적는다. 말한 것과 한 것이 어긋나는 칸이 가장 흥미롭다.

NN/g는 공감 지도가 페르소나를 대신하지 않고, 한 페르소나에 대해 아는 것을 보이는 방법이라고 설명한다. 필요하면 다섯째 칸에 목표를 두어 네 칸의 내용을 사용자가 이루려는 것과 잇기도 한다.

사용자 여정 지도: 시간을 따라 감정을 그린다

여정 지도(journey map)는 한 사람이 목표를 이루기까지 거치는 단계를 가로로 늘어놓고, 단계마다 행동·생각·감정을 쌓는다. 구성 요소는 행위자(한 지도에 한 사람의 시점), 시나리오와 기대, 여정 단계, 행동·생각·감정, 그리고 기회다. 감정은 단계를 가로지르는 선 하나로 오르내림을 보인다.

비슷한 그림과 구분해 두면 좋다. 경험 지도는 특정 제품과 상관없이 사람의 일반적인 경험을 그리는 더 넓은 지도이고, 서비스 블루프린트는 같은 여정을 회사 쪽에서 보며 각 접점을 떠받치는 사람·절차·시스템을 그린다. 여정 지도가 큰 그림을 이해하는 도구라면, 기능을 출시 단위로 쪼개는 사용자 스토리 지도는 구현을 계획하는 도구다.

JTBD: 사람은 제품이 아니라 해야 할 일을 산다

해야 할 일(Jobs to Be Done, JTBD)은 클레이턴 크리스텐슨 등이 정리한 관점이다. 혁신이 운에 기대는 것처럼 보이는 이유는 제품에만 집중하고 고객이 왜 그것을 고르는지는 덜 보기 때문이라는 것이다. 고객은 어떤 상황에서 이루고 싶은 일이 있어 제품을 "고용"하고, 더 나은 것이 나오면 "해고"한다. 그래서 질문을 "누가 우리 고객인가"에서 "고객은 어떤 일을 하려고 우리를 고용하나"로 바꾼다.

잡(job)은 흔히 상황·동기·기대 결과로 쓴다. 퇴근 지하철에서 20분이 빌 때, 머리를 식히고 싶다. 그래서 내리기 전에 끝낼 수 있는 거리를 고른다.

JTBD는 페르소나와 함께 쓸 수 있다. 페르소나가 "누구"를 생생하게 한다면, 잡은 "어떤 상황에서 무엇을"을 날카롭게 한다. 기능 목록을 정할 때 "이 기능은 어떤 잡의 어느 단계를 돕나"를 물으면 쓸데없는 기능이 걸러진다.

문제 정의 문장: HMW로 바꾸기

조사에서 얻은 통찰을 아이디어로 옮기기 전에, 풀 문제를 질문 하나로 적는다. 흔한 틀이 HMW(How Might We, 우리는 어떻게 하면 ~할 수 있을까) 질문이다. NN/g가 꼽는 요령은 다섯이다. 구체적인 발견에서 출발하고, 질문에 답을 넣지 않고, 아이디어가 많이 나올 만큼 넓되 초점을 잃지 않을 만큼 좁게 하고, 증상이 아니라 바라는 결과를 겨누고, "줄이다·막다" 대신 "높이다·돕다" 같은 긍정문으로 쓴다.

질문이 너무 많아지면 겹치는 것을 더 넓은 질문으로 합치거나, 프로젝트에 미칠 영향으로 순서를 매긴다. HMW 질문은 더블 다이아몬드의 정의 단계가 끝났다는 표시이고, 전개 단계의 출발점이다(UX와 UI, 디자인 프로세스).

우선순위: 임팩트 × 노력

아이디어는 늘 할 수 있는 양보다 많다. 가장 흔한 정리법은 후보를 두 축에 놓는 우선순위 행렬이다. 세로는 사용자(와 사업)에게 주는 임팩트, 가로는 만드는 데 드는 노력이다. 임팩트가 크고 노력이 적은 칸이 먼저 할 일이고, 임팩트가 크고 노력도 큰 칸은 계획을 세워 할 일이다.

행렬의 값은 대개 팀의 어림이다. 그래서 혼자 점수를 매기지 말고, 리서처·디자이너·개발자·PM이 각자 점을 찍은 뒤 크게 갈리는 후보를 놓고 이야기한다. 갈린 이유(누구는 쉽다고, 누구는 어렵다고 본 까닭)가 행렬보다 더 쓸모 있는 정보다. 임팩트를 어림할 때는 앞의 여정 지도에서 감정이 바닥인 단계와 잡의 중요도를 근거로 쓴다.

몇 명에게 물어야 하나

답은 "무엇을 알고 싶은가"에 따라 수십 배 달라진다. 문제를 찾는 정성 사용성 테스트는 적은 사람으로 충분하다. 닐슨의 모형에서 한 사람이 문제의 31%를 찾는다고 보면, 다섯 명이 함께 찾는 비율은 약 84%, 열다섯 명이면 100%다. 그래서 닐슨은 15명을 한 번에 보기보다 5명씩 세 번, 그 사이에 고치라고 권한다(모형의 자세한 계산은 HCI와 UX 노트에 있다).

• 카드 소팅: NN/g가 인용한 168명 연구에서, 15명의 결과는 최종 결과와 상관이 0.90이었고 5명은 0.75로 부족했다. NN/g는 대부분의 프로젝트에 15명을 권한다.
• 정량 사용성 연구: 성공률 같은 지표를 95% 신뢰 수준에서 ±15%p 안으로 재려면 39명이 필요하다. NN/g가 권하는 "40명"은 이것을 올린 값이다. ±20%p로 넓히면 21명, 과제 시간 같은 연속 지표를 ±15%로 재려면 약 47명이다.
• 설문: 비율을 ±5%p 안으로 알고 싶다면 약 381명이다. 정밀도를 두 배로 올리려면 사람은 네 배가 든다.

계산은 조정 왈드(adjusted Wald) 구간으로 했다. 필요한 수 n = z²·p(1−p)/m² − z²에서 p를 가장 보수적인 0.5로 둔다. z는 95%일 때 1.96이다. 정량 연구는 "B안이 더 나은가"에 답하고, 정성 연구는 "왜 막히나"에 답한다. 둘은 서로를 대신하지 않는다.

흔한 오해

• "사용자에게 무엇을 원하는지 물어보면 된다": 사람들은 미래 행동과 필요를 잘 예측하지 못한다. 지난 경험을 묻고 실제 행동을 본다.
• "5명이면 어떤 조사든 충분하다": 5명은 문제를 찾는 정성 테스트 한 바퀴의 이야기다. 비율이나 차이를 재는 정량 질문에는 수십에서 수백 명이 든다.
• "페르소나는 인구 통계로 만든다": 나이와 직업은 행동을 설명하지 못한다. 페르소나의 뼈대는 조사에서 나온 맥락·목표·행동이다.
• "설문 응답이 많으면 정확하다": 누가 답했는지가 더 중요하다. 치우친 1만 명은 무작위 400명보다 못할 수 있다.
• "여정 지도는 화면 흐름도다": 여정 지도는 화면 밖 단계(서가 찾기, 반납 잊기)와 감정을 포함한다. 화면만 그리면 가장 큰 기회를 놓친다.
• "조사는 프로젝트 처음에 한 번 한다": 단계마다 묻는 질문이 다르다. 출시 뒤의 로그와 문의도 조사다.

핵심 자료