설계개발연구 데이터 모으기(2)

핵심 내용 요약

1. 데이터 수집 도구: 디자인과 개발 연구에서는 다양한 데이터 수집 도구가 활용됩니다. 이에는 작업 로그, 설문조사와 질문지, 인터뷰 프로토콜, 그리고 관찰 가이드가 포함됩니다.

 

2. 작업 로그: 이는 디자이너와 개발자가 특정 프로젝트에 진행 중이거나 완료한 작업에 대한 자세한 데이터를 수집하는 데 주로 사용됩니다.

 

3. 설문조사와 질문지: 이러한 도구는 참가자의 인구통계학적 정보, 디자이너와 학습자의 태도, 그리고 평가 정보 등 다양한 연구 기능에 대한 데이터를 수집하는 데 사용됩니다.

 

4. 인터뷰 프로토콜: 많은 디자인 및 개발 연구에서는 질적 연구 설계를 사용하며, 이는 주로 인터뷰 데이터에 의존합니다. 인터뷰 프로토콜은 연구 참가자들의 생각과 믿음에 대한 데이터를 수집하는데 도움이 됩니다.

 

5. 관찰 가이드: 연구자들은 때때로 디자이너와 개발자가 작업하는 것, 강사가 교육 제품이나 도구를 사용하는 것, 학습자가 새로 개발된 교육 제품을 사용하는 것 등을 직접 관찰함으로써 데이터를 수집합니다.

 

이들 모든 도구들은 디자인과 개발 연구에 있어 중요한 역할을 하며, 각각의 연구 목적과 상황에 맞게 조정 및 적용될 수 있습니다.

데이터 수집 도구

데이터 수집 도구의 다양성: 디자인 및 개발 연구에서는 다양한 데이터 수집 도구가 사용됩니다. 예를 들어, McKenney (2002)는 그녀의 제품 개발 연구에서 총 108개의 다른 도구를 포함한 여섯 가지 카테고리의 데이터 수집 도구를 사용했습니다. 이 도구들은 디자인 및 개발 프로세스의 여러 단계에서 사용되었습니다. 이처럼, 연구자들은 다양한 방식으로 정보를 수집하고 분석하는 데 필요한 도구를 선택하고 사용합니다.

 

일부 중요한 데이터 수집 도구: 일부 데이터 수집 도구는 디자인 및 개발 연구에서 특히 자주 사용되어 특별한 언급을 받을 만한 가치가 있습니다. 이러한 도구에는 작업 로그, 설문 조사 및 질문지, 인터뷰 프로토콜, 관찰 가이드 등이 포함됩니다. 이들 도구는 연구 과정에서 중요한 정보를 수집하고, 디자인 및 개발 결정을 내리는 데 도움이 됩니다.

 

작업 로그

 

작업 로그는 디자인과 개발 데이터 수집 도구 중 흔하게 사용되는 도구입니다. 현재 또는 과거 프로젝트와 관련된 데이터를 수집하는 데 사용될 수 있으며, 특히 "진행 중인" 프로젝트에 주로 사용됩니다. 일반적으로 디자이너와 개발자가 사용하지만, 클라이언트와 강사 데이터를 수집하기 위해 작업 로그를 사용하는 연구도 있습니다. 작업 로그는 일반적으로 디자인 및 개발 단계 동안 수행된 작업과 결정의 세부적인 특성, 소비된 시간, 사용된 도구, 그리고 과정에 대한 반응을 기록합니다.

 

1. 일반적인 vs 구체적인 작업 로그: 작업 로그는 다양한 형태로 존재합니다. 일부는 매우 일반적이고 개방적인 구조를 가질 수 있으며, 이런 도구는 참여자들이 특정 ID 프로젝트를 진행하면서 데이터를 기록하는 데 자주 사용됩니다. 반면에, 특정 디자인 작업에 초점을 맞춘 작업 로그도 있습니다. 이런 도구는 참여자들이 각 작업을 완료할 때 사용한 특정 접근법을 회상하는 데 도움을 줍니다.

 

2. 작업 로그의 시간 및 작업 데이터 수집: 작업로그를 통해 매우 구체적인 시간 및 작업 데이터를 수집할 수 있습니다. 그러나 회고적 시간 데이터는 일반적으로 일수로, 아니면 시간보다는 더 큰 단위로 기록될 가능성이 높습니다. 두 연구에서 작업 로그를 사용하여 수집한 데이터는 깊이 있는 인터뷰를 통해 이해와 확장을 지원받았음을 주의해야 합니다.

 

설문조사

설문 조사와 질문지는 다양한 디자인 및 개발 연구에서 널리 사용됩니다. 예를 들어, McKenney (2002)의 연구에서는 데이터 수집 도구의 35%가 질문지였으며, 이는 그녀가 사용한 도구 중 가장 큰 카테고리였습니다. 이런 도구들은 참여자의 인구 통계학적 정보, 디자이너와 학습자의 태도, 그리고 평가 정보와 같은 데이터를 수집하는 데 사용됩니다.

 

1. 구조화된 질문지로서의 기능: 많은 설문 조사 도구들은 문서 분석의 기반으로 사용될 수 있습니다. 많은 디자인 및 개발 연구들은 현존하는 데이터의 검토를 포함합니다. 이때의 작업은 대체로 구조화된 도구를 사용하여 문서를 "조사"하고, 제품 특성, 완료된 디자인 작업의 증거, 디자인 및 개발 결정의 증거, 교육 또는 개입과 관련된 직장 내 행동 등과 관련된 데이터를 수집하는 것입니다.

 

2. 종류와 형태에 따른 설문 조사와 질문지: 설문 조사와 질문지는 다양한 형태와 종류가 있습니다. 일부는 양적인 질문들과 간단하게 분석할 수 있도록 폐쇄형 질문들로 이루어져 있습니다. 또한 일부는 제품 평가 문제에 대해 살펴보며, 열린 질문과 닫힌 질문 모두를 포함할 수 있습니다. 많은 연구들은 학습자의 반응과 태도 데이터를 수집하기 위해 Fig. 7-5에 나와 있는 것보다 더 간단한 질문지를 사용하나, 이들 항목은 종종 비슷한 리커트 척도를 사용합니다.

 

 

인터뷰

현재, 많은 디자인 및 개발 연구에서는 인터뷰 데이터에 크게 의존하는 질적 연구 설계를 사용하고 있습니다. 디자이너, 고객, 강사, 심지어 학습자나 사용자들조차도 때때로 인터뷰되며, 이러한 데이터는 연구자가 사건에 대한 명확한 이해를 얻고, 그것이 왜 발생했는지 결정하며, 참여자들의 생각과 신념에 대한 데이터를 수집하는데 도움이 됩니다. 여러 면에서, 인터뷰 프로토콜은 단순히 개방형 질문지입니다. 프로토콜은 많은 디자인 및 개발 연구에서 흔한 긴 인터뷰에서 특히 중요합니다. 이것은 인터뷰 과정에 대한 제어를 설정하며, 모든 내용이 다루어지고 모든 참여자에게 유사한 프롬프트가 사용되도록 보장합니다.

 

1. 프로토콜을 통한 데이터 신뢰성 및 비교 가능성 확보: 인터뷰 프로토콜은 단순히 응답 자극뿐만 아니라 신뢰할 수 있고 비교 가능한 데이터를 보장하는 방법으로 작동합니다. 이 프로토콜은 일반적으로 디자인 및 개발 과정을 자세히 거치며, 일어난 그대로 설명하는 것을 포함합니다.

 

2. 인터뷰의 다양한 방법과 전략: 인터뷰는 또한 다른 경로를 취할 수 있습니다. 예를 들어, Cowell (2001)은 그녀의 인터뷰에 필수적인 사건 기법을 포함시켰고, 이는 필요성 평가 실천에 대한 이해를 목표로 했습니다. 인터뷰 과정은 적절한 참가자를 선정하고, 디자이너의 인구통계학적 정보와 일반적인 필요성 평가 전략 데이터를 수집하며, 참가자를 다가오는 인터뷰에 대비시키는 설문 조사의 사용을 포함했습니다. 이런 설문 조사와 알림 전화의 사용은 성공적인 인터뷰 경험을 가능하게 했습니다.

 

 

관찰

디자인과 개발 연구자들은 때때로 직접적인 관찰을 통해 데이터를 수집합니다. 일반적으로 이는 다음 중 하나 이상을 관찰하는 것을 포함합니다: 작업 중인 디자이너와 개발자, 가르치는 도중 교육 제품이나 도구를 사용하는 강사, 새로 개발된 교육 제품을 사용하는 학습자, 특정 프로그램에 참여한 사람들의 직무 수행 등. 관찰 기법은 연구 설계에서 다양한 역할을 할 수 있습니다.

 

1. 관찰 데이터의 양적 및 질적 접근: 관찰 기법은 반드시 질적인 성격을 가진 것은 아닙니다. 많은 관찰 시스템은 "지정된 행동의 특정 측면을 직접 관찰하여 인간 행동의 양적인 설명이나 측정을 도출하는 방법"입니다 (Medley, 1992, p. 1310). 연구자가 수량화적 접근법을 취하든 질적 접근법을 취하든, 관찰은 미리 계획된 데이터 수집 도구의 사용을 통해 제어됩니다.

 

2. 다양한 관찰 도구의 사용 및 조합: 더 복잡한 관찰 시스템들도 존재합니다. 그 중 일부는 연구자의 코멘트나 관찰되는 이벤트에 대한 더 자세한 서술을 제공합니다. 이러한 도구들은 질적 방향성을 가지고 있습니다. 데이터 수집의 다른 유형과 마찬가지로, 관찰 도구는 다른 종류의 도구와 함께 사용되곤 합니다. 예를 들어, 참가자 설문조사는 관찰 이전에 이루어질 수 있으며, 인터뷰는 후속 활동으로 종종 실시됩니다.