산출물 및 도구 연구 : 방법과 전략(2)

프로그램 개발 연구의 전략

산출물 개발 연구의 상당 부분이 특정 교육 자료에 초점을 맞추지만, 다른 연구는 더 넓은 관심사를 가지고 전체 프로그램의 개발을 다룹니다. 제품과 프로그램 디자인에 많은 디자인 및 개발 원칙이 사용되지만, 대규모 콘텐츠를 다루는 경우 기술이 종종 달라집니다.

 

이러한 연구들은 일반적으로 다양한 형태의 프로그램 평가 전략과 제품 개발 연구에서 발견되는 많은 전형적인 방법을 포함합니다. Martin과 Bramble (1996)의 연구가 좋은 예입니다. 그들은 교육 시스템 디자인 (ISD) 절차를 사용하여 기존의 군사 훈련 프로그램을 대화형 텔레비전으로 제공되는 프로그램으로 재구성했습니다. 프로그램 평가 단계는 교육 전략의 효과성과 새로운 전달 형식이 학습자 성취에 미치는 영향에 중점을 두었습니다. 아래에서는 Sullivan, Ice, Niedermeyer (2000)의 종합적인 프로그램 평가 노력을 살펴볼 것입니다. 이 연구는 대규모 콘텐츠를 다루는 것뿐만 아니라 프로그램이 장기간 대규모로 구현되었습니다.

 

대표적인 프로그램 개발 연구

Sullivan, Ice, Niedermeyer(2000)의 연구는 디자인 및 개발 절차 자체가 아닌 교육 프로그램의 영향에 초점을 맞춘 프로그램 개발 연구를 대표합니다. 이러한 유형의 연구로부터 교육 디자인(ID) 프로세스 자체가 강조되지 않더라도 실무자들은 많은 것을 배울 수 있습니다.

 

1. 현장 평가 전략 사용

Sullivan 등은 장기 교육 개발 및 구현 프로젝트의 결과물인 종합적인 K-12 에너지 교육 과정을 테스트하기 위해 현장 평가 전략을 사용했습니다. 프로젝트는 이미 20년 동안 진행되었습니다. 현장 평가 보고서에는 프로그램 디자인과 개발된 교육 자료에 대한 설명이 포함되어 있습니다. 그 후 구현 및 수정 절차가 문서화되고, 학생과 교사의 태도 조사와 학생의 성취 테스트를 사용하여 영향력 데이터를 수집했습니다.

 

2. 핵평가 및 결과 도출

초기 현장 시험은 2년 동안 진행되었으며 6개 주에 걸쳐 초등학교와 고등학교의 104명의 교사와 3,000명 이상의 학생이 참여했습니다. 정규 교실 교사들은 교육을 제공하고 지식 사전 테스트와 사후 테스트를 관리했습니다. 또한 시험단위가 끝난 후에 태도 설문지를 관리했습니다. 이를 통해 자료의 형성 평가가 이루어졌습니다. 이 시간 이후에 프로그램의 대규모 구현이 시작되었습니다. 구현 초기 3년 동안 비슷한 데이터가 수집되었습니다.

 

설계 개발연구 단계를 위한 전략

모든 디자인 및 개발 연구가 완전한 프로젝트와 관련되어 있지는 않습니다. 디자인 및 개발 노력의 특정 단계만 설명하는 많은 연구가 존재하며, 각 단계에 대해 다양한 접근법을 보여줍니다. 예를 들어, Link와 Cherow-O'Leary (1990)는 설문 조사, 여론 조사, 학교 내 테스트 및 포커스 그룹을 사용하는 필요성 평가 단계에 대한 연구만을 설명합니다.

 

Fischer, Savenye, Sullivan (2002) 연구와 Teachout, Sego, Ford (1997/1998) 연구를 살펴보겠습니다. 이러한 연구는 Link와 Cherow-O'Leary와 마찬가지로 다양한 연구 방법 및 전략을 사용합니다. 대부분의 디자인 및 개발 단계에 대한 연구와 마찬가지로 이러한 연구는 매우 구체적인 질문에 초점을 맞춥니다. 따라서 이 두 연구는 탐색적 연구로 간주되기 보다는 설명적 및 설명적 연구를 대표합니다.

 

형성 평가에 대한 대표적인 혼합연구

형성평가에 대한 혼합방법론 연구

Fischer, Savenye, Sullivan (2002) 연구는 컴퓨터 기반의 온라인 금융 및 구매 시스템 과정에 대한 형성 평가를 다룹니다. 대부분의 형성 평가와 마찬가지로 기본적인 목적은 프로그램의 효과성을 확인하고 필요한 과정 수정 사항을 파악하는 것입니다. 이 연구에서는 과정-비용 효율성에 대한 고려사항을 포함하여 형성평가를 수행했습니다.

 

1. 형성평가의 세 단계

* 형성평가는 디자인 및 개발 노력의 세 단계에서 진행되었습니다. 이 단계는 전문가들의 콘텐츠 및 사용자 인터페이스 디자인 검토, 1:1 평가, 그리고 전체 규모의 시범 구현입니다. 각 단계를 통해 과정 개선을 위한 제안과 수정 사항이 도출되었습니다. Fischer 등은 정성적(전문가 검토 및 1:1 평가 중 심층 인터뷰) 및 정량적(설문조사, 테스트, 작업 데이터) 측정을 모두 사용했습니다. 이 연구는 형성평가의 한 가지 접근법을 어떻게 적용하는지에 대한 모델을 제공하며, 이러한 활동에 할당된 비용과 시간에 대한 교훈을 논의합니다.

 

 

통합된 평가의 대표적인 다중 질적 연구

 

통합된 평가의 다중 정량적 방법론 연구

Teachout, Sego, Ford (1997/1998) 연구는 교육의 종합 평가를 위해 훈련 효과성, 효율성, 및 전이를 측정하는 세 가지 다른 접근법을 결합하는 방법을 설명합니다. 연구에서는 각 변수를 작동적으로 정의하고 지표를 식별해야 했습니다. 이 평가 측정은 18주 동안 진행된 미국 공군 훈련 과정에 적용되었으며, 총 182명의 참가자가 있었습니다. 훈련 관리자, 과정 개발자, 강사들이 과정 내용 분석을 완료했습니다. 훈련 졸업생의 182명의 상사들이 성과 평가를 제공했습니다.

 

1. 독특한 평가 접근 방식

이 평가 접근 방식의 독특함은 독특한 측정 방법뿐만 아니라 데이터를 결합하는 방식입니다. 훈련 효율성, 효과성 및 전이 데이터가 연결되고 표에서 그 관계가 강조됩니다. 요약하면, 연구자들은 "과도한 훈련을 받은 과제들이 다른 과제들보다 직장에서 더 자주 수행되며, 효과성이 더 높다"고 발견했습니다(p. 177). 이러한 평가 결과는 형성평가 데이터를 사용하는 것과 비슷한 방식으로 추가 과정 개발에 쉽게 적용될 수 있는 통찰력을 제공합니다. Teachout 등은 탐색적 디자인 및 개발 연구에 참여했습니다. 그들의 방법론은 주로 설문 전략과 과정 내용의 정량적 분석, 다양한 통계 기법을 결합한 정량적 방법입니다.