이번 글에서는 실험설계와 효과크기 기법을 적용한 사례를 소개한다.

이것은 프로그램의 실제 효과를 과학적이고 체계적으로 검증하는 데 핵심적인 평가 방법이다. 실험설계는 개입 전후의 변화를 비교하거나 통제집단과의 차이를 분석함으로써, 관찰된 변화가 프로그램 때문인지 여부를 명확히 판단하게 해준다. 이는 단순한 만족도나 주관적 평가를 넘어, 개입이 실제로 ‘효과가 있었는가’를 객관적 자료로 보여주는 강점이 있다. 또한 효과크기 분석은 변화의 통계적 유의성뿐 아니라 얼마나 크게 변화했는지를 정량적으로 제시하여, 프로그램의 실질적 영향력을 해석하는 데 필수적이다.

「톡톡 실버 디지털교실」은 노인의 디지털 역량 향상이라는 학습·행동 변화가 핵심 성과이기 때문에, 단순 인식 변화보다 실제 기능 향상과 행동 변화의 크기를 측정하는 것이 중요하다. 실험설계는 교육 개입의 전후 차이를 명확히 보여주며, 효과크기는 변화의 강도를 구체적으로 제시함으로써 프로그램의 실질적 성과를 더욱 명확히 설명해 준다. 특히 고령자 대상 디지털 교육은 개인별 기초 수준이 다르기 때문에, 효과크기는 개별적 변동성을 고려한 유용한 지표로 기능하여 본 프로그램과 매우 적합한 평가 방법이다.

평가결과 예시

다음은 성과목표 3의 통계 분석 결과이다.

성과목표3: 지역사회 참여도 향상

📊 1. 통계표 (단일집단 전후 비교: 윌콕슨 부호순위검증 & 코헨의 d)

측정도구: 지역사회 정보 접근 및 참여도 척도(1~5점 Likert)

대상자 수: n = 20

📘 2. 해설 

분석 결과, 지역사회 참여도는 프로그램 참여 후 유의미하게 증가하였다. 사전 평균 2.35점에서 사후 3.75점으로 상승하였으며, 윌콕슨 부호순위검증에서 W = 15, p < .001로 나타나 참여자 대부분이 사후 점수가 증가한 것으로 확인되었다. 이는 지역사회 정보 탐색, 공공서비스 이용, 지역활동 참여 의지 등이 전반적으로 향상되었음을 의미한다. 또한 코헨의 d = 1.50으로 매우 큰 효과크기를 보여, 프로그램이 노인의 지역사회 참여 확대에 실질적이고 강력한 영향을 준 것으로 해석할 수 있다. 따라서 성과목표 3은 충분히 달성된 것으로 판단된다.