지난 시간에는 「톡톡 실버 디지털교실」에 대한 과정평가(process evaluation) 분석 사례를 제시했다면, 이제부터는 성과평가(outcome evaluation) 사례를 소개하고자 한다. 먼저 대표적인 성과평가 기법인 만족도 평가의 활용에 대해 설명한다.
만족도 평가의 개념과 의의
만족도 평가는 프로그램 참여자가 경험한 서비스의 질, 교육 내용, 운영 과정, 성취감 등 전반에 대한 주관적 인식을 수치화하여 평가하는 방법이다.
이는 프로그램이 단순히 계획대로 수행되었는지 여부를 넘어서, 참여자가 실제로 ‘만족’했는가, 즉 체감 효과가 있었는가를 측정할 수 있는 도구이다.
특히 복지·교육 영역에서 만족도 평가는 이용자 중심 평가(user-centered evaluation)로서, 서비스 제공자의 관점이 아닌 참여자의 체험과 감정, 변화에 초점을 둔 실질적 성과 검증 방법이라는 점에서 의의가 크다. 무엇보다 만족도 평가를 각 성과목표별로 문항을 개발하고 분석해야한다는 점이 중요하다.
「톡톡 실버 디지털교실」에서 만족도 평가의 가치
(1) 참여자 체감 중심의 효과 확인
이 프로그램의 핵심은 노인의 인지적·정서적 변화를 촉진하는 데 있다.
스마트폰 활용 능력 향상, 가족과의 소통 증진, 지역사회 참여 확대는 모두 참여자의 주관적 경험과 만족감을 통해 가장 잘 드러난다.
따라서 만족도 평가는 노인이 실제로 “배웠다”, “편해졌다”, “가족과 가까워졌다”라고 느꼈는지를 확인하는 가장 직접적인 지표이다.
(2) 행동·태도 변화를 측정하는 실질적 척도
노인의 디지털 역량은 단순한 기술 습득이 아니라 학습 의지, 자신감, 참여 태도 변화로 나타난다.
이러한 정성적 변화는 객관적 시험이나 사전·사후 비교로는 충분히 포착하기 어렵기 때문에,
**만족도 평가를 통해 참여자의 내적 변화(자기효능감, 긍정감정, 참여 지속 의지 등)**를 수치화할 수 있다.
(3) 프로그램 운영의 질적 개선 근거 제공
만족도 평가는 단순한 성취 측정이 아니라 운영 개선의 피드백 자료로 활용된다.
문항별 평균과 표준편차 분석을 통해 강사의 설명력, 기자재 환경, 프로그램 난이도 등 현장의 개선 포인트를 명확히 파악할 수 있다.
이로써 CQI(지속적 질 향상) 체계와 연계하여 **“참여자 경험 기반의 프로그램 개선”**이 가능하다.
(4) 비인지적 성과의 가시화
스마트폰 활용 역량뿐 아니라, 정서적 안정감, 세대 간 유대, 사회적 자신감 등 비가시적 성과는 만족도 평가를 통해서만 객관화할 수 있다.
이는 단순 기술 교육을 넘어 삶의 질 향상이라는 사회복지적 목표 달성 정도를 평가하는 데 필수적이다.
이 프로그램에서 만족도 평가가 유효한 이유
「톡톡 실버 디지털교실」은
첫째, 학습자의 주관적 변화가 핵심 성과이고,
둘째, 감정적·정서적 만족이 지속적 참여로 이어지며,
셋째, 참여자의 자기평가가 실제 역량 향상과 밀접히 연관된 프로그램이다.
따라서 만족도 평가는 이 프로그램의 특성과 목표에 가장 적합한 성과 측정 방법이다.
이는 단순한 ‘좋았다’의 확인이 아니라, 노인의 디지털 자립성, 가족관계 회복, 지역사회 참여 의지라는 질적 변화를 정량화하여 보여주는 실질적 성과 지표로 기능한다.
결국 만족도 평가는 「톡톡 실버 디지털교실」의 참여자 중심 성과관리의 핵심 도구이며,
노인복지 프로그램의 질적 가치와 지속가능성을 확인하는 가장 현실적이고 유의미한 평가 방법이라 할 수 있다.
다음은 이 프로그램의 성과목표1에 대한 평가결과 예시이다.
----------------------------------------------------------------------------------------
<표> 성과목표1에 대한 만족도 분석 결과
|
만족도 문항 |
평균 |
표준
편차 |
최소값 |
최대값 |
|
1. 이 프로그램을 통해 스마트폰의 기본 기능(전화, 문자, 사진 등)을 스스로 사용할 수 있게 되었나요? |
3.9 |
1.1 |
2 |
5 |
|
2. 프로그램 참여 후 스마트폰을 다루는 것이 훨씬 편해졌나요? |
4 |
1 |
2 |
5 |
|
3. 이 프로그램을 통해 새로운 앱(예: 카카오톡, 유튜브 등)을 설치하고 사용할 수 있게 되었나요? |
3.7 |
1.2 |
1 |
5 |
|
4. 프로그램 참여 후 스마트폰으로 필요한 정보를 검색할 수 있게 되었나요? |
3.8 |
1.1 |
2 |
5 |
|
5. 이 프로그램을 통해 스마트폰을 다양하게 활용할 자신감이 생겼나요? |
4.1 |
0.9 |
3 |
5 |
|
계 |
3.9 |
1.1 |
2 |
5 |
분석 결과
5개 문항의 평균은 3.9점(5점 척도)으로, 중간점수 3.0을 상회하여 전반적으로 긍정적인 평가를 보였다.
참여자들은 프로그램을 통해 스마트폰의 기초 기능을 익히고, 일상생활에서 스스로 활용할 수 있는 자신감을 획득한 것으로 나타났다.
특히 ‘스마트폰 활용 자신감(문항5)’과 ‘활용의 편의성(문항2)’ 항목의 점수가 높아, 학습을 통한 실질적 역량 향상이 이루어졌음을 보여준다. 다만 ‘새로운 앱 설치 및 활용(문항3)’ 항목의 평균이 상대적으로 낮게 나타나, 고령자에게 생소한 앱이나 고급 기능에 대한 추가 실습이 필요함을 시사한다. 또한 일부 참여자는 프로그램 초기에 기기 조작에 대한 불안감을 표현하였으나, 반복 실습과 보조인력의 개별 지원이 이를 완화시켰다는 후속 의견이 있었다.
이에 따라 성과목표 1(스마트폰 활용 역량 향상)은 기준값 3.0 이상을 달성하였으며, 실질적인 역량 변화가 관찰된 성취된 목표 영역으로 평가된다.
결론
성과목표 1은 전반적으로 달성되었으며, 프로그램 참여를 통해 스마트폰 활용 역량 향상이 실질적으로 이루어진 것으로 판단한다.
댓글
댓글
댓글 0개