주메뉴 바로가기 본문 바로가기

프로그램 평가사례 (7)

  • 프로그램평가
  • 성과평가
  • 양적평가
  • 수치세기
  • 조성우

할머니가 스마트폰을 보며 웃고 있는 사진


이번에는 수치 세기(numeric count)를 활용한 평가 사례를 제공한다.


수치 세기를 활용한 양적 평가는 특정 행동이나 현상이 발생한 빈도, 횟수, 지속시간 등을 정수 기반의 객관적 수치로 기록하여 변화 정도를 정량적으로 파악하는 평가 방식이다. 이 방법은 참여자의 주관적 판단이 개입될 가능성을 최소화하고, 동일한 기준으로 반복 측정이 가능하다는 점에서 높은 신뢰도를 가진다. 수치 데이터를 통해 시간의 흐름에 따른 변화 패턴을 명확하게 확인할 수 있으며, 프로그램의 효과를 구체적이고 실증적으로 제시한다는 점에서 의의가 크다. 또한 단순한 만족감이나 인식 변화가 아닌 실제 행동 변화를 직접 측정할 수 있기 때문에, 교육·훈련 프로그램에서 기능적 역량 향상을 평가하기 위한 핵심 도구로 활용된다.


「톡톡 실버 디지털교실」에서 수치 세기는 고령 참여자들의 스마트폰 활용 행동의 실제적 변화를 가장 잘 반영하는 평가 방식이라는 점에서 가치가 크다. 노인의 디지털 역량은 단순히 ‘자신감이 생겼다’는 주관적 반응만으로는 확인하기 어려우며, 실제로 일상에서 스마트폰을 어느 정도 활용하게 되었는지가 중요한 성과 지표이다. 특히 카카오톡 대화 건수와 같은 행동 기반 지표는 프로그램을 통해 배운 기술이 실제 생활에서 얼마나 활용되고 있는지를 보여주는 직접적 증거가 된다. 즉, 수치 세기는 노인들이 디지털 기기를 ‘배웠다’에서 ‘쓴다’로 전환된 과정을 명확하게 수치화해 주며, 프로그램의 실질적 효과를 입증하는 가장 명확하고 신뢰도 높은 성과 평가 방식이라고 할 수 있다.



평가도구 안내



다음은 성과목표1을 평가하기 위한 측정도구이다.


📋 카카오톡 대화 빈도 자기보고형 측정도구 (간단 양식)

어제 카카오톡으로 주고받은 대화 건수는 몇 건입니까?


카카오톡 대화 빈도 자기보고형 측정도구 - 회기, 카톡 대화건수
회기 카톡 대화건수
1 [] 건
2 [] 건
3 [] 건
4 [] 건
5 [] 건
6 [] 건
7 [] 건


성 안내(간단 기준)

  • 대화 1건 = 상대방과 메시지를 한 번이라도 주고받은 경우.

  • 문자, 사진, 음성, 이모티콘 모두 포함.

  • 같은 사람과 여러 번 대화해도 각 대화를 1건씩 기록.

  • 기록은 하루 끝에 한 번 작성.



📋 가상의 카카오톡 대화 빈도 측정데이터

※ 단위: 하루 평균 대화 건수(정수, 건)


가상의 카카오톡 대화 빈도 측정데이터(※ 단위: 하루 평균 대화 건수(정수, 건)) - 참가자, 1회차, 2회차, 3회차, 4회차, 5회차, 6회차
참가자 1회차 2회차 3회차 4회차 5회차 6회차
1 0 0 1 2 3 4
2 1 1 2 3 4 5
3 0 0 1 2 2 3
4 1 1 2 3 4 6
5 0 0 1 1 2 3
6 1 2 3 4 5 6
7 0 1 1 2 3 4
8 0 0 1 2 2 3
9 1 1 2 3 4 5
10 0 1 1 2 3 4


아래는 이 데이터를 통계 프로그램(자모비)으로 입력한 결과이다.

통계 프로그램(자모비)에 가상의 카카오톡 대화 빈도 측정데이터 값을 입력한 결과 화면 캡처 이미지




다음은 성과목표 1(스마트폰 활용 역량 향상)에 대한
카카오톡 대화 건수 수치세기 결과를 분석한 평가 보고서이다.


📊 1. 분석결과


〈표 1〉 일일 대화 건수 평균 변화(10명 × 6회 측정)


기술 통계

일일 대화 건수 평균 변화(10명 × 6회 측정) 기술 통계 - (사례수, 결측 값, 평균, 표준편차, 최소값, 최대값), 1회차, 2회차, 3회차, 4회차, 5회차, 6회차
1회차 2회차 3회차 4회차 5회차 6회차
사례수 10 10 10 10 10 10
결측 값 0 0 0 0 0 0
평균 0.400 0.700 1.50 2.40 3.20 4.30
표준편차 0.516 0.675 0.707 0.843 1.03 1.16
최소값 0 0 1 1 2 3
최대값 1 2 3 4 5 6


일일 대화 건수 평균 변화(10명 × 6회 측정) 기술 통계의 1회차부터 6회차까지 평균값을 선형그래프로 나타낸 이미지 1회차-0.400 2회차-0.700 3회차 1.50 4회차 2.40 5회차 3.20 6회차 4.30


📘 2. 분석결과 해석


카카오톡 일일 대화 건수의 변화를 기반으로 스마트폰 활용 역량의 향상 정도를 평가한 결과, 참여자들의 기능적 역량은 프로그램 기간 동안 뚜렷하게 증가한 것으로 나타났다. 사전 측정에서 평균 대화 건수는 0.4건으로, 이는 참여자 대부분이 스마트폰을 거의 사용하지 않거나 대화 시도를 하지 못하는 매우 낮은 수준임을 의미한다. 그러나 프로그램이 진행됨에 따라 평균값은 꾸준히 상승하여 중간 측정에서는 2.3건, 종결 시점에서는 4.3건으로 크게 증가하였다.


특히 3회차 이후 증가 폭이 뚜렷해지는 점은 반복 실습과 기능별 단계적 학습이 누적되면서 실제 행동 변화로 이어졌음을 보여준다. 표준편차 역시 비교적 좁은 범위를 유지하여, 대다수의 참여자들이 일관되게 기능 향상을 경험했음을 시사한다. 최소값 또한 0건에서 3건으로 상승했고, 최대값은 6건에 도달하여 고령 참여자들 중 일부는 적극적으로 디지털 소통을 수행하는 수준에 이르렀다.


이러한 결과는 프로그램이 단순한 지식 전달을 넘어 참여자들의 실제적·일상적 스마트폰 활용 행동을 이끌어냈음을 보여준다. 즉, 참여자들은 스마트폰 조작 능력뿐 아니라 디지털 소통에 대한 심리적 장벽을 극복하고, 일상생활에서 능동적으로 카카오톡을 활용하는 단계로 진입한 것이다.


종합적으로 볼 때 사전-종결 간 평균의 약 10배 증가라는 결과는 성과목표 1인 ‘스마트폰 활용 역량 향상’이 명확하게 달성되었음을 강하게 뒷받침한다.


※ 이 저작물은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용할 수 있습니다.

댓글

댓글

댓글 0