서울시복지재단

다음은 「톡톡 실버 디지털교실」 프로그램을 대상으로 CQI(Continuous Quality Improvement) 모델에 기반하여 수립한 과정평가 계획과 결과 보고 사례이다. CQI는 지속적 품질 향상을 목표로 하는 평가 및 개선 모델로, 단기적 만족도 조사에 그치지 않고 과정 전반의 문제를 인식하고, 분석하고, 개선하는 순환체계를 강조한다. 이는 단순한 “점검”을 넘어서 “지속적인 발전”을 위한 학습 조직 모델에 가깝다. 이 평가 사례는 담당 부서의 내부 자체평가 방식으로 수행된 것임을 가정한다.

 

📋 CQI 기반 「톡톡 실버 디지털교실」 과정평가 계획

 

1. 평가 목적

CQI(Continuous Quality Improvement) 기반 과정평가는 「톡톡 실버 디지털교실」이 실제 운영되는 동안 발생하는 문제와 강점을 반복적으로 점검하고, 그에 대한 실천적 개선을 다음 회기 운영에 즉시 반영하기 위한 목적을 가진다.

단편적인 만족도 측정을 넘어, 문제 발견 → 분석 → 실행 → 개선의 순환과정을 통해 프로그램의 질을 점진적으로 향상시키고자 한다.

 

2. 평가체계: PDCA 사이클 기반 평가 구조

CQI 과정평가는 PDCA 사이클(Plan–Do–Check–Act)을 바탕으로 한다.

- Plan(계획): 각 회기의 목적과 운영계획을 사전에 수립하고, 예상 리스크 요인을 미리 정리한다.

- Do(실행): 실제 회기를 운영하고, 담당자들이 회기 중 관찰 사항을 실시간으로 기록한다.

- Check(점검): 회기 종료 후 운영팀 내부에서 문제점과 개선사항을 점검하고 분석한다.

- Act(개선): 다음 회기에 즉시 반영할 실행계획을 수립하고 실천한다.

 

3. 평가방법 및 시점

- 평가주체: 담당 부서(사회복지사, 강사, 보조 인력 등 프로그램 운영팀)

- 평가시점: 매 회기 종료 직후 10분 이내 내부 회의 또는 평가지 작성

- 평가방식: 체크리스트+서술형 관찰 기록 병행

- 기록방식: 회기별 과정기록지(PDCA 템플릿) + 점검지표 체크표 작성

- 활용목적: 회기 간 개선사항 즉시 반영, 성과보고서 근거자료 활용

 

4. 평가지표 구성 (CQI 자체평가지표 12항목)

다음은 CQI 관점에서 설정된 자체 점검지표이며, 매 회기마다 반복적으로 확인하여 운영의 질적 완성도를 높이기 위한 핵심 항목이다.

 

번호	평가 지표명	지표 내용
1	회기 목표 달성도	회기에서 계획된 학습목표가 실현되었는가
2	강사의 전달력	설명 방식이 고령자 눈높이에 맞게 조절되었는가
3	참여자의 집중도	참여자가 수업에 집중하고 적극적으로 참여했는가
4	실습의 적절성	실습 시간이 충분하고 실질적인 연습이 이루어졌는가
5	기자재의 원활성	스마트폰·앱·기기의 사용이 원활하게 진행되었는가
6	문제 상황 대응력	오류·지연 등 상황 발생 시 적절한 대응이 이루어졌는가
7	개별 지원 실행	학습 속도 차이 있는 참여자에게 개별 대응이 이루어졌는가
8	시간 운영의 효율성	회기 내 시간 배분이 적절하고 지연 없이 운영되었는가
9	참여자의 정서적 반응	참여자가 수업을 즐기고 정서적으로 안정되어 있었는가
10	보조 인력의 역할 수행	보조자가 적절히 배치되고 참여자를 효과적으로 지원하였는가
11	회기 간 연계성	이전 회기와 연결된 내용이 자연스럽게 이어졌는가
12	개선사항 반영 여부	전 회기에서 도출된 개선점이 실제로 반영되었는가

5. 평가 운영 및 개선 순환 구조

- 회기 직후 평가지 작성: 운영 담당자들이 회기 종료 후 5~10분간 공동 작성

- 주간 간담회 또는 팀 회의 활용: 누적된 문제점 논의 및 개선안 도출

- 개선사항 매뉴얼화: 반복되는 오류·성공요인 정리 → 다음 기수 운영에 반영

- 성과보고서와 통합: 종결 시 CQI 개선 추적기록을 최종 평가보고서에 포함

 

6. 기대 효과

- 현장 중심의 실질적 문제 해결

- 즉각적인 회기별 개선 실행 가능

- 참여자 반응과 과정 중심의 질적 운영 실현

- 프로그램 운영팀의 실행력과 협업 체계 강화

- 차기 프로그램 기획 시 경험 기반 데이터 확보

 

( CQI는 단순히 "잘했는가?"를 묻는 평가가 아니라, “다음에는 어떻게 더 잘할 수 있을까?”를 묻는 개선 중심의 평가이다. 「톡톡 실버 디지털교실」처럼 반복적 실습과 피드백이 중요한 프로그램에 있어 CQI 모델은 매우 적합한 운영 평가 체계라 할 수 있다. )

 

-------------------------------------------

 

📑 CQI 과정평가 결과 보고서

 

1. 평가 개요

 

- 평가 시점: 1회기~5회기 종료 후 내부 실무자 자체평가

- 평가대상: 프로그램 운영 전반(강사, 기자재, 학습환경, 참여자 반응 등)

- 평가방식: 12개 지표별 체크리스트(5점 척도) + 서술형 관찰기록

- 평가주체: 담당 부서 사회복지사 4인

 

2. 지표별 통계 분석결과

 

번호	지표명	평균	SD	Min	Max
1	회기 목표 달성도	4.6	0.52	4	5
2	강사의 전달력	4.8	0.42	4	5
3	참여자의 집중도	4.5	0.53	4	5
4	실습 진행 적절성	4.4	0.70	3	5
5	기자재 운영 안정성	4.2	0.79	3	5
6	문제 상황 대응력	4.3	0.67	3	5
7	개별 맞춤 지원	4.1	0.74	3	5
8	시간 운영의 효율성	4.3	0.67	3	5
9	참여자의 정서 반응	4.7	0.48	4	5
10	보조 인력의 개입 적절성	4.6	0.52	4	5
11	회기 간 연계성 확보	4.5	0.53	4	5
12	개선사항의 반영 여부	4.2	0.63	3	5

 

3. 평가 결과

 

✅ 우수한 점

 

1) 회기 목표 달성도(평균 4.6점)

각 회기별 학습목표가 전반적으로 달성되었으며, 기초 스마트폰 조작, 문자·사진 전송, 카카오톡 설치 등의 교육이 안정적으로 진행되었다. 담당자들은 “참여자들이 실습 내용을 스스로 복습하는 모습이 보였다”고 평가하여 교육 효과성이 입증되었다.

 

2) 강사의 전달력 및 보조 인력 협업(평균 4.8·4.6점)

강사는 고령자 눈높이에 맞춘 설명과 반복학습 제공이 탁월하였으며, 보조 인력도 참여자 옆에서 개별 지도하며 기술적 격차를 최소화하였다. 강사와 보조자의 유기적 협력으로 학습 흐름이 매끄럽게 유지된 점이 두드러졌다.

 

3) 참여자의 정서 반응(평균 4.7점)

참여자들이 긍정적이고 안정된 태도를 보였으며, 특히 가족과의 카카오톡 연결 회기에서는 정서적 감동을 경험한 사례가 나타났다. 이는 프로그램이 단순한 기술 교육을 넘어 정서적 만족과 자기효능감을 제공하고 있음을 보여준다.

 

4) 회기 간 연계성(평균 4.5점)

기초→활용→응용의 흐름이 자연스럽게 이어져 참여자들이 불안감 없이 수업에 참여할 수 있었고, 복습 시간이 규칙적으로 포함되어 학습 누적 효과가 극대화되었다.

 

⚠ 개선이 필요한 점

 

1) 개별 맞춤 지원(평균 4.1점)

인지·시력 등 신체 조건으로 학습 속도가 느린 참여자에 대한 구체적 지원 전략이 부족하였다. 보조 인력이 한정되어 1:1 지원 시간이 충분치 않았고, 일부 참여자는 반복 설명만 받는 수준에 그쳤다. 수준별 소그룹 운영, 사전 스크리닝 도입이 필요하다.

 

2) 기자재 운영 안정성(평균 4.2점)

와이파이 연결 지연, 앱 설치 실패, OS(안드로이드·아이폰) 차이 등 기자재 문제로 인한 수업 흐름 지연 사례가 있었다. 회기 전 기기 점검·OS별 교안 준비가 요구된다.

 

3) 문제 상황 대응력과 개선사항 반영(평균 4.3·4.2점)

초반 회기에서 도출된 개선사항(글씨 크기 확대, 시각자료 보완 등)이 즉시 반영되지 못한 사례가 있었다. 피드백을 실행으로 옮길 전담자 지정과 실행관리 체계 강화가 필요하다.

 

4) 시간 운영의 효율성(평균 4.3점)

질문이 많은 회기에서 예정된 활동(퀴즈, 자기점검)이 생략되거나 급히 진행되었다. 핵심내용 우선순위 조정, 실습과 질의응답 시간 구분이 필요하다.

 

4. 종합 결론 및 제안

CQI 평가 결과, 「톡톡 실버 디지털교실」은 전반적으로 우수한 운영성과(평균 4.4점 이상)를 보였다. 특히 강사–보조자의 협업, 참여자의 정서적 안정, 회기 간 연계성에서 강점이 확인되었다.

다만 기자재 안정성 확보, 개별 맞춤 지원 강화, 피드백 실행관리가 후반 회기에서 집중 개선되어야 할 과제로 나타났다. 이러한 개선점은 다음 회기에 즉시 반영될 계획이며, 이를 통해 프로그램 운영의 지속적 질 향상(CQI)을 실현하고자 한다.

* 첨부자료 : 회기별 과정기록지(PDCA 템플릿) 및 체크리스트