서울시복지재단

‘4세대 평가모델’을 말하다

: 당사자의 주체적 참여

실천 현장의 평가에 대한 고민

평가와 관련된 교육이나 자문을 하는 경우가 많아졌다. 그럴 때마다 자주 듣는 이야기들이 있어서 일단 공유해보자.

“사업에 대한 평가가 너무 실적에만 머물러 있어서 아쉬워요. 자원의 양이나 클라이언트의 숫자 중심으로 제 실천이 평가되는 그런 부분도 너무 아쉬워요.”

“실천은 매우 성공적이었지만, 그들의 삶은 변한 게 없고 문제가 해결되지 못했다. 왜 그런지 이유를 알고 싶다.”

“프로그램에 대한 평가를 학교에서 이론적으로는 배웠지만, 실제로 현장에서 수행하는 방법을 가르쳐주는 곳은 거의 없더라구요.”

“척도로 조사해보니깐 점수가 향상되긴 했는데, 진짜로 프로그램이 도움이 되었는지는 모르겠어요. 사실 자신이 없어요.”

“개인의 변화가 아니라 마을이나 지역사회가 변화되는 것에 대한 평가는 어떻게 해야 하나요?”

“질적 평가가 새롭고 좋다고 해서 교육도 받고 모임도 참여해봤지만 대체로 어렵고 시간을 투자해 시도하기에는 감당해야 할 일이 너무 많아요.”

이렇게나 많은 고민과 의문을 가진 평가이지만, 속시원하게 답을 주는 곳은 별로 없다는 게 실무자들의 공통된 이야기였다.

관리주의의 영향을 받은 평가

서비스가 매뉴얼화되고 물질적 기반 중심의 평가 기준이 지나치게 강조되는 방식으로 평가가 이루어지고 있어 그 기준을 벗어나면 클라이언트 당사자에게 도움이 되지 않고 무책임한 실천으로 판단되기 일쑤다. 실천가의 창의적인 접근과 상상력을 기반으로 하는 실험적인 시도들이 더욱 위축될 수밖에 없는 현실이다. 이미 언급한 적이 있는 복지 현장의 신자유주의적 관리주의는 대상자 수 부풀리기, 서비스 제공 계획 부풀리기, 사례회의 횟수 부풀리기, 서비스 연계 횟수 부풀리기 등의 부작용과 폐해를 가져오기도 한다. 관리주의가 부여하는 지침, 규정, 매뉴얼, 평가지표 등은 평가를 수행하는 전문가의 전문적 견해나 자율적이고 참여적인 평가 수행에 큰 제한을 가하게 되었다.

1세대 평가모델은 측정(measurement) 중심의 평가를 의미하며, 주로 표준화된 척도를 활용한 평가이다. 2세대 평가모델은 클라이언트 개인에 대한 측정부터 프로그램 전체 과정을 개선하기 위한 평가이다. 3세대 평가모델은 프로그램 평가 대상에 대한 보다 체계적이고 전문적인 기술과 판단을 강조하는 평가이다. 1세대부터 3세대까지의 평가모델은 전통적인 평가모델이라고 할 수 있고 주로 관리주의의 전통과 맞물려 있다.

관리주의의 극복 : 당사자의 주체적 참여를 강조한 4세대 평가모델

4세대 평가모델은 기존의 논리실증주의에 입각한 전통적인 평가모델들을 대체할만한 새로운 평가모델로 프로그램 참여 당사자의 주체적 참여가 강조된 평가모델이다.

1세대부터 3세대까지의 평가모델은 주로 평가 의뢰자와 후원자를 포함한 관리자 중심의 평가를 의미하기에 평가자는 매우 불리한 입장에서 평가를 수행할 수밖에 없다. 이런 전통적인 평가모델의 단점은 목표가 이미 정해져 있고 어떤 평가방법을 할 것인지 미리 정해져 있어서 평가에서 다양한 이해관계자의 의견을 고려하는 다원주의적 입장이 고려되지 못하여 유연한 평가가 이루어지지 못하였다. 특히 클라이언트 당사자의 생각이나 의견을 좀 더 심층적으로 다루지 못함으로써 지나친 공급자 중심의, 관리자 중심의 평가로 흘러갔다.

바로 이러한 단점을 극복하기 위해서 나온 평가모델이 바로 4세대 평가모델이다. 반응적 구성주의 평가모델이라고도 한다. 너무 어려운 표현인데, 쉽게 풀어보면 클라이언트 당사자로부터 어떤 도움이 되었는지 심층적인 피드백을 구한 후에 해석해 일종의 변화 스토리를 구성해내는 평가를 의미한다. 따라서 4세대 평가모델은 주로 질적 평가를 통해 평가를 수행하게 된다. 클라이언트 당사자가 느끼는 주관적인 경험과 행동이 사업의 성과를 판단하는데 매우 중요한 증거자료가 된다는 의미이다. 4세대 평가모델에서 평가자로서 실천가와 클라이언트 당사자의 신뢰 관계는 매우 중요하다. 자신이 느낀 것에 대해 가감 없이 솔직하게 이야기로 표현하고 인위적인 행동이 아니라 자연스러운 행동이나 태도를 직접 관찰하면서 과거와 다른 변화를 파악해낼 수 있는 인본주의적 평가모델이다.

 최근 정부의 평가제도에서도 그렇고, 현장의 프로그램 평가에서도 질적 평가가 중요해지는 이유는 시설을 이용하는 이용자나 주민의 권리를 강조하는 큰 흐름과 맥을 같이 하는 것이다. 이용자나 주민의 인권을 강조하는 인본주의적 평가 패러다임 전환과 맞물려 있다. 질적 평가는 복지 현장에 가장 적합한 평가방법이기도 하고, 한편으로 실천가와 이용자의 상호작용과 협력이 매우 중요한 평가방법이기도 하다.