AI를 안전하게 사용하려면 - 4편

안녕하세요, 모두를 위한 스마트워크 신용우입니다.

지난 편 마지막에 여쭸습니다. AI가 분석한 결과는 어디까지 믿어도 될까요?

지난 시리즈에서 AI가 외로움을 찾지 못하는 이유를 온톨로지로 다뤘습니다. 통장님의 안부와 경로당 이용, 가족의 방문이 한 사람에게 어떻게 이어지는지, 그 관계가 기록에 없으면 AI도 알 수 없다는 이야기였습니다.

AI는 기록에 적힌 것만 압니다. 적히지 않은 관계와 깊은 사정은 알지 못합니다. 그런데 AI는 모르는 것을 모른다고 하지 않습니다. 그저 주어진 자료에서 최선을 다해 요약할 뿐입니다.

AI는 없는 사실도 그럴듯하게 씁니다

사례회의를 앞두고 김○○ 어르신의 지난 1년치 상담기록을 기관 계정에 넣고 요약을 시켜 봅니다. AI가 이렇게 씁니다. 경로당 이용이 줄었고 최근 가족 왕래도 끊긴 것으로 보인다.

읽어 보면 자연스럽습니다. 그런데 원문을 펼쳐보니 딸 이야기가 상반기에는 자주 나오다가 하반기에는 안 나옵니다.

그러면 왕래가 끊긴 걸까요. 기록으로는 알 수 없습니다. 정말 발길이 끊겼을 수도 있고, 딸은 계속 찾아오는데 상담에서 그 이야기가 나오지 않았을 수도 있습니다. 안부를 여쭙는 자리에서 딸 이야기가 매번 나올 이유는 없으니까요.

AI가 본 것은 딸과의 관계가 아니라 딸이라는 말이 나온 횟수입니다. 관계는 그대로인데 기록에 덜 적히면 AI 눈에는 관계가 옅어진 것으로 보입니다. 그런데도 AI는 기록에 없다고 쓰지 않았습니다. 끊긴 것으로 보인다고 썼습니다. 말투만 조심스러울 뿐 추측이죠.

AI가 글을 만드는 방식이 원래 그렇습니다. 실제 기록은 여기저기 비어 있는데 AI는 그 틈을 자연스럽게 메워서 씁니다. 사람은 확신이 없으면 주저하게 되는데 AI는 그렇지 않죠. 아는 것을 적을 때도 모르는 빈칸을 메울 때도 똑같이 유려한 문장으로 적습니다.

이 요약이 그대로 사례회의 자료가 됩니다. 그리고 사람들은 원본 대신 그 문장을 읽습니다.

검토는 요약문이 아니라 원본을 보는 일입니다

AI 요약을 읽고 맞춤법 검사를 하거나, 한국어로 자연스러운가 정도만 확인하면 그것은 검토가 아닙니다. 원문에 담긴 내용과 대조해야 합니다. 그래서 요약을 시킬 때 근거가 된 기록을 함께 적게 하고, 기록에 없으면 없다고 쓰게 해야 합니다.

이렇게 하면 사회복지사가 확인할 것이 분명해집니다. 기록에 적힌 말이 자연스러운지가 아니라 관계가 이어지는지를 봅니다. 이제는 딸의 방문이 지금도 이어지는지 당사자에게 물어볼 수 있습니다. 이어지고 있으면 고립 위험이 아닙니다. 끊겼으면 언제부터 왜 끊겼는지 확인합니다. 어느 쪽이든 물어보기 전에는 정하지 않습니다.

근거를 댈 수 없는 문장은 쓰지 않습니다. 그 문장이 한 번 기록에 남으면 나중에는 아무도 어디에서부터 잘못되었는지 알기 어렵습니다.

당사자에게 설명할 수 있어야 합니다

결정을 한 뒤에 당사자가 왜 그렇게 판단했느냐고 물으면 답할 수 있어야 합니다. AI가 그렇게 분류했다는 말은 설명이 아닙니다. 무엇을 보고 판단했는지, 무엇을 확인했고 무엇을 고쳤는지 사람이 말할 수 있어야 합니다.

「개인정보 보호법」 제37조의2는 AI가 혼자 내린 결정을 두고 당사자가 설명을 요구할 수 있도록 정합니다. 요구를 받으면 기관은 정당한 사유가 없는 한 사람이 다시 처리하거나 설명하는 조치를 해야 합니다.

원래 이 조항은 완전히 자동화된 결정에 적용됩니다. 사회복지사가 근거를 확인하고 판단했다면 여기에 해당하지 않습니다. 그런데 근거도 모른 채 AI 결과를 그대로 옮겼다면, 사실 자동화된 결정에 가깝다고 생각합니다.

감사합니다.