동료평가가 팀웍을 깰 수도 있다
지난 수년간 미국에 있는 모대학의 박사과정을 따라가느라 참 많은 고생을 했습니다. 그리고 돈도 많이 들었습니다. 투자한 시간과 돈이 어떤 대가로 돌아올지 아직은 모르겠습니다. 어쩌면 ROI는 전혀 없는 자기만족에 그치고 말수도 있겠지요. 그래서 한 가지 아이디어를 내어 보았습니다. 미국내 문헌자료를 마음껏 이용할 수 있는 특권을 활용해 보자는 것입니다. 이름 하여, [논문의 재발견]입니다. 우선은 제가 잘 아는 조직행동과 관련된 것들만 다루어 보겠습니다. 학구적 열의를 가지신 분들이 대상이며, 그들에게 이론적 백그라운드를 제공하는 것이 본 코너의 목적입니다. 오늘은 동료평가가 팀웍을 깰 수도 있다(Multi-round peer evaluation may result in counter-productive team dynamics)는 내용에 대해 쓴 논문을 한번 다루어 보도록 하겠습니다.
들어가면서…
나는 일본계 HR컨설팅사의 대표를 12년을 했다. 우리가 제공하는 상품들 중에 초창기 불티나게 팔렸다가, 시간이 가면서 사람들로부터 외면을 받은 상품이 하나 있다. ‘다면평가: 360-Survey’ 툴이다. 보통 1년에 한번씩 서베이를 하고 결과물을 고객사에 납품을 했는데, 결과물이 넘어갈 때면 항상 대혼란이 일어났다. 보고서를 접한 사람들이 평가결과에 충격을 받고 자취를 감주거나, 스스로를 자해하거나, 심지어는 평가자들에게 앙심을 품고 보복을 하는 사람들이 생겨났기 때문이다. 결국 우리는 피해자 방지차원에서 다면평가의 판매를 금지하기로 했다. 그리고 이 논문을 만났다. 이 논문을 읽으면서 오래전에 경험했던 시행착오가 주마등처럼 스치고 지나갔다. 혹시나 다면평가를 시작하거나 재검토하고자 하는 기업이 있다면 필독하면 좋겠다.
오늘의 논문
지난 10년 동안 관리자들은 협력적 팀프로세스를 만들기 위해 많은 노력을 해왔다. 이러한 노력은 크게 2개의 프레임워크를 가지고 있는데, 프로세스 의존성(작업이 순환되고 리소스가 공유되며 집합적인 작업으로 수행)과 결과 의존성(소프트웨어 개발과 같이 구성원이 공동목표를 향해서 서로 다른 작업을 수행)의 프레임워크로 나누어진다. 프로세스 의존성이 되었던 결과 의존성이 되었던 원활한 작업수행을 위해 필수불가결한 도구로 이용되는 것이 동료평가라는 평가도구이다.
우리는 지금까지 동료평가가 팀구성원들이 동료들과 협력하거나 집단목표에 기여하게 만드는 데 큰 효과를 발휘한다고 들어왔다. 그리고 동료평가를 통해 팀구성원 간의 커뮤니케이션도 상당히 증가하는 것으로 알고 있다. 또한 동료평가는 협력이나 관계개선을 증가하게 만들어 성과로 이어지게 만든다고 들어왔다. 그러나 반대로 동료평가는 팀이나 구성원들에게 상당히 피해를 끼치는 필요악의 툴이라는 인식도 동시에 가지고 있다.
조직에 미치는 동료평가의 이런 큰 영향력에도 불구하고 동료평가에 다룬 연구는 거의 없다. 동료평가가 팀실적에 미친 영향이나 어떤 효과를 발휘했는지에 대한 연구도 거의 없다. 동료평가에 대한 연구는 대부분이 피드백 후의 작업수행이나 구성원의 태도, 인식 등의 개인분석수준에 머물러 있다. 심지어 그룹이나 팀이 낸 결과에 대해 동료평가가 미치는 영향을 다룬 연구는 오히려 혼란을 불러 일으키는 경우도 많다.
동료평가의 효과성은 동료들 사이에서 자신을 차별화하려는 의지에 달려있다. 하지만 대부분의 사람들은 팀분위기나 팀원과의 관계에 해를 끼칠 것이라는 두려움 때문에 차별적 행동을 보이는 것을 주저한다. 때문에 동료평가는 팀내 협력관계 구축이나 팀만족도 등에 영향을 미치는 평가자의 평가마인드에 왜곡된 생각을 심어 주기도 한다. 이런 이유로 사람들은 동료평가가 조직내의 사기진작에 부정적인 영향을 미칠 수 있다고 지적한다.
나는 여기서 동료평가가 시간이 지나면서 팀프로세스에 미칠 수도 있는 다양한 영향에 대해 설명하고자 한다. 나는 특히 평가자 왜곡현상에 초점을 맞추어 사회적 딜레마의 관점에서 동료평가를 조명해 보려고 한다. 여기서 말하는 사회적 딜레마는, 최종결과에 대해 책임을 공유하는 사람들 사이의 분쟁으로 생겨나는 사회적 모순현상을 말한다.
우리는 무임승차와 같은 기회주의적 행동으로는 공동의 목적을 달성할 수 없다는 사실을 잘 알고 있다. 또한 우리는 이런 기회주의적 행동을 통해 우리들의 소득을 극대화시킬 수 있다는 사실도 동시에 알고 있다. 전체의 합을 달성해야 하는 조직생활에서, 사람들은 다른 사람에게 의존할수록 자신의 보수도 늘어날 것이라는 생각을 가지고 있기 때문이다. 사회적 딜레마는 구성원들이 업무공유와 같은 집단적 합리성을 취할 것인지, 무임승차와 같은 개별적 합리성을 취할 것인지를 선택하도록 강요한다. 또한, 사회적 딜레마는 동료평가자가 집단의 이익을 위해 사심없는 평가를 해야 할 지, 아니면 자신의 이익을 위해 왜곡된 평가를 해야 할 지를 결정해야 하는 상황에서 더욱 더 증폭된다.
사회적 딜레마가 이렇게 팀프로세스에 미치는 영향을 고려할 때, 동료평가는 구성원들이 무임승차를 하지 못하게 끔 설계가 되어야 한다. 예를 들면, 인센티브 구조를 팀공헌에 대한 비율로 바꾸는 등의 방식으로 팀의 역동성을 강화해야 한다. 그러나 나는 적어도 특정 조건하에서는 이런 방식들이 역효과를 낳는다는 사실을 발견했다. 팀프로세스에 미치는 동료평가의 긍정적 효과는 동료평가시스템을 바라보는 멤버들의 인식에 달려있음을 여러 번의 실험을 통해 알게 되었다. 팀분위기는 시스템의 구성요소와 함께 동료평가의 목적, 구성원들의 사심에 따라 지배를 받는 다는 사실을 발견했다.
나는 여기서 두가지 방법을 통해 동료평가에 대한 연구에 기여하고자 한다. 첫째, 동료평가는 팀프로세스를 해치고 팀성과를 약화시킬 수도 있다는 비판에 대한 반대이론의 제공이다. 동료평가는 평가가 갖는 효과성에 상관없이 구성원들로부터 평가에 대한 공감을 얻을 수 있다는 점에서 실질적인 가치가 있다. 둘째, 동료평가는 과정중심의 분석방식을 채택함으로써 ‘이벤트’에 초점을 맞춘 동적 프레임워크를 제공하고있다는 점이다. 이는 역동적 조직구조형성에 큰 도움이 된다.
[1] 가정
이 모델의 기초에는 여러가지 가정이 있다.
첫째, 최근의 팀효율성에 대한 연구는 작업공유, 지식공유, 협력적 프로세스가 팀효율성에 매우 중요한 영향을 미치는 것으로 나타났다. 여기서 협력적 팀프로세스는 다음과 같은 역할을 한다고 가정한다. 조직은 팀과 관련한 결과를 평가하는 기본기준이다. 때문에 동료평가시스템이 평가를 위해 배치된다는 것은 매우 합리적이며, 구성원의 행동은 효과적인 업무수행에 매우 중요하다는 가정이다.
둘째, 동료평가는 평가자가 자신을 동료에 대한 직접적인 경쟁관계에 있다고 생각할 수도 있다는 점에서 다면평가와는 큰 차이가 있다. 왜냐하면 피평가자의 상사나 부하는 부정적인 평가를 제공하는 데 있어서 어떤 대가를 치러야 할지도 모르기 때문이다. 만일 평가자가 비슷한 위치의 동료인 경우는 긍정적 평가를 제공하는데 있어서 제로섬 게임에 근거한 금전적 비용이 발생할 수도 있다. 이 말은 상대방이 좋은 고과점수를 얻을 경우 나의 인센티브가 줄어들 수도 있다는 것을 의미한다.
동료평가에서 의도적 관대함이나 의도적 가혹함의 가능성이 있다는 전제하에 다음 사항에도 집중하고자 한다. 동료평가의 결과를 결정하는 데 중요한 역할은, 평가에 대한 의도적 편견이 팀에 만연해 있다는 집단의식의 공유이다. 따라서 나의 가설은 다음을 중심으로 구성되어 있다. 첫째, 동료평가의 사회적 딜레마는 암묵적으로 존재한다. 둘째, 개인단위의 평가행동은 팀전체에 영향을 미치며, 그것은 동료를 평가하는 행동에도 영향을 미친다는 가정이다.
[2] 동료평가와 팀프로세스
동료평가가 팀구성원에게 어떤 영향을 미치는지에 상관없이 동료평가는 팀의 역동성을 상당부분 강화시켜 줄 것으로 기대가 된다. 그 이유는 (1)동료들이 서로에게 제공할 수 있는 유니크한 정보와 (2)팀멤버로 하여금 자신의 능력을 점검하게 만드는 두가지 이유 때문이다.
동료평가의 주요 이점은 고품질의 보완적인 평가를 제공한다는 것에 있다. 동료평가는 상사평가에 비해 피드백의 퀄리티나 평가입력의 정확도에 있어서도 훨씬 수용성이 높다. 상사는 자신이 좋아하거나 싫어하는 부하를 제외한 다른 멤버들에 대한 관심이 부족하다. 때문에 정확하고 일관된 관찰을 하지 못하는 경향이 있다. 그러나 동료들은 서로 간에 스스럼없이 상대를 대하기 때문에 훨씬 많은 관찰의 시간을 갖을 수가 있다.
동료평가는 무임승차하고 있는 멤버를 적발하거나, 그들이 제재를 받게 만들 확률을 높일 수 있다. 조직내 구성원들이 동료들로부터 지속적으로 모니터링되고 있음을 인식하는 것은 무임승차로 보일 수 있는 행동을 막는데 큰 효과가 있다. 또한 무임승차 동료를 응징할 수 있는 파워는, 팀원들로 하여금 스스로가 ‘잉여인간’라는 인식이 들 때 조차도 무임승차를 주저하게 만든다. 이런 의미에서 동료평가는 팀분위기에 악영향을 미치는 잠재적 행동을 사전에 차단하는 유용한 수단으로도 활용되고 있다. 이는 구성원들로 하여금 사회적 태만으로 발생하는 비용대비 혜택에 대한 인식을 바꾸게 만드는 효과를 낳는다.
팀작업에 있어서 동료평가는, 다음의 결과로 이어져야 한다 (Fig 1). 첫째, 동료들이 누군가를 ‘잉여인간’이라고 평가한다면, 그 ‘잉여인간’에 대한 인센티브는 감소되어야 한다. 이는 상사평가를 기반으로 평가되는 팀보다도 구성원들의 상호평가에 의해 성과가 측정되는 팀이 전체적으로 업무공유의 수준이 높아지게 만드는 효과를 낳는다.
둘째, 동료들이 협력에 대해 보상하고 협력부족을 처벌할 수 있는 능력이 있다는 것을 팀원들이 알아야 한다. 그래야 자신이 습득한 지식을 공유하고 자율적 규범을 개발하려는 마음이 생긴다. 또한 그들은 과도한 도움을 구하는 것은 부정적인 동료평가를 초래할 수도 있음을 인식해야 한다. 그래야지 스스로의 힘으로 문제해결능력을 키워갈 것이다. 반면에, 기존방식으로 평가되는 팀에서는 사람들이 다른 사람들에게 자신의 지식을 제공하거나 원천적 기술을 전달하는 것을 주저할 것이다.
전체적으로 볼 때, 위의 논의는 동료평가가 최소한 초기에 구현되었을 때 팀협력이나 팀프로세스와 관련하여 대체로 유익한 영향을 미친다는 사실이다. 실제로 동료평가의 결과를 보여주는 많은 자료들이 이를 입증하고 있다. 그러나 서론에서 언급했듯이 동료평가가 협력적 팀프로세스에서 긍정적 효과를 만들지 못할 수도 있음을 알아야 한다. 구성원들의 평가에 대해 느끼는 왜곡현상으로 인해 여전히 협력적 팀프로세스에 부정적인 인식이 존재하고 있음을 발견했기 때문이다.
[3] 시스템 구성, 왜곡된 동료평가와 팀웍
나는 동료평가시스템의 구성에 대한 인식이 팀원들로 하여금 서로에 대한 평가를 의도적으로 낮추게 만드는 왜곡현상의 원인이 된다는 사실을 발견했다. 동료를 평가함에 있어서 왜곡된 분위기(APRD: Ambient Peer Rating Distortion)가 발생하여 사람들은 상대방을 낮게 평가하는 경향을 갖게 된 것이다. 이런 상황에서는 두가지 결과가 예상이 된다. 첫번째는 동료평가가 이어질수록 의도적 왜곡현상이 증가하며, 두번째는 협력적 팀프로세스의 긍정적인 것들이 통제되는 상황이 일어난다는 것이다.
3.1. 인센티브구조와 의도적 왜곡
지금까지 성과평가에 대한 대부분의 연구는 심리적인 측면에 초점이 맞춰져 왔다. 평가에 대한 편향성과 부정확성이 심각한 왜곡현상을 만들어 냈는데, 이런 왜곡은 거의 비의도적이라는 것이다. 그러나 나는 의도적 평가왜곡이 훨씬 더 만연해 있다고 생각한다. 연구에 따르면 70% 이상의 관리자가 부하직원에게 실제보다 고평가를 주거나 저평가를 주었다고 했는데, 이는 그 부하를 보호하거나 그 부하에 대해 충격을 주기 위해서였다고 한다. 왜 이런 왜곡현상이 일어나는 것일까? 나는 여기서 평가목적, 평가책임, 평가규칙이라는 3가지 관점에서 동료평가를 조명해 보고자 한다. 이것들이 동료평가자에 대한 의도적인 왜곡현상을 조장하고 있기 때문이다.
3.2. 평가목적과 의도적 왜곡
평가목적에 대한 팀구성원의 인식문제는 중요한다. 경영진의 의도(예: 역량개발의 목적으로만 사용)와 상관없이, 직원들은 평가결과에 대해 다음과 같이 인식할 수 있다. 동료평가의 결과는 보상이나 미래의 인력배치로 연결되기 때문에 그들은 평가가 제로섬 게임의 기반이 된다고 생각한다. 이는 많은 조직이 동료평가의 실시목적을 적절하게 전달하지 못하고 있기 때문이다. 동료평가 데이터는 비교적 일반적인 자료들이다. 이는 조직이 성과평가 정보를 어떻게 사용할 것인지 명확히 명시하더라도 직원들은 역량개발을 위해 사용되는 평가시스템의 용도를 다르게 인식하게 만드는 요인이 된다.
특히 동료평가 데이터가 팀원들에게 다음과 같이 인식될 때 평가에 대한 왜곡현상을 만드는 기초가 되거나 기초가 될 가능성이 있다. 승진이나 보너스와 같은 조직의 보상이다. 즉, 팀원들이 평가를 인지하자마자 그 결과가 그들 자신에게 어떤 이익이나 불이익을 만들어 낸다고 생각한다면, 그들은 평가시스템 자체를 인센티브구조로 인식하게 된다. 이렇게 인센티브구조로 인지가 되면 팀원들은 동료를 심각한 경쟁자로 간주하게 된다. 이는 동료에 대해 의도적인 저평가를 만드는 원인이 된다. 때문에 다음과 같은 주장이 가능해진다.
주장 1a. 평가결과가 분배나 보상과 관련된 결정에 이용될지도 모른다는 인식이 강하면 강할수록 의도적 저평가화 현상은 증가할 것이다.
3.3. 평가책임과 의도적 왜곡
익명성이 보장된 동료평가 구조에서는 사실을 축소하거나 사실보다 높게 평가하는 관대화 경향은 잘 보이지 않는다. 그러나 만일 익명성이 보장되지 않는다면, 사람들은 제재나 보복과 같은 평가에 대한 대가를 치러야 한다고 생각할 것이다. 이렇게 되면 정직하고 솔직한 평가를 주저하게 된다. 사람들은 그들이 평가에 대해 어떤 불이익을 받지 않는다는 느낌이 들어야지 부정적인 의견들도 내 놓을 수가 있기 때문이다. 따라서 평가자로서의 책임의식을 유지케 하기 위해서는 회사나 피평가자가 갖는 권한의 일부분을 제한해야 한다. 이를 통해 평가의 익명성을 보장하는 것이다. 익명성 평가시스템은 평가자로 하여금 미래에 당할 수도 있는 잠재적 대가를 불식시켜서 축소 관대화 경향을 낮추게 하는 효과가 있다.
평가자의 책임감은 전반적으로 긍정적인 영향을 미치게 된다. 평가의 정확성을 올릴 수 있기 때문이다. 책임감이 올라가면서 평가자는 평가결정에 더 많은 고려를 할 것으로 기대가 된다. 실제로 책임감 있는 동료평가자는 익명의 조건에서 다른 동료평가자들 보다 평가를 내리는 데 있어서 훨씬 더 오랜 시간을 투자했다. 평가자의 익명성은 평가 정확도를 올리고 평가자가 우려하는 잠재적 대가를 줄이게 할 뿐만 아니라 엄격화나 관대화 경향도 약화시킨다. 피평가자가 평가자에게 책임을 묻는 것이 불가능한 구조이기 때문이다.
사람들은 동료들보부터 받을 수도 있는 의도적 왜곡으로부터 스스로를 보호하기 위하여 자신들도 의도적으로 동료들을 엄격하게 평가하는 경향이 있다. 평가에 대한 책임의식이 줄어든다는 것은 결과적으로 인센티브 금액의 상승을 몰고 올 수도 있다. 이처럼 평가자가 방어적 자세를 취하게 되며, 이는 타인에 대해 왜곡된 평가를 내리게 만드는 원인이 된다. 때문에 다음과 같은 주장이 가능해진다.
주장 1b. 동료평가에 임하는 평가자의 책임의식이 강하면 강할수록 평가에 대한 의도적 저평가화 현상은 줄어들 것이다.
3.4. 평가주기와 의도적 왜곡
사회적 딜레마의 관점에서 볼 때, 사람들은 연속적이고 규칙적인 환경에서 더 높은 안정감을 느낀다. 평가자의 입장에서 본다면, 규칙적이고 정기적인 동료평가는 상대방이 나에 대한 보복이나 불이익을 겁내게 만드는 원인이 된다고 생각한다. 반면, 동료평가가 일회성이거나 불규칙한 평가프로그램의 하나라고 인식되면 동료평가를 일회성 이벤트로 여기게 된다. 사람들은 신중한 평가자세를 취하지 않을 뿐만 아니라 피평가자의 위치를 고려하게 된다. 이는 평가자들로 하여금 평가에 있어서 방어적 자세를 취하게 만드는 요인이 된다. 현재의 환경에 눈치를 보면서 상황에 적응하는 평가자가 되는 것이다. 이유가 무엇이든 평가가 불규칙적이라는 인식은 사람들로 하여금 의도적 왜곡을 불러 일으킬 것이다. 때문에 다음과 같은 주장이 가능해진다.
주장 1c. 동료평가가 정기적으로 시행될 것이라는 멤버들의 인식이 강하면 강할수록 의도적 저평가화 현상은 줄어들 것이다.
3.5. 동료들에 대한 평가의 왜곡현상(APRD: Ambient Peer Rating Distortion)
APRD에는 다음과 같은 전제가 깔고 있다. “우리 팀 사람들은 다른 사람을 의도적으로 왜곡되게 평가한다. 뿐만 아니라 평가왜곡과 유사한 것들이 팀원들 사이에서 일어나고 있다는 사실을 모두가 알고 있다.” 동료평가자들의 지속적인 저평가화 현상이 일어날 경우, 비밀을 유지하기가 쉽지가 않다. 그리고 사람들은 자신의 업무성과에 대해 타인하고는 완전히 다른 관점을 가지고 있다. 우리는 연구에서 동료평가와 본인평가 사이에 0.36의 평가치이를 발견했다. 의견불일치는 대게 사람들이 타인과 비교하여 자신의 공헌을 과대평가하는 경향에서 기인한다. 그래서 피드백을 받는 사람은 피드백이 기대보다 네거티브하다고 생각하는 것이다.
피평가자는 동료들의 저평가화에 심한 정신적 영향을 받는다. 이건 동료들이 어느 정도의 저평가를 내리는지 와는 상관이 없다. 동료평가의 결과를 마주할 때, 그것이 정확하든 정확하지 않든 피평가자는 자기평가에서 네거티브 회피현상을 보일 가능성이 높다. 그리고 상대적 평가점수를 높이기 위해 동료들이 만드는 의도적 평가를 비난할 것이다. 이런 의도적 왜곡현상은 자기평가와 상사평가 사이의 평가의 갭이 평균보다 큰 팀에서 일반적으로 많이 일어난다. 의도적 왜곡현상의 확산은 팀원들로 하여금 사실관계에 대해 의도적으로 회피하게 끔 유도하며, 이런 회피들로 인해 그들의 동료들은 의도적 왜곡을 만들어 내는 것이다. 때문에 다음과 같은 주장이 가능해진다.
주장 2. 의도적 저평가화 현상이 증가하면 할수록 APRD의 수준도 올라갈 것이다.
3.6. 연속적인 동료평가에 대한 APRD의 자기강화효과
주변의 자극은 팀환경에 상당한 영향을 미친다. 평가절차에 대한 불공정성은 개인과 팀에 성과의 하락은 물론이고 보복에 대한 암시를 던질 수 있다. 애매한 자극은 바람직한 행동과 바람직하지 않는 행동에 대해 멤버들이 느끼는 개인적인 가정에 영향을 미침으로써 효과를 낼 수도 있을 것이다. 특히, 어떤 행동이 어떤 결과로 일어질 지에 대한 신호를 제공함으로써 그들은 팀멤버로 하여금 이들 자극과 관련된 결과물을 수용하거나 피하게 하는 행동이 일어나게 끔 유도한다.
그런 점에서 동료평가는 의도적인 왜곡을 더욱 더 굳히게 만드는 자기강화의 수단이 되기도 한다. 어느정도 의도적인 동료평가의 왜곡은 부정적인 동료평가에 대한 정당하고 방어적인 반응으로 볼 수 있다. 의도적 왜곡현상은 평가초기에는 제한적일 수도 있다. 그러나 시간이 가면서 그들 자신을 동료들의 경쟁적 평가경향으로부터 보호하기 위해 스스로를 방어적 자세나 행동이 일어나게 끔 자극한다. APRD는 의도적 저평가화 경향을 정당화시킬 수 있다. 타인으로부터 기대보다 낮은 점수를 받은 멤버는 본인도 타인에 대해 똑 같이 낮은 점수를 주는 경향을 보이기 때문이다. 동료평가에 대한 의도적 왜곡은 동료평가의 부정적 여론에 합법적이며 방어적 자세로 보여 질 수 있으며, 특정 동료에 의한 의도적 저평가 편향으로 인식될 수도 있다. 평가가 의도적으로 정확하지 않게 이루어지는 상황에서는, 이런 의도적 왜곡은 타인에 대한 자신의 포지션을 보호하기 위한 유일한 안정장치가 될 수도 있다. 때문에 다음과 같은 주장이 가능해진다.
주장 3. APRD의 수준이 올라가면 올라갈수록 의도적 저평가화 현상도 증가할 것이다.
[4] 왜곡된 동료평가가 팀프로세스에 미치는 영향
우리는 연속적인 동료평가의 실험을 통해 의도적 왜곡으로 인해 생겨나는 자기강화현상을 목격했다. 이는 동료평가의 역동성이 협력적 팀프로세스를 강화시킬 수도 있음을 암시하는 것이다. Fig. 1의 도표에도 나와 있듯이 팀의 APRD는 협력적 프로세스에 직접적 영향을 미친다(억제효과의 결과, 4a). 동시에 이들 프로세스에 대한 동료평가의 영향력을 중재하기도 한다(감쇄효과의 결과, 4b). 억제효과가 일어나는 직접적인 이유에 대해서는 다음 2가지 관점에서 생각해 볼 필요가 있다.
첫째, 사회적 딜레마의 관점이다. APRD수준이 높은 경우에는 팀멤버들은 협력하고자 하는 행동이 일어나지 않을 가능성이 높다. 동료평가가 협력과 행동을 올리고자 하는 의도임에도 불구하고 멤버들은 친사회적 행동들을 알아주지 않는 평가 때문에 협력적 행동을 보일 의지를 갖지 못한다. 이런 팀에서는 멤버들은 동료를 이용하거나 자신이 암적존재가 되어 인센티브를 가져갈 지도 모른다. 또한 APRD수준이 높은 팀에서의 팀원들은 자신들의 동료들에 대해 존경심을 담아 행동하는 것을 어색하게 생각할 수도 있다.
둘째, APRD의 증가로 인해 협력적 팀프로세스가 부정적 영향을 받는다는 생각이다. APRD는 팀멤버들로 하여금 그들이 받은 평가데이터를 신뢰하지 못하게 한다. 아무리 편향되지 않는 정확한 평가기준을 갖고 있어도 평가결과의 유효성에 진심이 없기 때문에 팀멤버는 동료들이 주는 평가데이터를 무시하는 것이다.
APRD수준이 높은 팀은 편향된 평가에서 상호차별이 발생한다는 전제하에 분쟁이 일어날 수도 있다. 의도적인 동료평가 왜곡은 동료들에게 친절하며 협력적 행동을 하는 팀멤버들을 조직에 해를 끼치는 존재로 둔갑시킬 수도 있다. 관계파괴는 도움주기나 지식공유 프로세스를 파괴시킨다. 분쟁에 휘말린 팀멤버들은 서로를 피하게 된다. 동료들의 협력적 행동들이 기회주의적이고 의도적이라고 의심할 때, 이전에 존재했던 협력적 행동들은 급격하게 줄어든다. 때문에 다음과 같은 주장이 가능해진다.
주장 4a. 팀내 APRD가 증가하면 할수록 업무분장 지식공유 도움주기 등의 행위는 줄어들 것이다.
직접적인 영향 외에도 APRD수준이 높은 조직은 동료평가가 갖는 긍정적인 효과를 무너뜨리는 현상이 목격되었다. 동료평가와 같은 객관적 평가도구는 초기에는 업무공유, 지식공유, 도움주기 등의 기대행동을 증가시키는 효과를 발휘했다. 그러나 동료평가가 오랜시간 이어지면서 팀내에는 저평가 왜곡현상이 생기게 되고, 이로 인해 위에 열거한 순기능들이 희석되어 버리는 것을 목격했다. 이런 상황에서 팀원들은 자신들의 협력적 행동으로 인해 얻을 것도 없고, 비협력행동을 한다고 해서 잃을 것도 없다는 생각을 갖게 된다. 편향된 평가자에 의해 협력관계에 대한 사기가 떨어진다면, 동료평가는 동기부여로 이어질 수가 없으며 협력강화의 이점도 만들어 낼 수가 없다. 때문에 다음과 같은 주장이 가능해진다.
주장 4b. APRD가 증가하면서 동료평가와 상호협력 프로세스의 긍정적 관계가 줄어드는 것처럼, 팀내 APRD는 동료평가와 팀내 상호협력 프로세스의 관계를 매개할 것이다.
[5] 결론
위에서 제시한 동료평가의 환경적 구성요소에 인지모델(평가목적, 평가책임, 평가인지)은 동료평가와 관련한 연구에서는 상당히 유니크한 내용이다. 잠재적 한계에도 불구하고 이 모델은 동료평가의 효과성을 증명하는 최초의 시도라고 말하고 싶다. 동료평가에 있어서 설명하기 힘든 변수가 나타날 수도 있을 것이다. 그러나 동료평가를 둘러싼 환경적 구성요소는 동료평가의 APRD 증가수준과 내부 구성원들의 협력관계 구축을 결정하는 결정적 요소임에는 변함이 없을 것이다. 이는 또한 ‘동료평가가 팀웍을 깰 수도 있다’는 주장에 대한 반론에도 충분한 이론적 근거가 될 것이다.
나가면서…
나는 동료평가 옹호론자다. 조직을 운영하면서 동료평가를 통해 우리 조직은 큰 성장을 이루었기 때문이다. 우리는 동료평가를 통해 무임승차하는 멤버들이 누구인지를 알게 되었고, 그들로 하여금 스스로 조직을 떠나게 하는 효과도 거두었다. 또한 동료평가는 우리로 하여금 자율조직에 한 걸음 더 다가가게 만든 계기는 되었다고 생각한다. 사람들의 자율적 판단으로 Plan-Do-See의 사이클을 돌리게 끔 하는데 있어서 동료평가제도가 큰 도움이 되었기 때문이다. 그 이유에 대해서는 이 말 한마디로 대신하고자 한다. “이제 더 이상 상사를 무서워하는 직원은 없다. 같이 일하는 동료들의 눈을 무서워하는 직원들만 있을 뿐이다.”
[7월] 교육 세미나안내
6/27- 62회 토킹북 (가장 현실적인 재테크는 창업이다)
7/13- 조직진단과정 1기
동료평가가 팀웍을 깰 수도 있다
지난 수년간 미국에 있는 모대학의 박사과정을 따라가느라 참 많은 고생을 했습니다. 그리고 돈도 많이 들었습니다. 투자한 시간과 돈이 어떤 대가로 돌아올지 아직은 모르겠습니다. 어쩌면 ROI는 전혀 없는 자기만족에 그치고 말수도 있겠지요. 그래서 한 가지 아이디어를 내어 보았습니다. 미국내 문헌자료를 마음껏 이용할 수 있는 특권을 활용해 보자는 것입니다. 이름 하여, [논문의 재발견]입니다. 우선은 제가 잘 아는 조직행동과 관련된 것들만 다루어 보겠습니다. 학구적 열의를 가지신 분들이 대상이며, 그들에게 이론적 백그라운드를 제공하는 것이 본 코너의 목적입니다. 오늘은 동료평가가 팀웍을 깰 수도 있다(Multi-round peer evaluation may result in counter-productive team dynamics)는 내용에 대해 쓴 논문을 한번 다루어 보도록 하겠습니다.
들어가면서…
나는 일본계 HR컨설팅사의 대표를 12년을 했다. 우리가 제공하는 상품들 중에 초창기 불티나게 팔렸다가, 시간이 가면서 사람들로부터 외면을 받은 상품이 하나 있다. ‘다면평가: 360-Survey’ 툴이다. 보통 1년에 한번씩 서베이를 하고 결과물을 고객사에 납품을 했는데, 결과물이 넘어갈 때면 항상 대혼란이 일어났다. 보고서를 접한 사람들이 평가결과에 충격을 받고 자취를 감주거나, 스스로를 자해하거나, 심지어는 평가자들에게 앙심을 품고 보복을 하는 사람들이 생겨났기 때문이다. 결국 우리는 피해자 방지차원에서 다면평가의 판매를 금지하기로 했다. 그리고 이 논문을 만났다. 이 논문을 읽으면서 오래전에 경험했던 시행착오가 주마등처럼 스치고 지나갔다. 혹시나 다면평가를 시작하거나 재검토하고자 하는 기업이 있다면 필독하면 좋겠다.
오늘의 논문
지난 10년 동안 관리자들은 협력적 팀프로세스를 만들기 위해 많은 노력을 해왔다. 이러한 노력은 크게 2개의 프레임워크를 가지고 있는데, 프로세스 의존성(작업이 순환되고 리소스가 공유되며 집합적인 작업으로 수행)과 결과 의존성(소프트웨어 개발과 같이 구성원이 공동목표를 향해서 서로 다른 작업을 수행)의 프레임워크로 나누어진다. 프로세스 의존성이 되었던 결과 의존성이 되었던 원활한 작업수행을 위해 필수불가결한 도구로 이용되는 것이 동료평가라는 평가도구이다.
우리는 지금까지 동료평가가 팀구성원들이 동료들과 협력하거나 집단목표에 기여하게 만드는 데 큰 효과를 발휘한다고 들어왔다. 그리고 동료평가를 통해 팀구성원 간의 커뮤니케이션도 상당히 증가하는 것으로 알고 있다. 또한 동료평가는 협력이나 관계개선을 증가하게 만들어 성과로 이어지게 만든다고 들어왔다. 그러나 반대로 동료평가는 팀이나 구성원들에게 상당히 피해를 끼치는 필요악의 툴이라는 인식도 동시에 가지고 있다.
조직에 미치는 동료평가의 이런 큰 영향력에도 불구하고 동료평가에 다룬 연구는 거의 없다. 동료평가가 팀실적에 미친 영향이나 어떤 효과를 발휘했는지에 대한 연구도 거의 없다. 동료평가에 대한 연구는 대부분이 피드백 후의 작업수행이나 구성원의 태도, 인식 등의 개인분석수준에 머물러 있다. 심지어 그룹이나 팀이 낸 결과에 대해 동료평가가 미치는 영향을 다룬 연구는 오히려 혼란을 불러 일으키는 경우도 많다.
동료평가의 효과성은 동료들 사이에서 자신을 차별화하려는 의지에 달려있다. 하지만 대부분의 사람들은 팀분위기나 팀원과의 관계에 해를 끼칠 것이라는 두려움 때문에 차별적 행동을 보이는 것을 주저한다. 때문에 동료평가는 팀내 협력관계 구축이나 팀만족도 등에 영향을 미치는 평가자의 평가마인드에 왜곡된 생각을 심어 주기도 한다. 이런 이유로 사람들은 동료평가가 조직내의 사기진작에 부정적인 영향을 미칠 수 있다고 지적한다.
나는 여기서 동료평가가 시간이 지나면서 팀프로세스에 미칠 수도 있는 다양한 영향에 대해 설명하고자 한다. 나는 특히 평가자 왜곡현상에 초점을 맞추어 사회적 딜레마의 관점에서 동료평가를 조명해 보려고 한다. 여기서 말하는 사회적 딜레마는, 최종결과에 대해 책임을 공유하는 사람들 사이의 분쟁으로 생겨나는 사회적 모순현상을 말한다.
우리는 무임승차와 같은 기회주의적 행동으로는 공동의 목적을 달성할 수 없다는 사실을 잘 알고 있다. 또한 우리는 이런 기회주의적 행동을 통해 우리들의 소득을 극대화시킬 수 있다는 사실도 동시에 알고 있다. 전체의 합을 달성해야 하는 조직생활에서, 사람들은 다른 사람에게 의존할수록 자신의 보수도 늘어날 것이라는 생각을 가지고 있기 때문이다. 사회적 딜레마는 구성원들이 업무공유와 같은 집단적 합리성을 취할 것인지, 무임승차와 같은 개별적 합리성을 취할 것인지를 선택하도록 강요한다. 또한, 사회적 딜레마는 동료평가자가 집단의 이익을 위해 사심없는 평가를 해야 할 지, 아니면 자신의 이익을 위해 왜곡된 평가를 해야 할 지를 결정해야 하는 상황에서 더욱 더 증폭된다.
사회적 딜레마가 이렇게 팀프로세스에 미치는 영향을 고려할 때, 동료평가는 구성원들이 무임승차를 하지 못하게 끔 설계가 되어야 한다. 예를 들면, 인센티브 구조를 팀공헌에 대한 비율로 바꾸는 등의 방식으로 팀의 역동성을 강화해야 한다. 그러나 나는 적어도 특정 조건하에서는 이런 방식들이 역효과를 낳는다는 사실을 발견했다. 팀프로세스에 미치는 동료평가의 긍정적 효과는 동료평가시스템을 바라보는 멤버들의 인식에 달려있음을 여러 번의 실험을 통해 알게 되었다. 팀분위기는 시스템의 구성요소와 함께 동료평가의 목적, 구성원들의 사심에 따라 지배를 받는 다는 사실을 발견했다.
나는 여기서 두가지 방법을 통해 동료평가에 대한 연구에 기여하고자 한다. 첫째, 동료평가는 팀프로세스를 해치고 팀성과를 약화시킬 수도 있다는 비판에 대한 반대이론의 제공이다. 동료평가는 평가가 갖는 효과성에 상관없이 구성원들로부터 평가에 대한 공감을 얻을 수 있다는 점에서 실질적인 가치가 있다. 둘째, 동료평가는 과정중심의 분석방식을 채택함으로써 ‘이벤트’에 초점을 맞춘 동적 프레임워크를 제공하고있다는 점이다. 이는 역동적 조직구조형성에 큰 도움이 된다.
[1] 가정
이 모델의 기초에는 여러가지 가정이 있다.
첫째, 최근의 팀효율성에 대한 연구는 작업공유, 지식공유, 협력적 프로세스가 팀효율성에 매우 중요한 영향을 미치는 것으로 나타났다. 여기서 협력적 팀프로세스는 다음과 같은 역할을 한다고 가정한다. 조직은 팀과 관련한 결과를 평가하는 기본기준이다. 때문에 동료평가시스템이 평가를 위해 배치된다는 것은 매우 합리적이며, 구성원의 행동은 효과적인 업무수행에 매우 중요하다는 가정이다.
둘째, 동료평가는 평가자가 자신을 동료에 대한 직접적인 경쟁관계에 있다고 생각할 수도 있다는 점에서 다면평가와는 큰 차이가 있다. 왜냐하면 피평가자의 상사나 부하는 부정적인 평가를 제공하는 데 있어서 어떤 대가를 치러야 할지도 모르기 때문이다. 만일 평가자가 비슷한 위치의 동료인 경우는 긍정적 평가를 제공하는데 있어서 제로섬 게임에 근거한 금전적 비용이 발생할 수도 있다. 이 말은 상대방이 좋은 고과점수를 얻을 경우 나의 인센티브가 줄어들 수도 있다는 것을 의미한다.
동료평가에서 의도적 관대함이나 의도적 가혹함의 가능성이 있다는 전제하에 다음 사항에도 집중하고자 한다. 동료평가의 결과를 결정하는 데 중요한 역할은, 평가에 대한 의도적 편견이 팀에 만연해 있다는 집단의식의 공유이다. 따라서 나의 가설은 다음을 중심으로 구성되어 있다. 첫째, 동료평가의 사회적 딜레마는 암묵적으로 존재한다. 둘째, 개인단위의 평가행동은 팀전체에 영향을 미치며, 그것은 동료를 평가하는 행동에도 영향을 미친다는 가정이다.
[2] 동료평가와 팀프로세스
동료평가가 팀구성원에게 어떤 영향을 미치는지에 상관없이 동료평가는 팀의 역동성을 상당부분 강화시켜 줄 것으로 기대가 된다. 그 이유는 (1)동료들이 서로에게 제공할 수 있는 유니크한 정보와 (2)팀멤버로 하여금 자신의 능력을 점검하게 만드는 두가지 이유 때문이다.
동료평가의 주요 이점은 고품질의 보완적인 평가를 제공한다는 것에 있다. 동료평가는 상사평가에 비해 피드백의 퀄리티나 평가입력의 정확도에 있어서도 훨씬 수용성이 높다. 상사는 자신이 좋아하거나 싫어하는 부하를 제외한 다른 멤버들에 대한 관심이 부족하다. 때문에 정확하고 일관된 관찰을 하지 못하는 경향이 있다. 그러나 동료들은 서로 간에 스스럼없이 상대를 대하기 때문에 훨씬 많은 관찰의 시간을 갖을 수가 있다.
동료평가는 무임승차하고 있는 멤버를 적발하거나, 그들이 제재를 받게 만들 확률을 높일 수 있다. 조직내 구성원들이 동료들로부터 지속적으로 모니터링되고 있음을 인식하는 것은 무임승차로 보일 수 있는 행동을 막는데 큰 효과가 있다. 또한 무임승차 동료를 응징할 수 있는 파워는, 팀원들로 하여금 스스로가 ‘잉여인간’라는 인식이 들 때 조차도 무임승차를 주저하게 만든다. 이런 의미에서 동료평가는 팀분위기에 악영향을 미치는 잠재적 행동을 사전에 차단하는 유용한 수단으로도 활용되고 있다. 이는 구성원들로 하여금 사회적 태만으로 발생하는 비용대비 혜택에 대한 인식을 바꾸게 만드는 효과를 낳는다.
팀작업에 있어서 동료평가는, 다음의 결과로 이어져야 한다 (Fig 1). 첫째, 동료들이 누군가를 ‘잉여인간’이라고 평가한다면, 그 ‘잉여인간’에 대한 인센티브는 감소되어야 한다. 이는 상사평가를 기반으로 평가되는 팀보다도 구성원들의 상호평가에 의해 성과가 측정되는 팀이 전체적으로 업무공유의 수준이 높아지게 만드는 효과를 낳는다.
둘째, 동료들이 협력에 대해 보상하고 협력부족을 처벌할 수 있는 능력이 있다는 것을 팀원들이 알아야 한다. 그래야 자신이 습득한 지식을 공유하고 자율적 규범을 개발하려는 마음이 생긴다. 또한 그들은 과도한 도움을 구하는 것은 부정적인 동료평가를 초래할 수도 있음을 인식해야 한다. 그래야지 스스로의 힘으로 문제해결능력을 키워갈 것이다. 반면에, 기존방식으로 평가되는 팀에서는 사람들이 다른 사람들에게 자신의 지식을 제공하거나 원천적 기술을 전달하는 것을 주저할 것이다.
전체적으로 볼 때, 위의 논의는 동료평가가 최소한 초기에 구현되었을 때 팀협력이나 팀프로세스와 관련하여 대체로 유익한 영향을 미친다는 사실이다. 실제로 동료평가의 결과를 보여주는 많은 자료들이 이를 입증하고 있다. 그러나 서론에서 언급했듯이 동료평가가 협력적 팀프로세스에서 긍정적 효과를 만들지 못할 수도 있음을 알아야 한다. 구성원들의 평가에 대해 느끼는 왜곡현상으로 인해 여전히 협력적 팀프로세스에 부정적인 인식이 존재하고 있음을 발견했기 때문이다.
[3] 시스템 구성, 왜곡된 동료평가와 팀웍
나는 동료평가시스템의 구성에 대한 인식이 팀원들로 하여금 서로에 대한 평가를 의도적으로 낮추게 만드는 왜곡현상의 원인이 된다는 사실을 발견했다. 동료를 평가함에 있어서 왜곡된 분위기(APRD: Ambient Peer Rating Distortion)가 발생하여 사람들은 상대방을 낮게 평가하는 경향을 갖게 된 것이다. 이런 상황에서는 두가지 결과가 예상이 된다. 첫번째는 동료평가가 이어질수록 의도적 왜곡현상이 증가하며, 두번째는 협력적 팀프로세스의 긍정적인 것들이 통제되는 상황이 일어난다는 것이다.
3.1. 인센티브구조와 의도적 왜곡
지금까지 성과평가에 대한 대부분의 연구는 심리적인 측면에 초점이 맞춰져 왔다. 평가에 대한 편향성과 부정확성이 심각한 왜곡현상을 만들어 냈는데, 이런 왜곡은 거의 비의도적이라는 것이다. 그러나 나는 의도적 평가왜곡이 훨씬 더 만연해 있다고 생각한다. 연구에 따르면 70% 이상의 관리자가 부하직원에게 실제보다 고평가를 주거나 저평가를 주었다고 했는데, 이는 그 부하를 보호하거나 그 부하에 대해 충격을 주기 위해서였다고 한다. 왜 이런 왜곡현상이 일어나는 것일까? 나는 여기서 평가목적, 평가책임, 평가규칙이라는 3가지 관점에서 동료평가를 조명해 보고자 한다. 이것들이 동료평가자에 대한 의도적인 왜곡현상을 조장하고 있기 때문이다.
3.2. 평가목적과 의도적 왜곡
평가목적에 대한 팀구성원의 인식문제는 중요한다. 경영진의 의도(예: 역량개발의 목적으로만 사용)와 상관없이, 직원들은 평가결과에 대해 다음과 같이 인식할 수 있다. 동료평가의 결과는 보상이나 미래의 인력배치로 연결되기 때문에 그들은 평가가 제로섬 게임의 기반이 된다고 생각한다. 이는 많은 조직이 동료평가의 실시목적을 적절하게 전달하지 못하고 있기 때문이다. 동료평가 데이터는 비교적 일반적인 자료들이다. 이는 조직이 성과평가 정보를 어떻게 사용할 것인지 명확히 명시하더라도 직원들은 역량개발을 위해 사용되는 평가시스템의 용도를 다르게 인식하게 만드는 요인이 된다.
특히 동료평가 데이터가 팀원들에게 다음과 같이 인식될 때 평가에 대한 왜곡현상을 만드는 기초가 되거나 기초가 될 가능성이 있다. 승진이나 보너스와 같은 조직의 보상이다. 즉, 팀원들이 평가를 인지하자마자 그 결과가 그들 자신에게 어떤 이익이나 불이익을 만들어 낸다고 생각한다면, 그들은 평가시스템 자체를 인센티브구조로 인식하게 된다. 이렇게 인센티브구조로 인지가 되면 팀원들은 동료를 심각한 경쟁자로 간주하게 된다. 이는 동료에 대해 의도적인 저평가를 만드는 원인이 된다. 때문에 다음과 같은 주장이 가능해진다.
주장 1a. 평가결과가 분배나 보상과 관련된 결정에 이용될지도 모른다는 인식이 강하면 강할수록 의도적 저평가화 현상은 증가할 것이다.
3.3. 평가책임과 의도적 왜곡
익명성이 보장된 동료평가 구조에서는 사실을 축소하거나 사실보다 높게 평가하는 관대화 경향은 잘 보이지 않는다. 그러나 만일 익명성이 보장되지 않는다면, 사람들은 제재나 보복과 같은 평가에 대한 대가를 치러야 한다고 생각할 것이다. 이렇게 되면 정직하고 솔직한 평가를 주저하게 된다. 사람들은 그들이 평가에 대해 어떤 불이익을 받지 않는다는 느낌이 들어야지 부정적인 의견들도 내 놓을 수가 있기 때문이다. 따라서 평가자로서의 책임의식을 유지케 하기 위해서는 회사나 피평가자가 갖는 권한의 일부분을 제한해야 한다. 이를 통해 평가의 익명성을 보장하는 것이다. 익명성 평가시스템은 평가자로 하여금 미래에 당할 수도 있는 잠재적 대가를 불식시켜서 축소 관대화 경향을 낮추게 하는 효과가 있다.
평가자의 책임감은 전반적으로 긍정적인 영향을 미치게 된다. 평가의 정확성을 올릴 수 있기 때문이다. 책임감이 올라가면서 평가자는 평가결정에 더 많은 고려를 할 것으로 기대가 된다. 실제로 책임감 있는 동료평가자는 익명의 조건에서 다른 동료평가자들 보다 평가를 내리는 데 있어서 훨씬 더 오랜 시간을 투자했다. 평가자의 익명성은 평가 정확도를 올리고 평가자가 우려하는 잠재적 대가를 줄이게 할 뿐만 아니라 엄격화나 관대화 경향도 약화시킨다. 피평가자가 평가자에게 책임을 묻는 것이 불가능한 구조이기 때문이다.
사람들은 동료들보부터 받을 수도 있는 의도적 왜곡으로부터 스스로를 보호하기 위하여 자신들도 의도적으로 동료들을 엄격하게 평가하는 경향이 있다. 평가에 대한 책임의식이 줄어든다는 것은 결과적으로 인센티브 금액의 상승을 몰고 올 수도 있다. 이처럼 평가자가 방어적 자세를 취하게 되며, 이는 타인에 대해 왜곡된 평가를 내리게 만드는 원인이 된다. 때문에 다음과 같은 주장이 가능해진다.
주장 1b. 동료평가에 임하는 평가자의 책임의식이 강하면 강할수록 평가에 대한 의도적 저평가화 현상은 줄어들 것이다.
3.4. 평가주기와 의도적 왜곡
사회적 딜레마의 관점에서 볼 때, 사람들은 연속적이고 규칙적인 환경에서 더 높은 안정감을 느낀다. 평가자의 입장에서 본다면, 규칙적이고 정기적인 동료평가는 상대방이 나에 대한 보복이나 불이익을 겁내게 만드는 원인이 된다고 생각한다. 반면, 동료평가가 일회성이거나 불규칙한 평가프로그램의 하나라고 인식되면 동료평가를 일회성 이벤트로 여기게 된다. 사람들은 신중한 평가자세를 취하지 않을 뿐만 아니라 피평가자의 위치를 고려하게 된다. 이는 평가자들로 하여금 평가에 있어서 방어적 자세를 취하게 만드는 요인이 된다. 현재의 환경에 눈치를 보면서 상황에 적응하는 평가자가 되는 것이다. 이유가 무엇이든 평가가 불규칙적이라는 인식은 사람들로 하여금 의도적 왜곡을 불러 일으킬 것이다. 때문에 다음과 같은 주장이 가능해진다.
주장 1c. 동료평가가 정기적으로 시행될 것이라는 멤버들의 인식이 강하면 강할수록 의도적 저평가화 현상은 줄어들 것이다.
3.5. 동료들에 대한 평가의 왜곡현상(APRD: Ambient Peer Rating Distortion)
APRD에는 다음과 같은 전제가 깔고 있다. “우리 팀 사람들은 다른 사람을 의도적으로 왜곡되게 평가한다. 뿐만 아니라 평가왜곡과 유사한 것들이 팀원들 사이에서 일어나고 있다는 사실을 모두가 알고 있다.” 동료평가자들의 지속적인 저평가화 현상이 일어날 경우, 비밀을 유지하기가 쉽지가 않다. 그리고 사람들은 자신의 업무성과에 대해 타인하고는 완전히 다른 관점을 가지고 있다. 우리는 연구에서 동료평가와 본인평가 사이에 0.36의 평가치이를 발견했다. 의견불일치는 대게 사람들이 타인과 비교하여 자신의 공헌을 과대평가하는 경향에서 기인한다. 그래서 피드백을 받는 사람은 피드백이 기대보다 네거티브하다고 생각하는 것이다.
피평가자는 동료들의 저평가화에 심한 정신적 영향을 받는다. 이건 동료들이 어느 정도의 저평가를 내리는지 와는 상관이 없다. 동료평가의 결과를 마주할 때, 그것이 정확하든 정확하지 않든 피평가자는 자기평가에서 네거티브 회피현상을 보일 가능성이 높다. 그리고 상대적 평가점수를 높이기 위해 동료들이 만드는 의도적 평가를 비난할 것이다. 이런 의도적 왜곡현상은 자기평가와 상사평가 사이의 평가의 갭이 평균보다 큰 팀에서 일반적으로 많이 일어난다. 의도적 왜곡현상의 확산은 팀원들로 하여금 사실관계에 대해 의도적으로 회피하게 끔 유도하며, 이런 회피들로 인해 그들의 동료들은 의도적 왜곡을 만들어 내는 것이다. 때문에 다음과 같은 주장이 가능해진다.
주장 2. 의도적 저평가화 현상이 증가하면 할수록 APRD의 수준도 올라갈 것이다.
3.6. 연속적인 동료평가에 대한 APRD의 자기강화효과
주변의 자극은 팀환경에 상당한 영향을 미친다. 평가절차에 대한 불공정성은 개인과 팀에 성과의 하락은 물론이고 보복에 대한 암시를 던질 수 있다. 애매한 자극은 바람직한 행동과 바람직하지 않는 행동에 대해 멤버들이 느끼는 개인적인 가정에 영향을 미침으로써 효과를 낼 수도 있을 것이다. 특히, 어떤 행동이 어떤 결과로 일어질 지에 대한 신호를 제공함으로써 그들은 팀멤버로 하여금 이들 자극과 관련된 결과물을 수용하거나 피하게 하는 행동이 일어나게 끔 유도한다.
그런 점에서 동료평가는 의도적인 왜곡을 더욱 더 굳히게 만드는 자기강화의 수단이 되기도 한다. 어느정도 의도적인 동료평가의 왜곡은 부정적인 동료평가에 대한 정당하고 방어적인 반응으로 볼 수 있다. 의도적 왜곡현상은 평가초기에는 제한적일 수도 있다. 그러나 시간이 가면서 그들 자신을 동료들의 경쟁적 평가경향으로부터 보호하기 위해 스스로를 방어적 자세나 행동이 일어나게 끔 자극한다. APRD는 의도적 저평가화 경향을 정당화시킬 수 있다. 타인으로부터 기대보다 낮은 점수를 받은 멤버는 본인도 타인에 대해 똑 같이 낮은 점수를 주는 경향을 보이기 때문이다. 동료평가에 대한 의도적 왜곡은 동료평가의 부정적 여론에 합법적이며 방어적 자세로 보여 질 수 있으며, 특정 동료에 의한 의도적 저평가 편향으로 인식될 수도 있다. 평가가 의도적으로 정확하지 않게 이루어지는 상황에서는, 이런 의도적 왜곡은 타인에 대한 자신의 포지션을 보호하기 위한 유일한 안정장치가 될 수도 있다. 때문에 다음과 같은 주장이 가능해진다.
주장 3. APRD의 수준이 올라가면 올라갈수록 의도적 저평가화 현상도 증가할 것이다.
[4] 왜곡된 동료평가가 팀프로세스에 미치는 영향
우리는 연속적인 동료평가의 실험을 통해 의도적 왜곡으로 인해 생겨나는 자기강화현상을 목격했다. 이는 동료평가의 역동성이 협력적 팀프로세스를 강화시킬 수도 있음을 암시하는 것이다. Fig. 1의 도표에도 나와 있듯이 팀의 APRD는 협력적 프로세스에 직접적 영향을 미친다(억제효과의 결과, 4a). 동시에 이들 프로세스에 대한 동료평가의 영향력을 중재하기도 한다(감쇄효과의 결과, 4b). 억제효과가 일어나는 직접적인 이유에 대해서는 다음 2가지 관점에서 생각해 볼 필요가 있다.
첫째, 사회적 딜레마의 관점이다. APRD수준이 높은 경우에는 팀멤버들은 협력하고자 하는 행동이 일어나지 않을 가능성이 높다. 동료평가가 협력과 행동을 올리고자 하는 의도임에도 불구하고 멤버들은 친사회적 행동들을 알아주지 않는 평가 때문에 협력적 행동을 보일 의지를 갖지 못한다. 이런 팀에서는 멤버들은 동료를 이용하거나 자신이 암적존재가 되어 인센티브를 가져갈 지도 모른다. 또한 APRD수준이 높은 팀에서의 팀원들은 자신들의 동료들에 대해 존경심을 담아 행동하는 것을 어색하게 생각할 수도 있다.
둘째, APRD의 증가로 인해 협력적 팀프로세스가 부정적 영향을 받는다는 생각이다. APRD는 팀멤버들로 하여금 그들이 받은 평가데이터를 신뢰하지 못하게 한다. 아무리 편향되지 않는 정확한 평가기준을 갖고 있어도 평가결과의 유효성에 진심이 없기 때문에 팀멤버는 동료들이 주는 평가데이터를 무시하는 것이다.
APRD수준이 높은 팀은 편향된 평가에서 상호차별이 발생한다는 전제하에 분쟁이 일어날 수도 있다. 의도적인 동료평가 왜곡은 동료들에게 친절하며 협력적 행동을 하는 팀멤버들을 조직에 해를 끼치는 존재로 둔갑시킬 수도 있다. 관계파괴는 도움주기나 지식공유 프로세스를 파괴시킨다. 분쟁에 휘말린 팀멤버들은 서로를 피하게 된다. 동료들의 협력적 행동들이 기회주의적이고 의도적이라고 의심할 때, 이전에 존재했던 협력적 행동들은 급격하게 줄어든다. 때문에 다음과 같은 주장이 가능해진다.
주장 4a. 팀내 APRD가 증가하면 할수록 업무분장 지식공유 도움주기 등의 행위는 줄어들 것이다.
직접적인 영향 외에도 APRD수준이 높은 조직은 동료평가가 갖는 긍정적인 효과를 무너뜨리는 현상이 목격되었다. 동료평가와 같은 객관적 평가도구는 초기에는 업무공유, 지식공유, 도움주기 등의 기대행동을 증가시키는 효과를 발휘했다. 그러나 동료평가가 오랜시간 이어지면서 팀내에는 저평가 왜곡현상이 생기게 되고, 이로 인해 위에 열거한 순기능들이 희석되어 버리는 것을 목격했다. 이런 상황에서 팀원들은 자신들의 협력적 행동으로 인해 얻을 것도 없고, 비협력행동을 한다고 해서 잃을 것도 없다는 생각을 갖게 된다. 편향된 평가자에 의해 협력관계에 대한 사기가 떨어진다면, 동료평가는 동기부여로 이어질 수가 없으며 협력강화의 이점도 만들어 낼 수가 없다. 때문에 다음과 같은 주장이 가능해진다.
주장 4b. APRD가 증가하면서 동료평가와 상호협력 프로세스의 긍정적 관계가 줄어드는 것처럼, 팀내 APRD는 동료평가와 팀내 상호협력 프로세스의 관계를 매개할 것이다.
[5] 결론
위에서 제시한 동료평가의 환경적 구성요소에 인지모델(평가목적, 평가책임, 평가인지)은 동료평가와 관련한 연구에서는 상당히 유니크한 내용이다. 잠재적 한계에도 불구하고 이 모델은 동료평가의 효과성을 증명하는 최초의 시도라고 말하고 싶다. 동료평가에 있어서 설명하기 힘든 변수가 나타날 수도 있을 것이다. 그러나 동료평가를 둘러싼 환경적 구성요소는 동료평가의 APRD 증가수준과 내부 구성원들의 협력관계 구축을 결정하는 결정적 요소임에는 변함이 없을 것이다. 이는 또한 ‘동료평가가 팀웍을 깰 수도 있다’는 주장에 대한 반론에도 충분한 이론적 근거가 될 것이다.
나가면서…
나는 동료평가 옹호론자다. 조직을 운영하면서 동료평가를 통해 우리 조직은 큰 성장을 이루었기 때문이다. 우리는 동료평가를 통해 무임승차하는 멤버들이 누구인지를 알게 되었고, 그들로 하여금 스스로 조직을 떠나게 하는 효과도 거두었다. 또한 동료평가는 우리로 하여금 자율조직에 한 걸음 더 다가가게 만든 계기는 되었다고 생각한다. 사람들의 자율적 판단으로 Plan-Do-See의 사이클을 돌리게 끔 하는데 있어서 동료평가제도가 큰 도움이 되었기 때문이다. 그 이유에 대해서는 이 말 한마디로 대신하고자 한다. “이제 더 이상 상사를 무서워하는 직원은 없다. 같이 일하는 동료들의 눈을 무서워하는 직원들만 있을 뿐이다.”
[7월] 교육 세미나안내
6/27- 62회 토킹북 (가장 현실적인 재테크는 창업이다)
7/13- 조직진단과정 1기