정치제도론 5. 합리적 선택 제도주의: 게임이론에서 주인-대리인까지

합리적 선택 제도주의의 기본 전제

합리적 선택 제도주의는 경제학의 미시경제 이론과 게임이론을 정치 제도 분석에 적용한 접근법이다. 이 이론의 출발점은 개인들이 합리적이고 목적 지향적으로 행동한다는 가정이다. 행위자들은 주어진 제약 조건 내에서 자신의 선호를 극대화하려고 노력한다.

합리적 선택 제도주의자들에게 제도는 "게임의 규칙"이다. 더글러스 노스의 유명한 정의에 따르면, 제도는 "인간이 고안한 제약으로서 인간의 상호작용을 구조화한다." 이러한 규칙들은 행위자들의 전략적 선택을 제약하고, 특정한 행동에 대한 인센티브를 제공한다.

이 접근법의 핵심 통찰은 제도가 전략적 상호작용의 결과를 예측 가능하게 만들어준다는 것이다. 제도는 불확실성을 줄이고, 협력을 촉진하며, 거래비용을 낮춘다. 따라서 합리적인 행위자들은 자신들의 상호작용을 규율할 제도를 만들어내게 된다.

게임이론과 제도 분석

게임이론은 합리적 선택 제도주의의 핵심 분석 도구다. 정치적 상황을 게임으로 모델링함으로써 행위자들의 전략적 선택과 그 결과를 체계적으로 분석할 수 있다. 가장 유명한 예는 죄수의 딜레마 게임이다. 이 게임은 개인적으로 합리적인 선택이 집단적으로는 비효율적인 결과를 낳을 수 있음을 보여준다.

제도는 이러한 집합행동 문제를 해결하는 수단이 된다. 반복 게임의 상황에서 제도는 협력을 촉진하는 메커니즘을 제공한다. 예를 들어, 의회의 위원회 제도는 의원들 간의 로그롤링(vote trading)을 가능하게 하여 집합행동 문제를 완화한다.

케네스 셰플은 구조유도균형(structure-induced equilibrium) 개념을 통해 제도가 어떻게 안정적인 정치적 결과를 만들어내는지 설명했다. 다수결 투표 상황에서는 순환적 다수(cycling majority) 문제가 발생할 수 있지만, 적절한 의제 설정 규칙이나 위원회 구조가 있으면 안정적인 균형이 달성될 수 있다.

거래비용 경제학과 제도

올리버 윌리엄슨의 거래비용 경제학은 합리적 선택 제도주의의 또 다른 중요한 이론적 기반이다. 이 접근법은 왜 특정한 거래가 시장에서 이루어지고 다른 거래는 조직 내부에서 이루어지는지를 설명한다. 핵심 개념은 거래비용, 즉 교환을 수행하는 데 드는 비용이다.

정치 제도도 거래비용을 줄이기 위해 만들어진다. 의회의 상임위원회 제도는 정보 수집과 처리의 비용을 줄이고, 정당 제도는 선거 경쟁의 비용을 낮춘다. 더글러스 노스는 이러한 관점을 경제사 연구에 적용하여 제도가 경제 성과에 미치는 영향을 분석했다.

거래비용 관점에서 보면, 제도의 효율성은 그것이 얼마나 거래비용을 줄이는지에 달려있다. 하지만 모든 제도가 효율적인 것은 아니다. 경로의존성이나 기득권의 저항으로 인해 비효율적인 제도가 지속될 수 있다.

주인-대리인 이론

주인-대리인(principal-agent) 이론은 위임 관계에서 발생하는 문제를 분석한다. 주인이 대리인에게 특정 업무를 위임할 때, 정보 비대칭과 이해관계의 불일치로 인해 대리인이 주인의 이익에 반하는 행동을 할 수 있다. 이를 대리인 문제라고 한다.

정치에서 주인-대리인 관계는 도처에 존재한다. 유권자와 정치인, 정치인과 관료, 의회와 행정부 등의 관계가 모두 이에 해당한다. 테리 모는 관료제의 구조가 이러한 대리인 문제를 반영한다고 주장했다. 정치인들은 관료들을 통제하기 위해 다양한 제도적 장치를 만들지만, 이는 종종 비효율성을 초래한다.

주인-대리인 이론은 민주적 책임성의 문제를 이해하는 데도 유용하다. 선거는 유권자(주인)가 정치인(대리인)을 통제하는 메커니즘이지만, 정보 비대칭과 집합행동 문제로 인해 완벽한 통제는 불가능하다. 따라서 추가적인 제도적 장치들이 필요하게 된다.

제도의 기원과 설계

합리적 선택 제도주의는 제도의 기원을 기능주의적으로 설명한다. 제도는 특정한 집합행동 문제를 해결하기 위해 만들어진다는 것이다. 예를 들어, 재산권 제도는 공유지의 비극을 방지하기 위해, 헌법은 정치적 불확실성을 줄이기 위해 만들어진다.

잭 나이트는 제도 형성 과정에서 권력의 역할을 강조했다. 그는 제도가 단순히 효율성을 위해서가 아니라 분배적 결과를 둘러싼 갈등의 산물이라고 주장했다. 더 많은 협상력을 가진 행위자들이 자신들에게 유리한 제도를 만들어낸다는 것이다.

제도 설계(institutional design)는 합리적 선택 제도주의의 중요한 응용 분야다. 이 접근법은 특정한 목표를 달성하기 위해 어떤 제도적 규칙이 필요한지를 분석한다. 선거제도 설계, 중앙은행 독립성, 연방제 구조 등이 주요 연구 주제다.

신뢰할 만한 약속과 제도

신뢰할 만한 약속(credible commitment) 문제는 합리적 선택 제도주의의 핵심 주제 중 하나다. 권력을 가진 행위자가 미래에 자신의 약속을 지킬 것이라고 어떻게 믿게 만들 수 있는가? 이는 특히 민주주의 이행이나 경제 개혁 과정에서 중요한 문제다.

배리 와인개스트는 제도가 신뢰할 만한 약속을 가능하게 한다고 주장했다. 헌법적 제약, 권력분립, 독립적인 사법부 등은 통치자가 자의적으로 권력을 행사하지 못하도록 막음으로써 재산권과 정치적 권리를 보호한다. 이는 투자와 경제 성장을 촉진한다.

중앙은행 독립성도 비슷한 논리로 설명된다. 정부가 통화정책에 개입하지 않겠다는 약속을 신뢰할 만하게 만들기 위해 중앙은행을 독립시킨다. 이는 인플레이션 기대를 안정시키고 경제적 불확실성을 줄인다.

제도적 균형과 변화

합리적 선택 제도주의에서 제도는 전략적 상호작용의 균형으로 이해된다. 어떤 제도가 안정적으로 유지되는 것은 관련 행위자들이 그 제도 하에서 자신의 전략을 바꿀 유인이 없기 때문이다. 이를 자기집행적(self-enforcing) 제도라고 한다.

제도 변화는 이러한 균형이 깨질 때 발생한다. 외부 환경의 변화나 행위자들의 선호 변화가 기존 균형을 불안정하게 만들면, 새로운 제도적 균형을 찾는 과정이 시작된다. 아브너 그리프는 중세 상인 길드의 흥망을 이러한 관점에서 분석했다.

점진적 제도 변화도 합리적 선택의 관점에서 설명할 수 있다. 행위자들이 기존 제도의 틈새를 이용하거나 규칙을 재해석함으로써 제도는 서서히 변화한다. 이는 명시적인 제도 개혁 없이도 실질적인 변화가 일어날 수 있음을 보여준다.

비교 제도 분석

합리적 선택 제도주의는 비교 연구에도 유용한 도구를 제공한다. 서로 다른 제도적 배열이 어떻게 다른 인센티브 구조를 만들어내고, 그 결과 어떤 정치적 결과가 나타나는지를 분석할 수 있다.

예를 들어, 대통령제와 의원내각제의 차이는 정치인들이 직면하는 인센티브 구조의 차이로 설명된다. 대통령제에서는 행정부와 입법부 간의 분리로 인해 교착상태가 발생하기 쉽지만, 의원내각제에서는 행정부가 의회 다수의 지지를 필요로 하므로 더 안정적인 정책 결정이 가능하다.

선거제도의 효과도 비슷하게 분석된다. 비례대표제는 다당제를 촉진하고 연립정부를 만들어내는 반면, 단순다수제는 양당제를 유도하고 단독정부를 가능하게 한다. 이는 정치인들과 유권자들이 각 제도 하에서 직면하는 전략적 상황의 차이 때문이다.

내생적 제도 이론

최근 합리적 선택 제도주의는 제도의 내생성 문제에 주목하고 있다. 제도가 행위를 형성하지만, 동시에 제도 자체도 행위자들의 전략적 선택의 결과라는 것이다. 이는 제도와 행위 사이의 복잡한 상호작용을 이해하는 데 중요하다.

켄 셰플과 배리 와인개스트는 제도를 "유도된 균형"으로 이해할 것을 제안했다. 제도는 게임의 규칙을 제공하지만, 이 규칙 자체도 더 큰 게임의 균형 결과다. 이러한 관점은 제도의 안정성과 변화를 더 깊이 이해하게 해준다.

내생적 제도 이론은 특히 제도 개혁의 정치학을 이해하는 데 유용하다. 왜 어떤 개혁은 성공하고 다른 개혁은 실패하는가? 이는 개혁안이 관련 행위자들의 이해관계와 어떻게 맞물리는지에 달려있다.

합리적 선택 제도주의의 한계

합리적 선택 제도주의는 여러 비판에 직면해 있다. 첫째, 인간 행동에 대한 지나치게 단순화된 가정을 한다는 비판이 있다. 실제 인간은 항상 합리적이지 않으며, 제한된 합리성을 가진다.

둘째, 선호의 형성과 변화를 설명하지 못한다는 한계가 있다. 합리적 선택 이론은 선호를 주어진 것으로 가정하지만, 실제로 선호는 사회적, 문화적 과정을 통해 형성되고 변화한다.

셋째, 권력과 불평등의 문제를 충분히 다루지 못한다는 비판도 있다. 모든 행위자가 동등한 전략적 능력을 가진다는 가정은 현실의 권력 불균형을 간과한다.

넷째, 역사적 맥락과 경로의존성을 충분히 고려하지 못한다. 제도의 기원을 기능주의적으로만 설명하는 것은 역사적 우연성과 복잡성을 놓칠 수 있다.

행동경제학과의 접점

최근 합리적 선택 제도주의는 행동경제학의 통찰을 수용하면서 발전하고 있다. 제한된 합리성, 인지적 편향, 사회적 선호 등의 개념을 도입하여 더 현실적인 모델을 만들려는 시도가 이루어지고 있다.

예를 들어, 전망이론(prospect theory)은 사람들이 손실을 이익보다 더 크게 느낀다는 점을 보여준다. 이는 현상유지 편향과 제도의 지속성을 설명하는 데 도움이 된다. 또한 사회적 선호 이론은 사람들이 순수한 자기이익뿐만 아니라 공정성이나 호혜성도 고려한다는 점을 강조한다.

실험적 방법의 활용

합리적 선택 제도주의자들은 실험적 방법도 적극 활용하고 있다. 실험실 실험과 현장 실험을 통해 제도의 효과를 검증하고, 제도 설계의 함의를 도출한다. 엘리너 오스트롬의 공유자원 관리 실험이 대표적인 예다.

실험 방법은 특히 제도의 미시적 기초를 이해하는 데 유용하다. 어떤 조건에서 사람들이 협력하는지, 어떤 제도적 규칙이 협력을 촉진하는지를 체계적으로 검증할 수 있다. 이는 제도 설계에 직접적인 함의를 제공한다.

현대 정치의 도전과 합리적 선택 제도주의

합리적 선택 제도주의는 현대 정치의 여러 도전을 이해하는 데 여전히 유용한 도구를 제공한다. 민주주의의 위기, 포퓰리즘의 부상, 국제협력의 어려움 등을 전략적 상호작용의 관점에서 분석할 수 있다.

예를 들어, 민주주의 후퇴(democratic backsliding)는 행정부가 점진적으로 견제와 균형 메커니즘을 약화시키는 과정으로 이해할 수 있다. 포퓰리즘은 기존 정치 엘리트와 유권자 사이의 주인-대리인 관계가 붕괴된 결과로 볼 수 있다.

디지털 기술의 발전도 새로운 제도적 도전을 제기한다. 온라인 플랫폼의 거버넌스, 알고리즘의 규제, 디지털 민주주의의 설계 등은 모두 합리적 선택 제도주의의 관점에서 분석할 수 있는 주제들이다.

결론적으로, 합리적 선택 제도주의는 한계에도 불구하고 제도 분석의 중요한 도구로 남아있다. 특히 제도 설계와 개혁의 문제를 다루는 데 있어서 이 접근법의 통찰은 여전히 가치가 있다. 다만 다른 제도주의 접근법들과의 대화와 통합을 통해 더욱 풍부하고 현실적인 이론으로 발전해 나가야 할 것이다.