Introduction

수학의 기반은 공리계이다. 기원전 300년 경, 유클리드의 『원론』에서는 기하학의 기초가 되는 5개의 공리와 5개의 공준을 정립하였다. 여기서 잠깐, 공리를 증명하려는 시도는 하지 말자. 공리는 수학의 베이스가 되는, 증명 없이 참으로 받아들이는 것들을 말하기 때문이다. 근데, 만약 공리가 허술해서 모순이 발생하게 되면 무슨 일이 일어날까? 대참사가 일어난다.

오늘은 만약 수학의 근간인 공리가 부정되면 일어나는, 폭발 정리(Principle of Explosion, Lat. Ex Falso Quodlibet)에 대하여 알아보자.

1. Hello, Axioms!

우선 공리를 부정하고 말고를 이야기 하기 전에 공리 자체에 관해서 알아보자. 공리란 무엇일까?

앞서 말한 것처럼 공리는 수학, 논리학 등 학문 체계에서 별도의 증명 없이 자명한 진리(사실)로 받아들이는 가장 기초적인 근거이다. 공리 중에서는 아마 가장 유명한 공리일 유클리드 공리부터 알아보자.

1. 유클리드 기하학의 공리

기원전 300년경 유클리드가 정리한 평면 기하학의 기초이다. 총 5가지가 있는데, 그중 가장 유명한 것들은 다음과 같다.

• 선분의 연장: 어떤 선분이든 양끝으로 얼마든지 길게 늘일 수 있다.
• 평행선 공리: 한 직선 밖의 한 점을 지나며 그 직선과 평행한 직선은 단 하나뿐이다.

2. 페아노 공리계 (Peano Axioms)

우리가 당연하게 쓰는 자연수가 무엇인지 정의하기 위한 공리이다.

• 1은 자연수이다.
• 모든 자연수 $n$에 대하여, 그 다음 수인 $n+1$도 자연수이다.

3. 집합론의 공리 (ZFC 공리계)

현대 수학의 가장 밑바닥을 지탱하는 공리들이다.

• 외연 공리: 두 집합이 가진 원소가 모두 같다면, 두 집합은 같은 집합이다.
• 선택 공리 (Axiom of Choice): 빈 집합이 아닌 집합들이 모여 있을 때, 각 집합에서 원소를 하나씩 골라 새로운 집합을 만들 수 있다. (너무 당연해 보이지만, 무한의 영역으로 가면 매우 복잡하고 흥미로운 결과를 낳는다.)

4. 논리학의 기본 원리 (전통적 공리)

아리스토텔레스 때부터 내려온 사고의 근본 법칙이다.

• 동일률: $A$는 $A$이다.
• 모순율: $A$이면서 동시에 $A$가 아닐 수는 없다.
• 배중률: 어떤 명제는 참이거나 거짓일 뿐, 제3의 상태는 없다.

너무나 당연한 내용들이 사실은 대부분이다. 하지만, 이것들을 엄밀히 하지 않으면 왜 문제가 생기는지 알아보자.

2. The Rebel of Axioms.

자, 이제 핵심 질문으로 들어가보자. 만약 공리들 중 하나가 모순을 일으킨다면 어떻게 될까?

예를 들어 어떤 수학 체계 안에서 명제 $P$가 참이기도 하고, 동시에 거짓이기도 한 상황이 생겼다고 가정해보자. 즉:

$$P \text{ 가 참이다.} \quad \text{그리고} \quad \neg P \text{ 도 참이다.}$$

이건 논리학의 기본 원리인 모순율을 정면으로 위반한다. 수학자들은 이런 상황을 모순(contradiction) 이라고 부른다.

그러면 이 시스템은 그냥 조금 망가진 채로 돌아갈까? 아니다. 훨씬 심각한 일이 벌어진다. 모순이 하나라도 존재하면, 그 시스템 안에서는 어떤 명제든 참으로 증명해버릴 수 있다. 1 = 2도 참, 지구가 평평하다는 것도 참, 심지어 논리적으로 말이 안 되는 소리도 전부 참으로 증명된다. 이게 바로 폭발 정리(Principle of Explosion) 이다.

라틴어로는 Ex Falso Quodlibet, 직역하면 "거짓에서는 무엇이든 나온다" 이다. 이름 자체가 이미 무시무시하다.

3. Proof of The Explosion Principle

믿기 어려울 수 있으니, 실제로 논리적으로 증명해보자. 형식 논리학의 규칙만을 사용한다.

전제:

• $P$: 참 (어떤 명제 $P$가 참이다)
• $\neg P$: 참 (동시에 $P$의 부정도 참이다)

목표: 임의의 명제 $Q$가 참임을 증명한다. $Q$는 완전히 아무 명제나 될 수 있다.

증명:

우선 전제가 두 개 있다.

$$P \tag{1}$$

$$\neg P \tag{2}$$

Step 1 → Step 2: 선언 도입 (Disjunction Introduction)

$(1)$에서, $P$가 참이다. 그런데 "$P$ 또는 $Q$"라는 명제는, $P$만 참이어도 성립한다. $Q$가 뭔지는 전혀 몰라도 된다. 따라서:

$$P \vee Q \tag{3}$$

이게 낯설게 느껴질 수 있는데, 일상 언어로 생각하면 쉽다. "비가 오거나, 눈이 온다"는 문장은 실제로 비가 오고 있다면 그것만으로도 참이다. 눈이 오는지 여부는 상관없다.

Step 2 → Step 3: 선언 소거 (Disjunctive Syllogism)

$(3)$에서 "$P$ 또는 $Q$"가 참이고, $(2)$에서 $\neg P$, 즉 $P$가 거짓이다. "$P$ 또는 $Q$"가 참인데 $P$가 거짓이라면, 남은 건 하나뿐이다.

$$\therefore Q \tag{4}$$

끝이다. 단 세 번의 추론으로 임의의 명제 $Q$가 참으로 증명됐다. 이 과정에서 사용된 규칙들은 모두 완벽하게 유효하다. 논리 규칙 자체에는 아무 문제가 없다. 문제는 오직 모순된 전제 그 자체다.

좀 더 직관적으로 이해하고 싶다면 이렇게 생각해보자. 논리적 추론은 "참인 것에서 참인 것을 이끌어내는" 과정이다. 그런데 모순된 전제는 이미 참인 것과 거짓인 것의 경계를 무너뜨렸다. 경계가 없으니 뭐든 넘어올 수 있다. 그래서 "폭발"이다.

4. 역사적 사례 — 러셀의 역설과 수학의 위기

더 재미있는 점은 이런 일이 실제로 일어났다는 것이다. 그것도 꽤나 큰 스케일로.

프레게의 비극

19세기 말, 독일의 수학자 고틀로프 프레게(Gottlob Frege) 는 수학 전체를 논리학 위에 올려놓으려는 거대한 프로젝트를 진행하고 있었다. 그는 자신의 공리계를 바탕으로 산술 전체를 엄밀하게 기초지으려 했고, 수년간의 연구 끝에 두 권의 책 『산술의 기초(Grundgesetze der Arithmetik)』를 거의 완성한 상태였다.

그런데 1902년, 책의 2권이 인쇄를 앞둔 바로 그 시점에 청천벽력 같은 편지가 한 통 날아왔다. 보낸 사람은 영국의 철학자 겸 수학자 버트런드 러셀(Bertrand Russell) 이었다.

러셀의 역설 (Russell's Paradox)

러셀이 발견한 것은 프레게의 공리계 안에서 모순이 발생한다는 것이었다. 그 모순의 핵심은 다음과 같은 질문이다.

"자기 자신을 원소로 포함하지 않는 모든 집합들의 집합"을 $R$이라 하자. 그러면 $R$은 자기 자신을 원소로 포함하는가?

• 만약 $R \in R$ 이라면 (R이 자기 자신을 포함한다면), $R$의 정의에 의해 $R$은 자기 자신을 포함하지 않는 집합이어야 하므로 $R \notin R$ 이 된다. 모순.
• 만약 $R \notin R$ 이라면 (R이 자기 자신을 포함하지 않는다면), $R$의 정의에 의해 $R$은 $R$에 속해야 하므로 $R \in R$ 이 된다. 모순.

어떻게 해도 모순이다. 러셀은 프레게의 공리계가 이 집합을 정의하는 것을 허용한다는 것을 보였고, 따라서 그 공리계에는 모순이 내재되어 있었다. 폭발 정리에 의해, 프레게의 시스템 안에서는 이제 모든 명제가 참으로 증명될 수 있었다. 즉, 그 시스템은 완전히 쓸모없어진 것이다.

프레게는 러셀의 편지를 받고 이렇게 썼다고 전해진다.

"당신의 편지를 받고, 나는 최대한 당황스러운 상황에 처했다. 산술의 기초가 흔들리고 있다."

몇 십 년을 쏟아부은 연구가 한 통의 편지로 무너진 순간이었다.

수학의 기초론 위기 (Grundlagenkrise der Mathematik)

러셀의 역설은 단지 프레게 개인의 문제가 아니었다. 20세기 초 수학계 전체가 흔들렸다. 이 시기를 수학의 기초론 위기(Foundational Crisis of Mathematics) 라고 부른다.

이 위기에 대응하여 수학자들은 크게 세 가지 방향으로 갈라졌다.

• 형식주의(Formalism): 힐베르트(Hilbert) 중심. 수학을 완전하고 무모순적인 형식 체계로 만들 수 있다고 주장. 나중에 괴델에게 반박당한다.
• 논리주의(Logicism): 러셀 본인 포함. 수학을 논리학으로 환원시키려 함. 러셀과 화이트헤드의 『수학 원리(Principia Mathematica)』가 이 시도의 산물.
• 직관주의(Intuitionism): 브라우어(Brouwer) 중심. 이 방향은 뒤에서 더 자세히 다룬다.

5. 실제 수학적 영향 — 괴델이 쐐기를 박다

위기에 대응하려는 수학자들의 노력 중 가장 야심 찼던 것은 힐베르트의 프로그램이었다. 그는 이렇게 주장했다.

"수학의 모든 분야를 하나의 완전하고(complete), 무모순적(consistent)이고, 결정 가능한(decidable) 형식 체계로 만들 수 있다."

완전하다는 건 모든 참인 명제를 증명할 수 있다는 뜻이고, 무모순이라는 건 모순이 없다는 뜻이다. 힐베르트는 이게 가능하다고 믿었다.

1931년, 오스트리아의 젊은 수학자 쿠르트 괴델(Kurt Gödel) 이 이 꿈을 산산조각냈다.

괴델의 불완전성 정리 (Gödel's Incompleteness Theorems)

괴델은 두 가지 정리를 증명했다.

제1 불완전성 정리: 자연수의 산술을 포함할 만큼 강력한 무모순적 형식 체계에서는, 그 체계 안에서 참이지만 증명할 수 없는 명제가 반드시 존재한다.

제2 불완전성 정리: 그런 체계는 자기 자신의 무모순성을 자신의 체계 안에서 증명할 수 없다.

폭발 정리와 연결지어 생각해보면 이게 얼마나 무서운 결과인지 알 수 있다. 우리는 어떤 공리계가 모순을 품고 있지 않다는 것을 그 공리계 안에서 보장받을 수 없다. 만약 우리가 채택한 공리계가 어딘가에 모순을 품고 있다면, 폭발 정리에 의해 그 공리계 위에서 이루어진 수학적 증명들은 전부 의미를 잃는다.

다행히 현재 수학자들이 사용하는 ZFC 공리계는 모순이 발견된 적이 없다. 하지만 괴델의 정리에 의해, ZFC가 무모순적이라는 것을 ZFC 안에서 증명하는 것 자체가 불가능하다. 우리는 그냥 믿고 쓰는 것이다. 다소 아이러니하다.

6. 탈출구 — 비고전 논리학의 등장

여기까지 읽었다면 이런 생각이 들 수도 있다.

"모순이 생기면 다 터진다는 거잖아. 그럼 모순이 생겨도 터지지 않는 논리 체계를 만들면 되지 않나?"

천재적인 발상이다. 실제로 수학자들과 철학자들이 그 방향으로 갔다.

직관주의 논리학 (Intuitionistic Logic)

20세기 초, 네덜란드의 수학자 라위천 브라우어(L.E.J. Brouwer) 는 기존 논리학의 근본을 문제 삼았다. 그가 타깃으로 삼은 것은 바로 배중률이었다.

기억하는가? 배중률은 이렇게 말한다.

"어떤 명제는 참이거나 거짓이다. 제3의 가능성은 없다."

브라우어는 이것이 유한한 영역에서는 맞지만, 무한의 영역이나 우리가 직접 구성해서 확인할 수 없는 경우에는 받아들일 수 없다고 주장했다. 예를 들어 "소수가 무한히 많다"는 명제는 증명되었으니 참이라고 말할 수 있다. 하지만 "아직 발견되지 않은 어떤 수학적 패턴이 존재한다"는 명제를 우리가 직접 구성하거나 확인하지 못하는 이상, 참이다 거짓이다 단정짓는 것은 옳지 않다는 것이다.

직관주의에서는 어떤 것이 "참이다"라고 말하려면 그것을 구성적으로 증명(constructive proof) 할 수 있어야 한다. "존재하지 않는다고 가정했더니 모순이 생긴다, 따라서 존재한다"는 식의 귀류법(간접 증명) 을 허용하지 않는다.

직관주의 논리학에서는 배중률을 공리로 채택하지 않는다. 따라서 고전 논리학보다 할 수 있는 것이 적지만, 그 대신 더 엄격하고 구성적인 수학이 펼쳐진다.

준일관 논리학 (Paraconsistent Logic)

또 다른 방향도 있다. 준일관 논리학(Paraconsistent Logic) 은 아예 폭발 정리 자체를 논리 체계에서 제거한다. 즉, 모순이 있어도 그것이 전파되지 않도록 하는 논리 체계다.

폭발 정리의 증명 단계를 다시 보면, 핵심은 "선언 소거(Disjunctive Syllogism)" 규칙이었다. 준일관 논리학은 이 규칙을 제한하거나 변형함으로써, 모순이 존재하더라도 시스템 전체가 붕괴하지 않게 만든다.

이게 쓸모가 있을까? 놀랍게도 있다. 실제 세계의 데이터베이스나 법률 시스템에는 모순되는 정보가 공존하는 경우가 많다. 예를 들어 어떤 법률 데이터베이스에는 서로 상충하는 두 조항이 동시에 존재할 수 있다. 고전 논리학을 그대로 적용하면 이 시스템은 "폭발"해서 아무 판단도 내릴 수 없게 된다. 준일관 논리학은 이런 상황에서 시스템이 어느 정도 기능을 유지할 수 있게 해준다.

7. 결론 — 수학은 생각보다 아슬아슬하다

폭발 정리를 한 문장으로 요약하면 이렇다.

모순된 전제에서는 어떤 명제든 참으로 증명할 수 있다. 따라서 모순이 하나라도 있는 논리 체계는 완전히 쓸모없다.

이게 단순한 논리 퍼즐이 아니라는 걸 이제는 알 것이다. 러셀의 역설은 수십 년의 연구를 하루아침에 무너뜨렸고, 괴델의 불완전성 정리는 수학의 완전한 기초를 쌓으려는 인류의 꿈이 근본적으로 불가능하다는 것을 보였다.

그러면 수학은 불안한 것일까? 꼭 그렇지는 않다. ZFC 공리계는 수백 년간 모순 없이 잘 작동해왔고, 수학자들은 그 위에서 경이로운 구조들을 쌓아왔다. 다만 이 모든 것은 우리가 선택한 공리들이 모순을 품고 있지 않다는 믿음 위에 서 있다는 사실을 인식하는 것이 중요하다.

어쩌면 수학이란, 완벽하게 안전한 반석 위에 세워진 신전이 아니라, 인류가 집단적으로 동의한 규칙들 위에서 조심스럽게 쌓아온 탑일지도 모른다. 그리고 그 탑이 이만큼 높이 쌓였다는 사실 자체가 이미 하나의 기적이다.

더 파고들고 싶다면: 쌍곡 기하학, 괴델의 불완전성 정리 원문, 러셀-화이트헤드의 Principia Mathematica, 준일관 논리학(Paraconsistent Logic)을 찾아보자.