수학적 정의의 직관성과 추상성 잡담

[Stein Real Analysis]를 꺼내 읽다보니 해석학에선 open set의 개념을 중요하게 다룬다는 사실을 새삼 느끼게 되었다. Compactness의 정의인 'Every open cover has finite subcover'만 봐도 그렇다.

어떤 집합 \( O\)가 open이라는 것은 집합의 모든 점에서 그 점을 중심으로하는 구가 존재해, 그 구가 \( O\)의 부분집합이 된다는 뜻이다.

위 정의에서 가장 중요한 개념은 단연코 거리함수 \( d(x, \, a)\) 일 것이다. x가 a로부터 떨어진 거리를 적당히 작게 만들면 x에 대한 어떤 명제가 성립할 수 있다는 개념은 아주 익숙하다. \( \epsilon - \delta\) 논법에 의한 연속의 정의식은 일반적인 거리의 정의에서 그 형태를 직접 사용한다.

거리함수를 사용하지 않고 연속을 정의하는 것은 꽤 재미있는 문제이다. 위상 수학에선open set의 개념을 역이용해 원소들 사이 가까움과 떨어짐 같은 정보를 얻어내기 때문이다. 거리를 사용하지 않는 open set으로의 추상화를 위해 위상 수학은 기존의 open set의 성질 중 합집합에 대한 닫힘과 유한 교집합에 대한 닫힘만을 가져왔다.

무한 교집합에 대한 닫힘까지 요구하는 순간 우리가 기존에 알던 open set과 틀어짐이 발생하게 된다. \(\displaystyle \left\{ \left( 0, \, 1+\frac{1}{n} \right) \right\}_{n \in \mathbb{N} } \)의 무한 교집합은 \( (0,1]\)이므로 \( \mathbb{R} \) 의 열린 구간들의 모임(끝점 무한대 포함)이 open set들의 모임이 아니게 되기 때문이다.

다시 본론으로 돌아와, 거리함수란 다음을 만족하는 함수를 말한다.

부등호란 무엇인가? 3번째 조건인 삼각부등식 이외에도, 가장 윗줄의 치역은 \( d(x,\,y) \geq 0\) 라는 정보를 포함하고 있다. '어떤 대상이 무엇보다 크다'라는 개념은 '어떤 대상이 무엇에 가깝다'라는 개념보다 추상적으로 느껴진다.

체 안에서의 연산으로 양수를 정의하는 것이 흥미롭다. 이때 체란 어떤 집합이 두 개의 닫힌 연산을 부여받았을 때, 각각의 연산에서 교환, 결합법칙과 항등원, 역원의 존재 (+의 항등원 0에 대한 \( \times\)의 역원 제외), 그리고 두 연산 사이의 분배법칙이 성립하는 상황을 말한다. 그리고 위에 쓴 \( a-b\) 는 엄밀하게 \(b\)의 합의 역원 \(-b\)에 대해 \( a+(-b)\)를 의미한다.

지금부터 아직까진 비교적 덜 추상화된 것처럼 보이는 수학까지도 하나하나 벗겨나갈 것이다. 거리함수를 정의하기 위해서는 부등호가 필요했고, 이는 그 집합에 좋은 연산을 부여해주면 해결되는 일이었다. 그리고 연산은 함수의 언어로 쓰여져있다. 예를 들어 분배법칙의 엄밀한 식은 아래와 같다.

\[ \times (a,\, +(b,\,c)) = +(\times (a,\,b),\,\times(a,\,c)) \]

연산은, 일반적으로 함수는, 어떤 대상을 다른 대상에 대응시키는 규칙이다. 무엇이 무엇에 대응되는가를 알려주는 것이 하나의 함수를 정의하는 가장 확실한 방법이라는 뜻이다. 그렇다면 '무엇이 무엇에 대응되는가를 잘 알려주는 주체'를 함수라고 정의할 수 있다.

위에서 당장에 중요한 것은 F1과 F2의 구체적인 조건이 아니라 함수를 순서쌍들의 집합 중 어떤 조건을 만족하는 것으로 정의한다는 것이다. 'x의 값이 달라질 때 y의 값은 어떻게 되는가'가 아닌 정해진 하나의 집합이 함수 그 자체라는 뜻이다.

집합으로서의 함수를 구성하는 원소인 순서쌍의 본질은 아래 식을 만족하는 대상이라는 사실이다.

이를 위해 순서쌍은 다음과 같은 집합으로 정의된다. 아래 정의는 집합 상등의 정의이자 공리, \( A=B \, \Leftrightarrow [ \forall x,\,\, x \in A \Leftrightarrow x \in B] \) 를 이용해 위 성질을 만족함을 증명할 수 있다.

\[ (a,\,b)=\{\{a\},\,\{a,\,b\}\} \]

순서쌍을 집합으로 정의하는 것에 의구심이 들 것이다. 두 대상을 가져다 순서쌍으로 만들든, 집합으로 만들든 그게 그거인 행동으로 보이기 때문이다. 이는 '집합'의 개념을 '원소들의 모임'으로 보는 일반적인 직관이 존재하기에 발생한다. 집합론의 기본 공리 중 하나인 Axiom of class construction은 집합의 본질이 어떤 명제를 포함관계로서 표현한 어떤 대상임을 말해준다.

따라서 원소 나열법으로 쓰여진 집합은 아래와 같이 정의할 수 있으며, 위 공리는 해당 정의에 정당성을 부여한다. 명제로서 수학적 대상의 모임을 확정하기 때문에 순서쌍의 정당성을 집합의 정당성으로 순서쌍의 정당성을 확보하는 것이다.

\[ \{a_1 ,\, a_2 ,\, \cdots , \, a_n \} = \{ x \, | \, x=a_1 \,\,\, or\,\,\, x=a_2 \,\,\, \cdots \, or \,\,\, x = a_n \} \]

하나의 명제는 무한히 길어질 수 없기 때문에 \( \{1,\,2,\,3,\, \cdots \}\) 와 같은 표기는 사실 엄밀하지 않다.

정의를 바로 알 수 있는 개념들부터 이야기해보자. x에 대한 명제란 모든 x에 대해 참(T)과 거짓(F), 두 가지 상태 중 하나가 정해지는 문장을 말한다. 논리 기호란 양화사(Quantifier)와 \(s.t.\)을 포함해 negate(\(\neg\)), and(\(\land\)), or(\(\lor\)), imply(\(\Rightarrow\)), iff(\(\Leftrightarrow\))를 말한다. 하나 이상의 명제를 이용해 새로운 명제를 만드는 명제의 생성 규칙은 아래 진리표로 명확히 정해진다.

Quantifier에 대한 이야기는 잠시만 뒤로 미뤄두고, 위에서 '수학적 대상'이라고 명명한 class와 포함관계 기호 \( \in\)에 대한 의문점 먼저 풀어보자. [Pinter Set Theory]에 따르면 해당 두 개념은 명확한 명제로 정의되지 않는다. Class라 부르는 수학적 대상이 있고, 그들 사이의 관계 \( \in \)이라는 게 존재한다고 생각하자는 것이다. 이것이 집합론의 두 무정의 용어이다. 유클리드 기하학에서 점과 직선이라는 대상이 존재한다고 생각하고 논리를 전개시키는 것과 비슷하다.

다만 quantifier의 경우 두 무정의 용어와는 성격이 다소 다르다. 이는 엄밀히 말하면 수학이 아닌 논리학의 영역에서 다뤄야 할 내용이지만, 수학에서의 해당 개념이 가지는 의미는 고민해 볼만한 가치가 있다. 사실 이 주제에 대한 고민으로부터 해당 글의 아이디어를 얻었다.

\( \forall x \,\, P(x) \) 는 모든 x에 대해 x에 대한 명제 P(x)가 만족한다는 뜻이고, \( \exists x \,\, P(x) \) 는 어떤 x에 대해 x에 대한 명제 P(x)가 만족한다는 뜻이다. '모든'과 '어떤'이라는 단어가 두 양화사를 정의하는 핵심이지만, 그들은 이미 강력한 직관에 종속되어 있어 이미 완전히 논리적인 것으로 느껴지기 때문에 그들을 더욱 논리적으로 정의할 방법을 생각해내기가 어렵다. 따라서 양화사가 들어간 명제를 증명하는 방법에 대한 고민을 통해 그 근본에 더욱 가까이 다가가 보려 한다. 수학에서 모든 명제는 증명되거나, negate가 증명되면서 의미를 얻기 때문이다.

\( \exists \)의 경우 주로 \( \exists x \in C \,\, s.t. P(x) \) 의 형태로 쓰여지기 마련인데 이를 증명하는 가장 확실한 방법은 어떤 c를 설정해 \( c \in C \land P(c) \)가 참임을 증명하는 것이다. 그러나 \( forall \) 의 경우에는 이 방법이 전혀 통하지 않는다. \( C\)가 무한 집합인 경우엔 명제의 증명을 무한히 반복할 수 없기 때문이다. 그리고 모든 존재성 문제가 위의 직접 증명의 방법으로 해결되는 것도 아니다. 심지어 위의 단순한 꼴의 명제가 아닌 경우도 있다.

따라서 우리는 간접 증명의 일종인 귀류법을 이용한다. 어떤 명제 P가 항상 참임을 증명하기 위해 \( \neg P \Rightarrow Q \) 를 항상 거짓인 명제 Q에 대해 증명하는 것이다. 항상 거짓인 명제를 만들어내는 것은 쉽다. 임의의 명제 S에 대한 \( S \land \neg S \) 이나, 일반적으론 항상 참임이 밝혀진 명제의 부정을 활용한다. \( \neg P \Rightarrow Q \)가 참임이 증명되면 진리표에 의해 \( \neg P\) 도 거짓이 되어야 한다. 따라서 P는 참이다.

양화사가 들어간 명제의 부정에도 양화사가 들어간다. '예외가 있다면 '모든'이 아닌 것이고' , '항상 성립하지 않으면 '어떤'이 아닌 것이다' 로부터 다음을 얻는 것 정도는 언어적인 정의만을 가지고 있는 상태에선 인정해주자.

\[ \neg [ \forall x P(x) ] \Leftrightarrow \exists x (\neg P(x)) \,\,\,\,\,\,\,\, and \,\,\,\,\,\,\,\, \neg [ \exists x P(x) ] \Leftrightarrow \forall x (\neg P(x)) \]

주어진 명제를 부정하여 얻어진 명제에 양화사가 들어 있다고 해서 큰 문제가 되지는 않는다. 얻어진 명제는 더 이상 증명해야 하는 명제가 아닌 항상 거짓인 명제 Q를 증명하기 위해 이용할 수 있는 명제이다. 그리고 양화사가 포함된 문장은 이용하는 데에 아주 용이하다. 예를 들어 IVT 증명에서 모든 점에서의 연속성이 이용할 수 있는 조건으로 주어지자, 설정한 집합의 최소 상계에서의 연속성도 보장되었다. 귀류법을 이용한 \( \sqrt{2} \) 의 무리성 증명에서 \( \displaystyle \sqrt{2} = \frac{n}{m} \) 를 만족하는 서로소 정수쌍 (m, n)의 존재성을 이용해 그냥 그러한 (m, n)을 놓을 수 있다.

마지막으로, 귀류법도 사용하기 애매한 기초적인 명제를 증명해보자.

pf)
Assuming \(\exists x \in C \, s.t. \, P(x) \land Q(x)\) , we can let \( c \in C \,\,\, s.t. P(c) \land Q(c) \) . So we have find \( c \in C\) that satisfies P(c) and Q(c). Then we know that \( \exists x \in C \, s.t. P(x)\) and \(\exists x \in C \, s.t. Q(x) \)
: \( [\exists x \in C \, s.t. P(x) \,\, \land \,\, \exists x \in C \, s.t. Q(x)] \) has proved.

수학적 개념의 정의를 구성하는 또 다른 정의들을 이용해 꼬리에 꼬리를 물고 수학의 추상화를 기묘한 흐름으로 따라가 보았다. 당연해 보이는 대상을 엄밀한 정의로서 규정하는 과정이 필연적으로 추상적이면서도, 동시에 아주 직관적인 성격을 띠는 것이 수학의 매력 중 하나라고 생각한다.

그리고 직관적인 것 같으면서도, 생각하면 생각할수록 추상적으로 느껴지는 양화사에 대한 이야기도 풀어보았다. 양화사가 수학의 구조를 구성하는 심층부인 집합론과 수리논리에서 직관과 추상이 공존하는 개념의 예시로 의도에 부합했기를 기대한다.

이런 내용은 글의 서두에 넣는 것이 더 적절할 것이다. 그러나 작가는 독자들이 해당 글의 정갈하지 않은 흐름과 주제를 그대로 따라와 주길 바랐다.