열린 집합, 닫힌 집합, 극한점의 탄생 (원제: The emergence of open sets, closed sets, and limit points in analysis and topology)

21 minute read

Published:

Original Articles: here (published in Historia Mathematica by Gregory H. Moore)

Comment: 위상수학과 해석학에 등장하는 general topological notions의 역사에 관한 article입니다. 위상수학을 수강한 후 정리하는 차원에서 읽어보면 좋을 거 같습니다. 20페이지 가량의 페이퍼 중 일부만을 번역했습니다.

Last Update: Dec 6, 2018


해석학과 위상수학에서 열린 집합, 닫힌 집합, 극한점의 탄생

목차
0. 초록
1. 도입
2. 바이어슈트라스, 극한점, 그리고 볼차노-바이어슈트라스 정리
3. 칸토어, 극한점, 그리고 유도 집합
4. 열린 집합에 관해 실패로 돌아간 접근법
5. 프랑스 수학계의 극한점 수용
6. 극한점과 연결성
7. 닫힌 집합에 관한 중대한 오류
8. 열린 집합들은 어디에?
9. 프레셰와 일반 위상수학
10. 하우스도르프와 일반 위상수학
11. 적자생존
12. 위상공간: 시에르핀스키와 쿠라토프스키
13. 실해석학과 조합적 위상수학에서의 위상공간
14. 열린 집합에 기반된 위상공간

0. 초록

일반 위상수학은 열린 집합, 닫힌 집합, 극한점 간의 상관 개념을 중요히 이용한 실복소해석학에 뿌리를 두고 있다. 이 글은 이 세 가지 개념들이 19세기말부터 20세기초 사이에 어떻게 나타났고 발전됐는지 (특히 바이어슈트라스, 칸토어, 르벡 덕분에!)에 대해 살펴볼 것이다. 특히 추후의 발간되지 않았던 강의록에서 발견된 볼차노-바이어슈트라스 정리의 다른 형태도 살펴볼 것이다. 데데킨트에 의해 도입됐지만 실패로 돌아간 초기 열린 집합의 개념을 살펴보고, 어떻게 페아노와 조르단이 그 개념들의 도입에 거의 다다랐는지에 대해서도 살펴볼 것이다. 또한 20세기 초 반세기동안 일반 위상수학의 근간을 결정하려는 사투 속에서 이 세가지 개념의 상호작용에 대해서도 알아볼 것이다.

1. 도입

20세기동안 실복소해석학은 열린 집합, 닫힌 집합, 극한점 등의 개념에 상당히 의존하고 있었다. 이 글은 위상수학을 개념을 이끌어냈던 서로 얽혀있는 아이디어들의 기원과 발전에 대해 알아볼 것이다. 가장 초기의 아이디어는 바이어슈트라스의 의해 고안됐으나 칸토어에 의해 널리 알려진 극한점이다. 닫힌 집합은 칸토어에 의해 다소 나중에 생겨난 개념이고, (데데킨트의 초기의 열린 집합개념을 제외하고는) 열린 집합은 가장 나중에 생긴 아이디어다. 당시 열린 집합의 다소 더딘 보급은 현재의 열린 집합의 중요성에 견주어 봤을때 굉장히 놀랍다.

이런 아이디어들이 해석학에서 어떻게 발전됐는지 논의한 후, 위상공간의 발전에 대해 다룰것이다. 이런 공간들은 현재 보편적으로 열린 집합에 베이스를 두고 있다. 어떤 개념을 가장 기본적인것으로 택해야하고 어떤 공리가 저런 공간을 위해 가정되어야 했는지 분명하지 않던 시기가 있었다. 추상 위상공간의 발전은 프레셰가 ‘L-space’ (무한수열의 극한을 원시적인 아이디어로 택한 것)를 도입하면서 1904년에 시작됐다. 프레셰는 L-space를 바이어슈트라스의 정리를 일반화하며 추상적인 골격으로써 사용했다.

하우스도르프가 1914년에 도입한 근방공간은 경쟁상대였던 프레셰의 L-spaces, 프레셰의 거리 공간, 리스 프리제시 공간 등을 대체하는데 실패했다. 결국 이런저런 일 끝에 하우스도르프의 것보다 좀 더 일반적이고 열린 집합을 베이스로 한 위상공간에 대한 개념이 등장했다. 수 십년동안 위상공간의 정의에 대해 논쟁이 있었는데, 그 중 어떤 건 오늘날 우리가 흔히 받아들이는 위상공간의 정의보다 좀 더 일반적이었다. 해석학에서는 거리공간이 수십년동안, 특히 1920년대는 바나흐 공간이 중심이 되었다. (추후엔 좀 더 일반적인 위상 벡터 공간으로 대체된다.)

2. 바이어슈트라스, 극한점, 그리고 볼차노-바이어슈트라스 정리

극한점은 칸토어가 이름을 붙이고 처음으로 발표했으나, 사실 바이어슈트라스에 의해 고안된 개념이었다. 극한점은 20년간 이어진 바이어슈트라스의 강의에서 볼차노-바이어슈트라스 정리를 기술하면서 반복적으로 등장한다. 여기서 바이어슈트라스가 그의 정리를 위상수학의 일부로 보기보단 오히려 고전적 해석학의 정리로 여겼음은 짚고 넘어가야한다.

볼차노-바이어슈트라스 정리는 바이어슈트라스의 20년간의 강의에서 다양한 형태를 취하고 있고 바이어슈트라스가 어떻게 극한점을 사용했는지 잘 보여준다. 이 글에서는 볼차노-바이어슈트라스 정리의 다양한 버젼의 차이점에 대해 살펴볼 것이다. 볼차노-바이어슈트라스 정리의 가장 초기 형태는 1865년의 강의노트에서 등장하는데, 바이어슈트라스는 이를 두고 2차원에서의 보조정리라 여겼다. 무엇보다도 이 첫 버젼은 집합을 이용한 외형적인 형태보단 ‘성질’로 생각하는 내포적인 형태로 기술됐다. 아주 흥미롭게도, 첫 버젼은 ‘근방’(추후에 위상수학에서 중요하게 여겨진다.)이란 개념을 사용하고 있었다. 아래가 첫 버젼의 명제인데 왜 ‘내포적인 형태’인지 알 수 있다. “평면의 유계인 공간에 어떤 성질을 만족하는 점이 무수히 많을 때, 유계의 공간 내부 혹은 경계에 그 점의 어떠한 근방을 잡아도 그 안에 앞서 언급된 성질을 가진 점들이 무수히 많은, 그런 점이 적어도 하나는 존재한다.”

지금도 쓰이고 있는 바이어슈트라스 정리의 다음 버젼은 1868년 여름학기동안 있었던 강의에서 등장했고 성질 뿐만 아니라 함수의 측면에서 다음과 같이 기술됐다. “어떤 함수가 유한한 정의역에서 어떤 성질을 무수히 자주 가진다면, 그 정의역 안에 다음의 특별한 특징을 만족하는 점이 존재한다. 바로 그 점의 어떠한 근방을 잡아도, 그 안에 앞서 언급된 명확한 성질을 가지는 점이 무수한 많은 것이다.”

추후에 좀 더 강하고 발전된 버젼이 나오며 결과적으로 2차원에서 유한차원 실복소 공간까지 확장한다. 바이어슈트라스가 무엇을 위해 볼차노-바이어슈트라스 정리를 사용했는지 궁금할 수 있는데, 이는 바이어슈트라스의 1876년 논문에서 등장하는 복소함수의 본질적 특이성과 관련이 있다. 그의 1878년 강의에서는 함수보단 집합의 측면에서 정리를 기술했고, 마침내 1886년 강의에서는 지금의 볼차노-바이어슈트라스 정리를 기술한다. 하지만 20년동안 사용하던 정리에서 등장하는 개념(극한점)에 이름을 붙이지 않았다는건 꽤 흥미로운 사실이다. 이 개념은 칸토어가 극한점이라 부른 것과 정확히 일치한다.

3. 칸토어, 극한점, 그리고 유도 집합

칸토어는 1872년에 실함수의 삼각급수 표현의 유일성에 관한 정리를 확장하면서 집합의 극한점이란 개념에 “Grenzpunkt”란 이름을 붙였다. 칸토어가 정의한 직선 상의 점 집합의 극한점은 “근방”의 정의에 뿌리를 두고 있었는데, 사실 그 정의는 구간의 내부(interior)의 정의에 뿌리를 두고 있는 것이었다.

칸토어: “내가 이해하기론, 점 집합 P의 극한점은 직선 위에 위치하고 있는 어떤 점인데, 그 점은 그 점의 모든 근방이 P의 무수히 많은 원소를 포함하고 있는 것이다. 물론 그 극한점은 P의 원소일 수도 있다. 여기서 어떤 점의 “근방”은 ’내부’에 그 점을 포함하고 있는 구간들이다. 이로부터 무수히 많은 점들을 포함하고 있는 점 집합은 반드시 적어도 하나의 극한점을 가진다는 것을 쉽게 보일 수 있다.”

극한점의 정의로 시작한 위 단락은 볼차노-바이어슈트라스 정리로 끝나는데, 흥미롭게도 칸토어는 이 정리의 출처를 전혀 언급하지 않았고 (볼차노-바이어슈트라스 정리가 성립하려면 필요한) 유계집합 조건에 관해 서술하지 않았다. 두 가지 모두 아마 부주의로 인한 실수인 듯하다. 왜냐면 이후 1882년에 칸토어는 “함수이론에서 가장 포괄적인 방식으로 정리를 처음 서술하고 증명했다”고 바이어슈트라스에게 공을 돌렸기 때문이다.

1872년 논문에서 칸토어는 바로 새 용어인 “극한점”을 사용해 점 집합 P의 유도집합을 정의했다. 그리고 유도집합을 얻는 연산을 n번 하여 얻는 집합을 P(n)이라 했다. 칸토어도 바이어슈트라스와 마찬가지로 볼차노-바이어슈트라스 정리, 극한점, 유도집합을 위상수학의 일부보단 고전 해석학의 일부로 여겼다. 칸토어가 위상수학을 언급하는 건 굉장히 드문 경우였다.

극한점의 개념은 실해석학에 관한 책을 통해 곧장 이탈리아에서 퍼져나갔고, 해당 서적에서 볼차노-바이어슈트라스 정리는 칸토어의 버젼보다 좀 더 자세하게 기술되었다. 또한 이탈리아의 수학자 살바토르 핀체는 이 정리를 유한 유클리디안 공간으로 확장했다.

그리고 1882년의 발간되지 않은 편지에서 스웨덴 수학자 미타크 레플레르가 칸토어에게 어떤 a가 존재해 실수의 조밀한 곳이 없는 집합(nowhere dense set) P의 P(a)가 공집합임을 (사실이라면) 보일 수 있겠느냐 물어봤다. 당시 이와 관련된걸 증명하고 있었기에 이에 대한 답변은 미타크 레플레르에게 굉장히 중요했다. 미타크 레플레르에겐 불행히도 4일 뒤 칸토어는 그럴 수 없다고 답변했다. 반례는 모두가 잘 알고 있는 칸토어 집합(Cantor set)이다.

몇 년후, 1884년에 칸토어는 처음으로 “극한점을 자신의 원소로 가지는 집합”으로서 닫힌 집합을 정의하고 이와 관련된 성질 몇 가지를 증명한다. 모든 닫힌 집합은 어떤 집합의 유도집합임과, 두 집합의 합집합의 유도집합은 각 집합의 유도집합의 합집합임을 보였다. 전자는 아니지만 후자의 경우 일반 위상 공간에서도 성립하게 된다.

열린 집합의 개념이 칸토어에게 어떤 식으로 도움이 될 수 있었을까에 대한 좋은 예시는 오늘날 위상수학자들이 “셀 수있는 사슬 조건 (Countable Chain Condition)”이라 부르는 것이다. 서로 만나지 않는 열린 집합 모음의 모든 집합이 셀 수 없으면(uncountable) 위상공간이 이 조건을 만족하게 되는데, 칸토어는 “유한차원 공간에서 서로 만나지 않는 열린 집합의 개수는 셀 수 있다.”로 각색될 수 있는 정리를 증명했었다.

4. 열린 집합에 관해 실패로 돌아간 접근법

칸토어는 직선 상에서 조차 열린 집합의 일반적 아이디어를 사용하지 않았다. 대신 1872년에 “구간의 내점”이란 개념을 사용했고, 몇 년후인 1879년엔 연속 점 집합의 내점이란 개념을 사용했다. 그래도 칸토어의 내점에 관한 정의는 추후 1887년에 주세페 페아노가 제안한 정의에 꽤나 가까웠다. 페아노는 점 집합 A에 대해 A의 내점을 “양수인 r인 존재해 그 점과 거리가 r보다 작은 모든 점이 A에 속하는 그런 점”으로 정의했다. 또한 칸토어보다 더 나아가 점이 A의 외부에 있음을 그 점이 A의 여집합의 내부에 속한다고 정의했고, A의 경계점을 A에 대해 외부도 내부도 아닌 점으로 정의했다.

페아노의 아이디어는 당시 열린 집합의 정의를 쉽게 이끌어 낼 수 있음에도 그렇지 못 했다. 그는 집합의 경계를 정의했고 원하기만 했다면 열린 집합을 내점의 집합으로 정의할 수 있었다. 하지만 1892년의 카미유 조르당에게도, 1887년의 페아노에게도 이런 일은 일어나지 않았다.

사실 페아노나 조르당의 아이디어 꽤나 유사했던 아이디어는 이미 몇 년전부터 데데킨트에 의해 당시에 출판되지 않았던 필사본에서 진전을 이루고 있었다. “공간에 관한 일반적인 정리들”이라 이름이 붙여진 간략한 필사본은 데데킨트가 “Körper”라 부르는 것의 정의로 시작한다.

“점 집합 P은 다음의 조건을 만족할 때 Körper를 형성한다. 점 집합의 임의의 점 p에 대해 적당한 길이 d가 존재해, p로부터 거리가 d 이하인 모든 점들이 P의 원소일 때 말이다. 그리고 이러한 점들 p는 P의 안에 있다고 부른다.”

여기서 데데킨트의 Körper는 추측컨대 n차원의 유클리디안 공간에서의 열린 집합과 정확히 일치한다. 데데킨트는 이 Körper 혹은 열린 집합을 뭘 했을까? 바로 Körper란 개념을 이용해 점이 Körper의 외부에 있다는 것이 어떤 의미인지 정의했다. 이 두 개의 정의로부터 경계점, 경계 등을 정의했고 마지막 결과는 바로 Körper의 경계는 Körper가 될 수 없다는 것이었다.

에미 뇌터에 따르면 데데킨트가 칸토어에게 1879년에 보낸 편지에서 이 필사본을 언급하며, 그가 한창 디레클레의 강의를 출판하고, 디리클레 원리를 엄밀하게 다룰 참이었던 몇 년 전에 작성했다고 언급했다고 한다. 실제로 데데킨트는 “제가 보기엔 꽤 좋은 기반과 토대를 제공할만한 정의들을 가지고 있었어요. 하지만 이후 저는 그 모든 걸 다 제쳐뒀죠. 저는 그 당시 디리클레의 정수론에 관한 강의에 완전히 푹 빠져있어 (그 정의들에 대해) 완전하게 다룰수 없었거든요.” 데데킨트의 필사본은 가장 기초적인 시작만 해뒀기에 이를 출판할 의도가 없었다는 건 그리 놀라운 일은 아니다. 하지만 그 누구도 열린 집합을 정의하는 것에 대해 생각치 못한 시기에 데데킨트가 열린 집합의 개념을 정의했다는 건 꽤나 놀라운 일이다.

이후 피에르 듀각[1976]과 페레이로스[1999]는 데데킨트가 사실상 거리공간에서 이론을 전개했다고 보고 있다. 이는 꽤나 오해의 소지가 있을 법한 얘긴데, 왜냐면 프레셰가 거리공간에 대해 1906년에 처음으로 고안했기 때문이다. 그래도 거리의 개념으로 표현된 데데킨트의 정의나 증명은 여전히 임의의 거리공간 상에서도 참이다.

5. 프랑스 수학계의 극한점 수용

극한점의 개념은 두 가지 길을 통해 프랑스로 퍼졌나갔다. 앙리 푸앙카레가 1883년 논문에서 극한점을 언급하며 유도집합 같은 칸토어의 여러가지 정의를 사용한 것이 첫 번째 통로였다. 하지만 칸토어의 용어들을 아무 설명 없이 독일어 그대로 남겨두어 다른 프랑스 수학자들은 칸토어의 아이디어들을 습득하지 못 했다. 두 번째 길은 칸토어의 논문의 프랑스 번역판을 호의적으로 리뷰했던 줄스 타너리를 통해서였다. 타너리는 집합의 극한점, 볼차노-바이어슈트라스 정리 등을 소개했고 내점, 외점, 경계점 등이 정의돼있는 페아노의 책을 리뷰했다. 아마 카미유 조르당도 이 리뷰를 보며 관련 개념을 습득했을 것이다.

1892년 정적분에 관한 논문에서 조르당은 칸토어의 아이디어를 새롭고 유익한 방식으로 사용한다. 조르당은 n차원 공간에서 “택시 거리”를 정의한 뒤 칸토어와는 다소 다르게 극한점을 정의한다. 유도집합의 정의는 칸토어를 따랐으나 닫힌 집합을 “완전”(perfect)이라 정의하며 칸토어가 정의한 용어와는 상반된 의미를 가지게 되었다.조르당의 작업물로 충분히 열린 집합을 정의할 수 있었으나 그러지 않았다. 그럴 필요성을 느끼지 못한 것이다. 오히려 경계점을 정의하고 경계가 닫혀있음를 보이는데 더 큰 관심이 있었다.

위의 아이디어들을 1년 뒤 논문의 개정판에 포함시키는데, 극한점의 정의를 갑자기 바꿔버린다. 바로 극한점을 수열의 극한 형태로서 정의한 것이다. 조르당이 만들었던 두 가지 정의가 동치임을 보이기 위해선 선택공리가 필요한데 그 당시에는 명확히 있던 개념이 아니었다.

타너리와 조르당의 결과물은 후세의 프랑스 수학자(에밀 보렐, 르네루이 베르, 앙리 르베그)에게 지대한 영향을 미친다.

6. 극한점과 연결성

점집합의 연결성이란 개념은 19세기 중반의 연속체와 관련이 있었는데, 19세기 중반 당시엔 열림, 닫힘에 대한 어떠한 개념도 제안되지 않았던 시기였다. 볼차노가 죽은 후 발간된 논문 ‘무한의 역설’[1851]에서 볼차노는 연속체란 어떤 개체들(점, 원소 등)의 모임인데, 이 개체이 잘 나열돼 있어 각각의 개체에서 충분히 작은 거리 안의 근방에 그 모임의 다른 개체가 발견되는 것으로 정의했다. 칸토어는 볼차노의 연속체의 정의에 대해 격렬히 반대했는데, 왜냐면 이 정의를 따르게 됐을 때 여러 분리된 연속체들로 이루어진 집합도 연속체가 될 수 있었기 때문이다. 하지만 볼차노의 연속체 정의가 칸토어가 “연결성”이라 부르는 개념을 정의하게끔 이끈 듯하다. 칸토어는 1883년, 연결성을 다음과 같이 정의한다. “집합 M은 다음의 조건을 만족할 때 연결되었다고 얘기한다. 임의의 양수 e, 임의의 M의 원소 a, b에 대해 유한한 n과 M의 원소인 p1,…, pn이 존재해서 ap1, p1p2, …, pnb 각각의 거리가 모두 e보다 작을 때 말이다.”

그 후 1892년 정적분에 관한 조르당의 논문에서 꽤 다른 연결성에 대한 정의가 등장한다. 우선 유한차원 유클리디안 공간에서의 유계 닫힌 집합에 한정시켜, 그 집합이 두 개의 “분리된” 닫힌 집합으로 나눠지지 않으면 연결이라 정의했다.

유한 유클리디안 공간의 임의의 집합에 대해 적용가능한 연결의 첫 정의는 1905년 레네즈(Lennes)에 의해 제안되었고 6년 후 출판되었다. 레네즈는 점집합을 두 개의 비 공집합 B, C으로 합집합으로 표현했을 때, 둘 중 적어도 하나의 집합이 다른 집합의 극한점을 포함할 경우 연결되어있다고 정의했다.

7. 닫힌 집합에 관한 중대한 오류

세기가 지나면서 (후에 생기는 컴팩트성과 관련된) 닫힌 집합에 관한 수많은 오류들이 생겼다. 후르비츠는 “f가 닫힌 집합 P에서 닫힌 집합 Q로 대응되는 일대일 연속함수일 때 f의 역함수 또한 연속하다”고 주장했으나 P의 유계조건이 없는 경우 성립하지 않는다.

쇤플리스는 후르비츠의 명제를 참으로 받아들여 “완전집합 P의 일대일 연속함수의 치역 또한 완전집합이다.”고 주장했으나 이 역시 P의 유계조건이 필요하다.

아이러니한 건 쇤플리스가 오류를 범하기 10년 전에 이미 조르당이 정확한 조건 하에서 정확한 증명을 했었고, 쇤플리스가 조르당의 논문을 인용했다는 것이다.

8. 열린 집합들은 어디에?

열린 집합과 뗄 수 없는 정리가 하나 있다면, 영미권 및 독일에선 ‘하이네-보렐 정리’라 부르고 프랑스에선 ‘보렐-르베그 정리’라 부르는 것이다. (* 하이네는 독일 수학자이고 보렐, 르베그는 프랑스 수학자입니다. 프랑스의 나라사랑…) 사실 후자의 이름이 좀 더 정확하나 이와 관련된 역사는 꽤나 복잡하니 나중으로 미루자. 이 정리는 1920년대에 제안된 “쌍컴팩트”란 (하지만 이제는 컴팩트로서 더욱 친밀한) 개념을 사용하고 있다. 열린 집합이 컴팩트를 기술하는데 있어 필수불가결한 요소이기에, 이 정리를 기술하는데 없어선 안 될 개념이다.

그럼에도 에밀 보렐이 박사 논문에서 이 정리의 첫 버젼을 기술할 때 열린 집합을 언급하지 않았다. 오히려 이 첫 버젼을 측도이론과 보렐 측도집합 내용을 전개할 때 필요한 일부로 보았다. 참고로 이 첫 버젼과 지금의 하이네-보렐 정리 사이에는 30년의 간극이 있다. 열린 집합의 구상은 보렐이 첫 버젼을 쓴 4년 후에 르네루이 베르가 그의 박사논문에서 해낸다. 하지만 르베그와 마찬가지로 베르 또한 이런 위상적인 아이디어를 해석학의 도구로 여겼을 뿐 위상수학 그 자체에는 큰 관심을 가지지 않았다.

열린 집합이란 이름은 르베그 측도 및 르베그 적분을 도입하려는 시도에서 탄생한 1902년 르베그의 박사 논문에서 유래한다. 조르당의 책 [Cours d’analyse]의 영향을 받은 르베그는 이 책으로부터 내점, 경계의 정의를 채택한 뒤 직선 상에서 경계점을 원소로 가지지 않는 집합을 “열림”(ouvert)으로 정의한다. 또한 열린 집합의 원소는 내점임과 열린 집합의 여집합이 닫힘을 덧붙인다. 이로써 열린 집합은 보렐 측도가능임을 밝히게 되었다. 이 당시 보렐은 보렐 측도집합을 ‘닫힌 구간’으로 시작했기 때문에 이 부분은 꼭 짚고 넘어가야했다.

보렐이 만든 첫 버젼 정리를 보면 덮개는 구간 형태다. 하지만 정작 유한 유클리디안 공간에서의 일반적인 열린 집합 개념을 확립한 르베그가 이 정리를 일반화하면서 덮개를 일반화하지 않고 구간의 형태로 기술했다. 실제로 그의 1904년 책에서도, 책의 2판이 발행된 1928년에도 덮개는 그대로 구간 형태였다. 그래도 1905년, 헝가리 수학자 리스 프리제시에 의해 보렐의 첫 버젼 정리가 단순한 직선 상의 집합으로부터 연결된 열린 집합으로 확장됐다. 하지만 나중이 돼서야 연결성이 이 정리와 무관함이 밝혀졌고, 연결성 없이 성립한다는 것이 분명해졌다. 이후에도 르베그는 그 누구보다도 열린 집합에 대해 상세히 다루며 획기적인 업적을 남겼지만 수학 사회에서는 다소 느리게 퍼져나갔다.

9. 프레셰와 일반 위상수학

유클리디안 공간으로부터 좀 더 추상적인 공간으로의 일반화는 1904년 모리스 프레셰의 L-spaces의 도입으로써 시작되었다. 바이어슈트라스 정리의 확장이 동기가 되어 L-spaces가 등장했다. 수열과 그 극한으로써 극한점, 연속, 닫힘, 컴팩트등을 정의하였다. 가령 공간 X의 부분집합 A의 극한점은 A의 서로 다른 원소로 구성된 수열의 극한으로 정의했고, 닫힌 집합은 해당 집합의 극한점을 모두 포함하고 있을 때로 정의했다.

프레셰의 다음 논문은 L-space 도입의 동기를 명시하고 있었다 : “역학에서 벡터에 대한 기본적인 이론들이 힘, 모멘트, 속도에 대한 반복적인 증명을 피할 수 있게끔 해주는 것처럼, 이러한 방식으로 곡선, 함수, 점의 집합 이론 등을 분리해내는 것이 용이할 수 있다.” [1905]

그의 L-spaces는 이런 위상적 성질들을 따로 분리하고, 해석학으로부터 파생돼 해석학을 위한 도구로써 이용될 목적으로 행해진 시도였다. 이어서 1906년 박사논문에서는 L-spaces에 대해 더 깊이 파고들었고 거리공간을 도입했다. 하지만 프레셰 또한 극한점, 닫힘, 완전, 내점 등을 정의했으나 열린 집합에 대해선 정의하진 않았다.

프레셰의 박사논문의 핵심은 바로 스스로가 컴팩트 집합이라 부르는 것이다. 그는 집합 A의 임의의 무한 부분집합이 극한점을 가질 때 (하지만 이 극한점은 A에 속할 수도 아닐 수도 있다.) 집합 A를 컴팩트라 정의했다. 그가 만든 컴팩트 개념은 프레셰로 하여금 하이네-보렐 정리를 거리공간으로 일반화 할 수 있도록 해주었다.

10. 하우스도르프와 일반 위상수학

이제 유클리디안 공간을 벗어나 추상공간으로 나아간다. 추상공간에서의 열린 집합은 독일의 수학자 펠릭스 하우스도르프로부터 고안됐다. 하지만, 하우스도르프가 위상공간이라고 칭한 것은 오늘날의 우리가 받아들이는 위상공간보다 좀 더 구체적이었다.그가 기본적인 아이디어로 택한 것은 “점의 근방”이다. 사실 하우스도르프가 정의한 근방은 오늘날의 우리가 받아들이는 것과는 약간의 차이가 있다. 편의상 하우스도르프가 정의한 근방을 “근방 공간”이라 부르자. 이 근방 공간은 각각의 원소가 “점”이라 불리는 집합과, 이 집합의 부분집합들의 모임을 묶어서 칭하는 것이었는데, 이 때 4개의 공리를 만족하게 정의했다. 이 공리 중에는 우리에게 익숙한 “x, y가 다른 점일 때, x의 근방 U, y의 근방 V가 존재하는데 이 때 U, V의 교집합은 공집합이다.”도 있다.

이어서 하우스도르프는 내점을 오늘날의 우리도 알고 있는 형태로 정의하고, 경계점은 약간 다르게, 그리고 무엇보다도 열린 집합(Gebiet)을 “모든 점이 내점인 집합”으로 정의한다. 더 나아가 하우스도르프는 열린 집합이 임의의 합집합과 유한 교집합에 대해 닫혀있음을 보였다. 하지만 하우스도르프의 근방이 오늘날 받아들이는 근방과 정확히 대응되진 않는다. 하우스도르프가 정의했던 근방은 오늘날의 근방 기저로 불린다.

근방의 개념을 사용해 열린 집합을 정의한 뒤, 하우스도르프는 집적점와 닫힌 집합을 정의했다. 또한 닫힌 집합이 임의의 교집합과 유한 합집합에 대해 닫혀있음을 보였다. 하우스도르프는 프레셰가 정의했던 컴팩트의 이름을 그대로 따와 집합의 임의의 무한 부분집합이 집적점을 가지면 컴팩트라 정의했다. 그리고 하우스도르프가 보렐 정리라 칭했던 것은 다음과 같은 명제였다: “닫혀있고 프레셰-컴팩트인 집합 M이 무한히 많은 열린 집합의 합집합의 부분집합이면, M은 위의 열린 집합 모음에서 유한개만 가져온 것의 합집합의 부분집합이다.”

11. 적자생존

하우스도르프의 근방으로 표현된 공리에 기반한 위상공간의 등장에도 불구하고 그 후 10년간 위상공간 정의에 대한 일치된 의견은 없었다. 오히려 추상공간에 대한 다양한 컨셉들이 경쟁하기 시작했다.

1922년에 젊은 폴란드의 위상수학자 카지미에서 쿠라토프스키는 폐포(closure)(우리가 오늘날 사용하는 그 폐포다)라는 연산을 도입하며 위상공간에 대해 새로 정의한다. 편의상 쿠라토프스키가 정의한 위상공간을 폐포공간이라 부르자. 이 폐포공간은 집합과 폐포 연산, 그리고 4가지 공리를 만족하게끔 정의한다. 이어서 닫힘을 폐포와 일치하는 집합으로, 열림을 여집합의 폐포의 여집합으로 정의한다. 쿠라토프스키가 언급하진 않았지만, 하우스도르프의 근방공간에서 “두 점은 서로 만나지 않는 근방에 의해 분리된다” 공리가 빠지면 두 공간은 동일해진다. 그리고 이 폐포공간이 오늘날 위상공간이라 부르는 것의 첫번째 형태였다.

하우스도르프는 형용사인 “open” (“offen”)대신 명사형인 “Gebiet”을 썼는데, 독일의 수학자 콘스탄티노스 카라테오도리는 형용사인 “often”을 좀 더 선호했다. 그리고 1923년, 오스트리아의 위상수학자 하인리치 티에체는 카라테오도리가 쓴 책으로부터 형용사형인 “often”을 따르게 된다. 그나저나 티에체는 위상공간에 대한 공리와 기본적인 아이디어로서 근방 대신 열린 집합을 택하기 원했다. 그리고 하우스도르프의 근방공간의 공리를 최대한 유지하여 열린 집합을 통해 기술했고, 편의상 티에체가 정의한 공간을 O-공간이라 부르자. 티에체는 하우스도르프의 근방공간과 자신의 O-공간간의 흥미로운 관계를 발견했다. 근방공간의 모든 열린 집합을 모으면 O-공간이 되고 O-공간에서 x를 포함하는 열린 집합을 x의 근방으로 생각하면, 근방을 모두 모았을 때 근방공간이 된다는 것이었다. 참고로 티에체의 논문의 주요한 목적은 T2로 알려진 하우스도르프의 공리보다 좀 더 강한 분리공리들을 만들고 면밀히 살펴보기 위함이었다. 실제로 T2보다 더 강력한 티에체의 세 개의 분리공리가 바로 T3, T4, T5다.

12. 위상공간: 시에르핀스키와 쿠라토프스키

1926년, 폴란드의 위상수학자 바츠와프 시에르핀스키는 유도집합이 어떻게 위상수학의 근본적인 아이디어로 사용될수 있을지 자세히 분석하여 발표했다. 수학자들은 프레셰 이후로 근 20년간 다양한 주축이 되는 개념들을 잡아가며 위상공간에 대해 탐구했었다. 예를 들면 프레셰의 극한점, 리스의 집적점, 하우스도르프와 프레셰의 거리, 쿠라토프스키의 폐포등이 있다. 시에르핀스키는 유도집합 연산으로 접근했다. 시에르핀스키 또한 닫힘, 연결, 연속을 정의했고 “연결집합의 연속함수에 대한 치역은 연결이다.”을 보였다. 논문 말미에는 오로지 닫힌 집합을 유일한 근본 아이디어로 택하여 이론을 전개하기도 했다.

2년후 시에르핀스키는 열린 집합을 근본 아이디어로 사용해 이론을 전개하는 책인 [Topologia ogólna] (General Topology)을 펴냈다. 이 책에서 시에르핀스키 스스로가 하우스도르프보단 프레셰를 따라 열린 집합을 근본 아이디어로 선택했다고 여기고 있다. 책의 서두에서 “열린 집합을 기본 아이디어로 택하여 이론을 전개하는 것이 훨씬 간단하고 직관적으로 보인다”라 언급한다. 책이 캐나다에서 영어로 번역되어 출판된 1934년으로부터 1년 전, 쿠라토프스키 또한 불어로 된 위상수학 책을 펴냈다.(* 쿠라토프스는 폴란드인이다.) 이는 쿠라토프스키가 1922년에 썼던 논문을 토대로 공리에서 약간의 가감을 한 뒤 펴낸 책이었다. 시에르핀스키와 쿠라토프스키의 책 모두 완비 분리가능 거리공간 을 다루며 마무리되는데, 차이점이 있다면 시에르핀스키는 “모든 무한 유계 집합은 적어도 하나의 극한점을 가진다.”를 공리로 택했다는 것이다. 이 공리를 추가함으로써 유한 유클리디안 공간에 대해서는 얘기할 수 있으나 힐버트 공간에 대해서는 다룰 수 없게 된 것이다.

13. 실해석학과 조합적 위상수학에서의 위상공간

흥미롭게도 폴란드 위상수학자와 교류가 적었던 수학자들에 의해 위상수학은 실해석의 틀로써 사용됐다. 한-바나흐 정리로 유명한 한스 한이 그 수학자 중 하나다.

위상공간이 조합적 위상수학에서 쓰임새를 찾은 건 그닥 놀랍진 않지만, 쓰임새를 찾기까지 시간이 좀 걸렸다. 오즈월드 베블런이 1922년에 펴낸 책은 n차원 유클리디안 공간에서 n포체와 관련되어 있음에도 전혀 위상공간에 대해 언급하지 않았다.

그리고 얼마 가지 않아 조합적 위상수학 안에서 이런 상황이 격변하게 된다. 솔로몬 렙셰츠의 경우, 1930에 펴낸 책 [Topology]은 하우스도르프의 근방 공간을 다루며 시작하게 된다. 렙셰츠는 책에서 “[Topology or Analysis Situs]는 연속 변환 하에서 불변량과 공간의 특성을 공부하는 것으로 주로 정의된다. 하지만 공간은 무엇이고 연속 변환이란 무엇일까?” 질문에 대한 답으로 렙셰츠는 연속변환을 오늘날의 열린 사상으로서 정의했다. 그래서 상수 함수가 연속이 되지 않는 기이한 일이 일어났다. 그로부터 12년후 더 두꺼운 책 [Algebraic Topology]에서 열린 집합에 대한 오늘날의 표준적인 공리들에 기초하여 위상공간에 대해 더욱 자세히 다루었다. 다행히 이 책에서는 12년 전의 과오를 바로 잡았는데, 이번엔 연속변환을 “역변환이 열린 사상인 변환”으로 정의한다. 이 책에서 연결성, 컴팩트, 호모토피, 변형 또한 위상공간의 일반적 상황에서 다뤄졌다.

14. 열린 집합에 기반된 위상공간

20세기 중반의 프랑스 수학자 그룹 니콜라 부르바키(* 사람이름이 아니라 그룹의 필명입니다.)는 1935 ~ 1938년동안 일반 위상수학을 어떻게 다뤄야할지 결정하면서 프레셰, 리스, 헤르만 바일, 하우스도르프 등이 제안했던 개념들을 섞고 검토하면서 시작됐다. 1936년에 앙드레 베유가 부르바키로 제출했던 초안은 거리공간과 시작하는데 이를 통해 일반적인 공간으로 가야할 필요성을 피력했다. 반면에 클로드 슈발레는 거리공간 이전에 일반적인 위상공간을 다뤄야한다고 주장했다. 베유의 초안은 T0를 미리 가정하고 있었고 열린 집합, 닫힌 집합, 폐포, 근방 등으로 표현된 다양한 공리들간의 동치성에 몰두하고 있었다. 또 다시 슈발레는 반대하며 열린 집합에 대한 공리로 시작해야한다며 나머지는 부록으로 넘겨야 한다고 주장했다. 수학자 그룹 부르바키는 열린 집합으로 표현된 공리를 택하기로 결정했다. 실제로 이후엔 베유는 열린 집합에 관한 공리를 사용하고 있었고 더 이상 T0 공리를 가정하지 않았다.

1940년에 출판된 책에서 부르바키는 열린 집합을 유일한 근본적인 뼈대 아이디어로 사용했고, 두 개의 “열린 집합의 유한 교집합은 유한이다”, “열린 집합의 임의의 합집합은 열린 집합이다.”를 공리로 택한다. 그리고 이 두 가지 공리로부터 공집합, 전체집합의 열림을 체크한다. 하지만 수열보다 좀 더 일반적인 필터를 도입한 뒤 부르바키는 T2 공리를 가정한다. 왜냐하면 필터가 유일한 극한점을 가지는 것과 T2가 동치이기 때문이다.

미국에서 수십년간 가장 영향력 있었던 위상 교재는 존 켈리의 [General Topology]었다. 특히 켈리는 이 책에서 위상공간의 오늘날 표준적인 정의를 따르고 있으며 열린 집합을 근본 개념으로써 사용하고 있다. 켈리는 부르바키의 업적에 익숙했기에 열린 집합에 대한 부르바키의 2가지 공리를 분리공리 없이 채택했다. 추후엔 기존의 두 가지 공리를 좀 더 간결하게 풀어, 기존의 두 가지 공리에다 ‘공집합과 전체집합은 열려있다.’를 추가했다. 그리고 열린 집합으로만 기술된 이 4가지 공리는 오늘날 위상공간 정의의 표준이 된다. 그동안의 “적자생존”은 열린 집합을 기반으로 한 정의의 승리로 끝난게 된 것이다.