필자의 기억으로 우리나라 서점의 과학코너에 수학책이 범람하기 시작한 것은 2년 정도 밖에 안됐다. ‘이런 책도 나오네’ 할 정도로 수준이 높거나, 수학자에 대한 신변이야기 같은 것들도 버젓이 번역이 되어서 나온다.

다양한 수학 관련 책을 읽을 때 느끼는 가장 큰 괴리감은 천재적인 수학자들이 펼치는 수에 대한 놀라운 통찰력과 보통 사람들은 꿈도 꾸지 못할 엄청난 발견이다.

오스트리아 과학자가 보는 숫자의 문화사

전기와 자기의 원리를 발견하고 우주가 돌아가는 만유인력에 미분적분의 현란한 공식은, 더하기 빼기 나누기 곱하기 등 숫자라고는 4가지 원칙만 가지고 살아가는 사람들의 자존심에 여지없이 구멍을 뚫는다.

그리고 이런 수학책을 읽을 때, 가장 알고 싶은 한 가지 질문이 있다. 그렇다면 '너 수학은 도대체 무엇이냐?' 하는 가장 근본적인 질문이다.

오스트리아 빈 대학 공과교수인 루돌프 타슈너(Rudolf Taschner)가 쓴 Die Zahl, Die Aus Der Kälte Kam (냉정에서 나온 수)는 이 같은 질문에 하나의 해답을 준다.

‘보통 사람들을 위한 특별한 수학책’으로 이름을 바꾼 이 책은 수를 문화사의 측면에서 설명했다. 수에 대한 이야기는 많이 나오지만, 수식은 안 나오므로 독자들이 읽기 쉽다. 수가 역사적으로 어떤 역할을 했는지에 대해서도 알기 쉽게 설명한다.

사람들은 누구나 수에 대해 머리를 굴리다가 낭떠러지에 아찔하게 서 있는 경험을 해 봤을 것이다. 10진법에 의해서 1 다음에 0을 끝도 없이 계속 덧붙이면 결국 나중에 어떤 무한의 숫자가 나올까? 그리고 반대로 0.1에서 0. 다음에 수없이 많은 0을 죽을 때 까지 붙여서 0.000000…1을 쓴다면 과연 그같이 무한히 적은 수가 존재할 것인지, 존재한들 무슨 의미가 있는지 하는 내용이다.

은하계에는 1,000억 개의 별이 있고, 이 같은 은하계가 1~2조 개라고 하니 대락 100,000,000,000,000,000,000,000개의 별이 있다는 내용을 읽을 때 사람은 너무나 초라한 나의 모습에 아찔함을 느낀다.

수학이 이런 아찔함에 어떤 해답을 줄 수 있을까?

루돌프 타슈너는 인도의 한 현자와 왕에 대한 이야기에서 시작한다. 마하라자(힌두 제왕)가 사랑하는 왕비를 잃고 실의에 빠져 국정도 돌보지 않았다. 신하가 한 현명한 노인을 데리고 와서 실의에 빠진 마하라자를 위로하는 임무를 맡겼다. 현자는 가로 8개 세로 8개 격자무늬로 된 체스 나무판을 가지고 왔다.

몇 달 동안 체스를 가르치면서 슬픔을 벗어나게 하자, 마하라자는 현자에게 무슨 소원이든 들어주겠다고 말했다. “쌀 한 톨에서 시작해 다음 칸으로 이동할 때 마다 두 배로 올리는 식으로 체스판 전체에 놓이게 될 쌀을 모두 주시면 좋겠습니다.”

마하라자는 ‘이렇게 욕심이 없다니’ 하고 승낙했다. 그러나 실제로 쌀 알을 놓아보니 엄청났다. 마지막 64번째 칸에 들어갈 쌀 알의 양을 계산하면 800경이나 된다. 체스판 전체에 놓아야 할 쌀 알은 1600경이 넘는데 정확한 수는 18,446,744,073,709,551,615개가 된다.

수는 통치자의 전유물로 백성들을 지배하는 수단으로 사용됐다. 파라오는 나일강 범람일을 독점해서, 백성들에게 신기한 능력을 가진 것으로 가장했다. 사람들은 두 개는 ‘짝’이라고 부르고, 3개 이상 숫자는 많다고 생각했을 것으로 저자는 본다.

실제로 프랑스에서 ‘매우’라는 말은 très라고 하는데 이 단어는 3이라는 숫자를 나타내는 trois와 같은 어원이다. 목동이 손가락 사이의 홈을 가지고 숫자를 세었다면 8이 가장 큰 수였을 것이다. 이것이 9를 나타내는 독일어의 neun이 ‘새로운’이라는 neu와 같고, 프랑스 어는 9이라는 숫자와 ‘새로운’이라는 단어가 아예 똑같이 neuf 이다.

결국 수는 계산을 하는 것 못지 않게 문화적인 의미가 깊다. 현대 과학에 들어와서도 마찬가지이다. 그래서 결국 수학의 발전과 함께 등장하는 것이 ‘그렇다면 수학이 무엇인가’ 하는 근본에 관한 질문이다.

무한은 공허한 개념, 실체는 없다?

저자는 독일 괴팅겐의 유명한 수학자인 다비트 힐베르트(David Hillbert 1862~1943)에서 출발한 수학에 대한 진지한 성찰에서 찾는다. 힐베르트는 “이그노라비무스(Ignorabimus)는 없다”고 선언했다. 이것은 ‘우리는 모르고 앞으로도 모를 것이다’(Ignoramus et ignorabimus)라는 말을 부정한 것으로, 철학자의 얼굴을 하고 문명의 몰락을 예언하는 사람들에 대한 반격이었다.

어렵거나 복잡한 문제는 알 수 없다는 내용이다. 그러나 힐베르트는 이같은 불가지론을 배격했다. 같은 맥락에서 힐베르트는 무한은 커다란 힘이나 압도적인 무게라고는 없는 공허한 개념이라고 생각했다.

힐베르트의 제자 중 한 명인 헤르만 바일(Hermann Klaus Hugo Weyl 1885~1955)은 이 논리를 더욱 발전시켜 결정적인 이야기를 한다.

무한 자체는 수가 아니다. 그것은 수의 배경으로서 그것이 없이는 셈 자체를 생각할 수 없을 것이다. 이렇게 생각한 바일은 '수학이 무엇인가'에 대해서 이렇게 말했다.

“수학은 무한에 대한 과학이다.”

무한에 대한 막연한 두려움을 떨쳐버리게 하면서도, 수학의 특징을 이 보다 더 잘 보여주는 말이 또 있을까?