사대부의 복장에 큰 갓을 쓰고 붓으로 방정식을 써서 풀고 있는 수학자. 이런 모습은 상상만 해도 낯설다. 우리 조상들이 수학공부를 했다는 이야기는 어떤 역사책에서도 본 적이 없기 때문이다.

심지어 역사를 바탕으로 상상력을 가미한 퓨전 사극에서조차 수학하는 조상들의 모습을 상상하려고 시도한 적이 없다. 그래서 처음 우리나라에 서양의 피타고라스의 정리에 해당하는 ‘구고술’이 있다는 이야기를 들었을 때 놀라움보다 의심하는 마음이 먼저 들었다.

그렇다면 다음과 같이 한번 생각해보는 것은 어떨까? 먼저 송나라의 손목이 쓴 「계림유사」에 소개되어 있는 고려시대의 단어를 읽어 보자. 하둔, 도패, 세단, 내, 타수, 일수, 일급, 일답, 아호, 열. 이번에는 다 함께 수를 세어보자. 하나, 둘, 셋, 넷, 다섯, 여섯, 일곱, 여덟, 아홉, 열! 아닌 듯하면서도 묘하게 들어맞지 않는가! 전자는 고려시대의 수사(數詞)이고 후자는 현대의 우리말 수사다. 일, 이, 삼, 사의 중국수사가 아닌 한국의 고유 수사가 분명히 존재했음을 우리말 자신이 기억하고 있는 것이다. 이렇게 수(數)를 인지하고 고유한 이름을 붙였다는 사실은 동시에 그 수를 이용한 ‘수학’의 존재를 암시해주는 것이 아닐까?

생각해보면 당연히 우리에게도 수학은 있었다. 예컨대, 하나의 고인돌을 지어 올리기 위해서도 필요한 노동력을 적절하게 배분하는 수학이 필요했을 것이다. 석굴암의 기하학적 비례는 수학 없이는 상상할 수도 없다는 것을 우리 모두가 잘 알고 있다. 안타깝게도 고인돌과 관련된 수학은 중국식 한자가 들어오기 전이라 문헌에 남아 있지 않기 때문에 그 당시의 수학적 사고에 대해서 설명하기 어렵다고 한다. 사료가 풍부한 조선시대를 중심으로 희미해져 버린 우리의 옛 수학을 다시 한 번 조명해보도록 하자. 이번 연재에서는 산술학을 중심으로 알아보기로 한다.

지금의 우리는 수 자체만을 탐구의 대상으로 삼는 것에 익숙하다. 예컨대 소수를 정의하고 성질을 연구하며, 완전수라는 재미있는 성질의 수를 찾아내기도 한다. 이런 연구는 마치 수가 구체적인 사물과 마찬가지로 존재하는 것으로 간주하는 태도가 바탕이 되는 것이다. 우리는 이런 수의 세계관이 ‘당연’하다고 느끼고 있지만, 이것은 ‘익숙’해진 것일 뿐이다. 실은 이러한 수리사상은 그리스 수학의 전통 속에서 성장한 유럽 수학 세계관인 것이다.

중국 수리사상의 주제는 수(數) 자체가 아니었다. 수는 어디까지나 하늘의 의지를 나타내는 것으로 기능할 뿐이었다. 수는 만물에 깃든 지배원리이며, 수를 읽는 것은 우주만상의 이치를 읽는 것이었다. 중국인들은 수가 천체의 운동을 계산하고 도량형을 정하는 등 효용성을 가지고 있다는 것은 알았다. 하지만 결국 수리사상에서 무언가 실재하는 것에 대해 말해야 한다면 그것은 수가 아니라 오히려 하늘이었다. 따라서 중국의 수리연구는 구체적인 현상과 일정한 수 사이의 관계를 따지는 식이었다. 수의 기능을 중요시하는 실천주의적 전통을 갖고 있었던 것이다.

우리나라의 수학은 이러한 중국의 수학 전통의 영향 아래에 있었다. 따라서 수 자체에 대한 연구가 이루어지지는 않았다. 조선시대에는 주역의 전통을 따라 음양, 오행과 수 사이의 관계를 연구하는 양반 수학자들과 세금계산과 토목공사의 현장에서 수들의 관계를 계산해내는 중인수학자들이 있었다.

재미있게도 양반 수학자들에게는 ‘마방진’이 꽤 인기 있는 연구테마였다. 1부터 n까지의 수를 n행 n열의 정사각형 모양으로 배열하라! 단, 어떤 행이나 열, 대각선을 선택해도 그 합은 항상 같도록 하라! 이 신비로운 수의 배열이 얼마나 사람의 호기심과 상상력을 자극했던지 이것의 영어이름은 'magic square'이며 마방진은 이 말을 번역한 것이다.

양반 수학자들은 수에 세상을 설명할 수 있는 의미를 부여하려고 했으며, 이 때 기본이 되는 것이 음양오행설이었다. 특히 오행설은 모든 대상을 5가지로 분류해서 생각하는 것이었다.

중국 전설에 나오는 낙서(洛書) 마방진(낙수에서 나온 거북의 등에 그려진 마방진)이 대표적인 예다. 낙서 마방진은 가운데 숫자 5를 중심으로 둘러가며 (9,4), (3,8), (1,6), (7,2)의 순서쌍을 만든 후 생각해보면 순서쌍 안에서의 차가 항상 5라는 사실을 알 수 있다. 이런 이유로 이 마방진은 오행설의 입장에서는 이상적인 수표가 되었으며 달력을 만들 때 이 표를 이용하기도 했다고 한다.

우리 수학자 최석정도 마방진 연구에 일가견이 있었다. 그는 자신의 저서 「구수략」에서 무려 48개의 마방진을 새로 작성하여 소개하고 있다. 특히 <낙서구문면>이라는 마방진은 거북이의 등껍질 모양을 연상시키는 6각형 모양의 매우 드문 마방진이다.

서양인들은 마방진으로 어떤 연구를 했을까? 그들은 아마도 마방진에 배열된 수의 성질이나 수들 사이의 관계를 연구하며 그것이 정수론의 발달에 이바지했을 것이다. 사실, 마방진에 대한 일반적인 원리는 아직도 밝혀지지 않은 상태이며 최근 고등수학으로 무장한 수학자들이 다시 마방진 공략에 나서고 있다고 한다.

중인 수학자들의 관심은 일상생활의 구체적인 문제풀이에 있었다. 실은 그런 문제풀이 능력이 그들의 삶의 수단이었다. 특히 그들은 복잡한 세금 계산 문제를 해결하는 데 있어서 훈련된 문제해결 전략과 정확한 계산을 특기로 하여 나라의 부름을 받았다. 당시 대동법이라는 조세법은 현물로 받던 세금을 모두 돈으로 환산하여 수납하던 방식인데, 현물과 화폐의 등가 교환을 계산해야 할 필요가 있었던 것이다. 따라서 이러한 때에 발휘될 수학적인 능력은 마치 하나의 가업처럼 가족 내에서 전수되는 경우가 많았다.

그 외에도 중인 수학자들은 공평과세를 위해 토지의 넓이를 계산하는 일, 그리고 토지의 넓이와 등급에 따라 수확량을 재는 일들도 해결해야 했다. 이런 문제들은 그리스인들도 마주치게 되는 문제였는데, 재미있게도 두 문명에서 그것을 해결하는 방법은 달랐다. 우리 중인 수학자들은 동양의 전통에 따라 대부분 방정식 해법을 이용하고 발전시켜 나갔다. 그리스인들은 그들이 만들어낸 뛰어난 기하학으로 문제를 풀어나갔지만 방정식 해법은 거의 시도하지도 않았다.

서양인들의 방정식 혐오증은 그들이 음수를 이해하지 못했기 때문이었다. 방정식의 해법은 가끔 너무 쉽게 음수의 존재를 노출시키는데 가령 X+6=3 같은 간단한 방정식의 해도 X=3 으로 음수가 되곤 했다. 서양 수학에서는 놀랍게도 18세기까지도 음수의 개념을 발전시키지 못해서, 영국의 옥스퍼드대학에서조차 방정식을 풀다가 마이너스 해가 나오면 내동댕이 쳐버렸을 정도라고 한다.

반면 동양에서는 음양론이 기본사상이었다. 기본사상은 철학으로만 그치는 것이 아니라 문화 전반에 반영된다. 오행설로 마방진을 설명하려 했던 양반 수학자들의 일화에서처럼 기본사상의 손길이 닿은 것은 수학도 예외는 아니었다. 양이 있으면 음이 있어야 한다는 사실이 상식인 문화권에서 양수에 대응하는 음수의 존재를 인식하는 것은 자연스러운 일이었다.

그런데 지금의 우리가 방정식을 세워 문제를 해결하는 장면을 생각해보면, 조선시대 중인 수학자들에게는 한 가지 어려운 점이 있었으리라 예상할 수 있다. 바로 필산의 어려움이다. 조선시대에는 아직 숫자조차도 한자로 써야 하며, 간단한 셈의 기호조차 없어 방정식을 세웠어도 일일이 기록하여 문제를 해결하기에는 고역이었을 것이다. 한자는 기록용이지 계산용 문자가 아니었던 것이다.

사실, 중인 수학자들에게는 필산의 필요성을 느끼지 못할 만큼 익숙하고 편한 다른 셈법이 있었다. 바로, 산가지 셈(나뭇가지 셈, 산목산)이다. 산가지 셈은 중국에서 수입해서 2천년도 넘게 사용해온 우리나라 전통 셈법이었다. 산가지로 숫자를 나타내는 방법은 그림과 같으며 아라비아 숫자체계처럼 숫자가 놓이는 자릿수가 매우 중요하기 때문에 자릿수에 따라 산가지의 방향을 엇갈리게 놓아 서로 섞이지 않게 했다. 일의 자리는 가로, 10의 자리는 세로, 100의 자리는 또 가로로 놓아가는 식이다. 자릿수가 의미를 가지므로 해당 자리를 비워두게 되면 0을 표시하게 되므로 우리나라와 중국에서도 약 2천년 전부터 0은 없었으나 0의 개념은 가지고 있었다고 볼 수 있다. 아울러 음수를 표현할 때는 숫자의 마지막에 산가지 하나를 비스듬히 놓아두면 된다.

개화기 때부터 시작된 노력으로 지금 우리의 수학적 혹은 수학 교육적 환경은 완전히 그리스에 뿌리를 둔 서양 수학의 환경과 같아졌다고 볼 수 있다. 우리의 수학 교과과정도, 우리가 가치 있다고 생각하는 수학적 사고방식도, 심지어 우리가 ‘알고’ 있는 모든 수학적 지식이 서양 수학인 시대라는 것이다. 그래서 한 번 접해본 적도 없기에 과연 존재하는지부터 의문이었던 우리 옛 수학 궁금증으로 이 글을 시작했었는데, 「한국수학사」의 저자 김용운은 이에 관한 아주 섬뜩한 분석을 하나 내어놓고 있다. 우리가 본 적도 들은 적도 없지만 동양의 전통적인 수학관은 중국과, 일본, 그리고 우리나라의 현재 수학관에 여전히 강한 자국을 남기고 있다는 것이다.

한 예로 수학이란 무엇이며, 또 무엇이어야 하는가는 플라톤 이래의 철학적 반성이 결여되어 있다는 것이다. 그리고 수학은 곧 계산이라고 파악하는 전통적인 기술주의적 수학관이 교사나 학부모들로 하여금 결과보다 과정을 중시하는 수학교육과정에 반발하도록 한다는 것이다. 1977년 상황의 보고이지만 여전히 귀담아 들어야 할 내용이다.

양반 수학자와 중인수학자. 조선시대의 수를 다루는 집단은 이렇게 두 부류가 있었지만, 사람들의 머릿속에 수학의 인상을 확실하게 새겨놓는 데 성공한 집단은 중인 수학자들인 듯하다.