아무도 알아주지 않는 길이 있다. 그래도 그 길을 묵묵히 걷는 이가 있다면 분명 이유가 있을 것이다. 그에 대한 자신만의 확고한 신념이나 혹은 그 무엇과도 바꿀 수 없는 이끌림 등을 먼저 떠올릴 수 있다.

조선시대 수학에 대한 연구를 하고 있는 홍성사 한국수학사학회 회장(서강대 교수)도 그런 학자 중의 한 명이다. 홍 회장은 퇴타술(유한급수론)과 구고술(피타고라스 정리) 등 조선의 산학 및 산학자 등에 대한 논문을 잇달아 내놓고 있다.

그가 전공도 아닌 수학사에 본격적으로 매달리게 된 것은 약 8년 전부터. 수학계의 1세대 선배들이 수학사학회를 하는 데 참여하지 않겠느냐는 권유에 자연스레 응하게 된 것이 그 계기다. 하지만 홍 회장이 누구도 거들떠보지 않는 수학사 연구에 뛰어들게 된 것은 이미 오래 전부터 예견된 일이었다.

“대학을 마치고 대학원에 들어갔을 때 신학을 전공한 한태동 박사님을 만나 사고하는 방식을 배우게 되었습니다. 그래서 접하게 된 것이 부르바키(Bourbaki) 학파였는데, 수학 문제를 파고드는 데 있어서도 철학적 동기가 무엇이냐를 따져 구조적으로 접근하는 것이 특징이지요.”

그처럼 구조주의적 사고로 학문에 접근하다 보니 역사에 대한 관심을 가질 수밖에 없었다는 설명이다.

조선시대 수학자 중 실제로 수학적 구조를 가지고 제대로 한 이로 홍 회장은 이상혁을 꼽는다. 1810년에 태어난 이상혁은 합천 이씨로서 12대에 걸쳐 모두 64명의 주학 합격자를 낸 집안에 속해 있다.

그는 철종 대에 기하와 삼각함수법 등 서양수학을 소개한 ‘산술관견’과 서양의 대수방정식으로 불리는 차근방이 동양 전통의 대수방정식인 천원술과 일맥상통함을 밝힌 ‘차근방몽구’를 펴냈다. 그리고 13년 후인 1868년 조선 산학에서 최초로 시도된 개념화를 이룬 저서 ‘익산’을 출판하게 된다.

“이 책은 현대 수학의 입장에서 봐도 정말 구조적으로 수학을 했다는 걸 알 수 있습니다. 특히 하권에서 정리한 퇴타술은 그 당시 어디 내놓아도 창의적이고 훌륭한 방법을 도입했고, 결과도 구조적으로 정리해 놓았습니다. 따라서 이 책을 시점으로 조선 산학의 수학화가 이루어졌다고 볼 수 있죠.”

그럼 산학과 수학의 차이점은 과연 무엇일까. 중국의 가장 오래된 산법으로 전해오는 ‘구장산술’ 이래 써온 용어로서 ‘금유(今有)’라는 말이 있다. ‘여기 있다’라는 가정을 뜻하는 용어로서, 이런 가설에서 이런 결론이 나온다는 것을 의미한다. 하지만 거기에는 어떻게 그런 방정식이 나오는지에 대한 이론적 배경과 증명이 없었다. 이 금유의 형태를 완전히 벗어난 서적이 바로 이상혁의 ‘익산’이다.

덕분에 한 일본 수학사가는 모두 중국 수학의 주해뿐이었던 조선에서 전대미답의 경지를 개척한 이가 이상혁이라는 평가를 했다는 말이 전해지기도 한다.

그러나 조선시대에 출판된 최초의 수학연구서인 ‘익산’ 이후 이상혁의 연구 성과는 후대에 제대로 전수되지 않았다. 조선 수학의 싹을 이상혁이 틔웠지만 더 이상 발전하지 못함으로써 한국 수학의 발전에 단절이 생긴 것이다.

그 이유는 공동연구자이자 후원자이기도 했던 남병길의 사망에서 원인을 유추해볼 수 있다. 조선 후기의 천문학자로서 형조판서와 좌참찬을 지낸 사대부 남병길과 공동연구를 한 덕분에 중인인 이상혁은 많은 도움을 받을 수 있었다.

하지만 ‘익산’을 출판한 다음해인 1869년 남병길이 사망한 후 두 사람의 오랜 공동연구가 끝나고 더 이상의 결과도 나오지 않았다. 그 이후 이상혁이란 이름은 어느 기록에도 나오지 않아 그가 언제 사망했는지조차 알려지지 않고 있다.

홍 회장도 이상혁을 연구하면서 직접 합천 이씨의 족보까지 샅샅이 살펴보았지만, 종3품 벼슬까지 지낸 이상혁에 대한 기록을 찾을 수 없었다.

홍 회장이 뛰어난 조선의 수학자로 꼽는 또 다른 이는 숙종과 영조 때의 수학자 홍정하이다. 이상혁과 마찬가지로 중인 계급으로서 대대로 수학을 하는 집안에서 태어난 홍정하는 서양 수학에 대한 자료를 접하지 않고 혼자 연구했지만, 당시 중국 수학에 비해 훨씬 앞서 있었다. 특히 그의 저서 ‘구일집’을 보면 나름대로 창의성 있게 문항을 배열하여 현대 수학자들이 보기에도 감탄할 만하다는 것.

“힘든 점요? 요즘은 중국과의 교류가 활발해서 수학사에 관한 고서를 구하기가 훨씬 쉬워졌습니다. 자료가 너무 많아서 탈이라고 할까요. 허허허. 그러나 모든 책이 한문으로 되어 있어서 해독하기가 쉽지 않아요. 그 때문에 젊은 학자들이 도전하기가 쉽지 않죠. 또 SCI 논문 외의 것은 학문이 아니라는 분위기도 문제가 되고요.”

내년이면 정년을 맞아 학교를 떠나게 되는 노 교수의 희망사항은 이상혁과 홍정하처럼 대단한 업적을 남긴 우리의 수학자들에 대해 한번쯤은 대중적인 조명이 이루어졌으면 하는 바람이다. 특히 오는 2010년은 이상혁의 탄생 200주년으로서 수학사학회 차원에서 행사를 계획하고 있다고.

인터뷰를 하는 홍 회장의 연구실 책상 위에는 한자가 빽빽이 적힌 두툼한 고서 한 권이 펼쳐져 있었다. 어렵고 힘든 연구에 계속 매달리고 있지만 그의 표정은 결코 외로워 보이지 않았다. 조선시대 수학에 대해 같이 연구를 하는 부인(홍영희, 숙명여대 수학과 교수)이 있어서일까. 아니면 이상혁과 홍정하 같은 조선시대 천재들에 대한 매력적인 이끌림이 그를 행복하게 만드는 것일까.