무려 나비에-스토크스 방정식이다

9월 8일 화요일, OpenAI가 짧은 성명 하나를 올렸다. 자사의 미공개 내부 모델이 밀레니엄 문제 중 하나인 나비에-스토크스 방정식의 존재성과 매끄러움 문제를 풀어냈다는 내용이었다. 맙소사, 무려 그 유명한 나비에-스토크스 방정식이다. 이어서 수 시간 만에 "AI가 100만 달러짜리 수학 난제를 정복했다"는 제목의 기사가 전 세계 언론을 뒤덮었다.

참고로 나비에-스토크스 방정식은 19세기에 세워진 이래로 유체 역학 전반의 근간이 되어 온 방정식이다. 비행기 날개 주위의 공기 흐름, 일기예보, 혈관 속 혈류 시뮬레이션까지, 이 방정식 없이는 설명할 수 없는 현상이 셀 수 없이 많다. 그런데 정작 이 방정식이 수학적으로 얼마나 "안정적인지"는 아무도 완전히 알지 못했다. 매끄러운 초기 조건에서 출발한 유체가 시간이 흐르면서 무한한 속도로 발산하는 특이점, 즉 "붕괴"를 일으킬 수 있는지 없는지가 근본적인 질문이었다.

결과부터 살펴보자

클레이 수학연구소는 2000년에 이 문제를 공식화하면서, 찰스 페퍼먼이 작성한 네 개의 세부 진술(A, B, C, D)을 제시했다. A와 B는 외부에서 아무런 힘이 가해지지 않는 경우를 다루며, 해가 영원히 매끄럽게 유지되는지를 묻는다. C와 D는 물리적으로 타당한 매끄러운 외력이 가해지는 경우를 다루는데, 이 경우에도 해가 항상 매끄럽게 유지되는지, 아니면 유한한 시간 안에 붕괴할 수 있는지를 묻는다. 네 진술 중 어느 하나라도 증명하거나 반증하면 100만 달러의 상금을 받을 수 있다는 것이 클레이연구소의 원래 규정이다.

OpenAI가 내놓은 결과는 이 중 C와 D를 겨냥한 것이다. 매끄러운 힘을 받는 정지 상태의 유체가 에너지는 유한하게 유지하면서도 유한한 시간 안에 특이점을 만들어낼 수 있음을 보였다는 주장이다. 다시 말해 "항상 매끄럽다"는 쪽이 아니라 그 반대, 즉 붕괴가 실제로 일어날 수 있다는 쪽을 증명했다는 것이다. 회사는 이 결과를 165쪽 분량의 논문과, 형식 증명 언어인 Lean 4로 작성한 코드로 함께 공개했다. 다만 회사 스스로도 클레이연구소의 100만 달러 상금을 청구할 의사는 없다고 밝혔다.

이 결과를 만들어낸 과정도 흥미롭다. OpenAI에 따르면 새 모델의 훈련은 8월 28일에 시작됐고, 9월 1일 두 명의 외부 수학자가 유체 방정식 관련 난제에서 진전을 이뤘다는 소문을 듣고서 회사는 남아 있는 여섯 개의 밀레니엄 문제 전체에 이 모델을 투입했다. 처음에는 좀 더 단순한 형태인 오일러 방정식(점성이 없는 나비에-스토크스의 사촌 격)에 1,000개의 에이전트를 붙여 약 50시간 만에 풀어냈고, 이후 전체 나비에-스토크스 문제에는 최대 1만 개의 에이전트를 동시에 투입해 주말 사이에 결과를 얻었다고 한다. 발표에 따르면 결과가 나오기까지 약 88시간, Lean 형식 검증까지 마치는 데 추가로 17시간 정도가 더 걸렸다. 이 과정에서 에이전트들이 주고받은 메시지는 나비에-스토크스 문제만 놓고도 270만 건에 달했고, 소비한 컴퓨팅 비용은 수백만 달러 규모로 알려졌다. 연구를 이끈 세바스티앙 뷔베크 연구원은 이전에 회사가 내놓았던 수학 관련 결과물보다 약 1,000배 많은 컴퓨팅 자원이 투입됐다고 언급했다.

그래서, 완전히 "풀렸다"고 할 수 있나

결론부터 말하면 아직은 아니다. 클레이수학연구소는 이번 발표 시점까지 이 결과를 공식적으로 인정하지 않았고, 문제 상태 역시 여전히 "미해결"로 남아 있다. 따라서 현재 밀레니엄 문제 일곱 개 가운데 지금까지 실제로 해결이 확정된 것은 2003년 그리고리 페렐만이 증명한 푸앵카레 추측 하나뿐이다.

여기서 주목할 점은 Lean과 같은 형식 검증 언어가 무엇을 보장하고, 무엇을 보장하지 않는지다. Lean은 주어진 공리와 추론 규칙으로부터 특정 명제가 논리적으로 도출되는지를 기계적으로 확인해 준다. 다시 말해 "이 증명 안에서 논리적 비약이나 오류가 없는가"를 검증하는 도구다. 하지만 그 명제 자체가 클레이연구소가 요구하는 원래 문제의 조건—초기 데이터의 감쇠 조건, 외력이 매끄럽다는 정의, 해가 속하는 함수 공간 등—을 정확히 포착하고 있는지는 Lean이 판단해 주지 않는다. 형식화 과정에서 조건 하나라도 미묘하게 어긋나 있다면, 코드가 문제없이 컴파일되더라도 그것이 곧 밀레니엄 문제의 진짜 해답이라는 뜻은 아니게 된다. 그래서 지금 수학계가 하고 있는 일은 이 165쪽짜리 논문과 형식화된 명제를 한 줄 한 줄 대조하며, 실제로 페퍼먼이 써 놓은 조건과 정확히 일치하는지를 확인하는 작업이다. 이 검증에는 시간이 걸릴 수밖에 없다.

실제로 발표 당일에도 벌써 기술적인 이견이 나왔다. 프린스턴대의 스탠 팔라섹은 외력을 완전히 제거한 형태(즉 원래의 A, B 진술에 가까운 방향)로 결과를 확장하려는 한 가지 제안된 경로에 대해, 점성으로 인한 에너지 손실이 특이점을 만드는 메커니즘을 압도할 수 있다는 반론을 제기했다. 이는 어디까지나 외력을 없애는 특정 경로 하나에 대한 지적이며, 이미 발표된 "외력이 있는" 형태의 결과 자체를 무효화하는 것은 아니다. 다만 이런 지적이 발표 당일부터 곧바로 나왔다는 사실 자체가, 이 결과가 아직 학계의 최종 승인을 받지 못한 상태임을 잘 보여준다.

그림자 속의 다툼

그런데 매우 흥미로운 점은 발표 직전 벌어진 우선권 다툼과, 발표 직후 이어진 수학자들의 신중한 반응을 따라가다 보면, 이 사건이 단순한 "AI 승전보"로 정리되기 어려워진다는 점이다. 사실 이번 발표에는 화려한 성과 뒤에 씁쓸한 뒷이야기가 딸려 있다.

발표 하루 전인 9월 7일, 뉴욕대의 트리스탄 벅마스터 교수와 앤트로픽 소속 수학자 레벤트 알푀게가 오일러 방정식과 부시네스크 방정식, 비압축성 다공성 매질(IPM) 방정식에서 각각 유한 시간 붕괴를 증명한 논문 세 편을 Lean 검증과 함께 공개했다. 이들의 연구는 8월 15일에 이미 핵심 결과를 얻은 상태였고, 디에고 코르도바와 루이스 마르티네스-소로아가 개척한 "외력을 이용한 붕괴" 기법—이전까지는 물리적으로 덜 타당한 거친 형태의 외력에서만 붕괴를 보일 수 있었던 방법—을 매끄러운 외력까지 완전히 확장한 성과였다.

문제는 그다음이다. 벅마스터는 자신들의 미공개 연구 내용이 발표 며칠 전 어떤 경로로든 OpenAI 쪽에 전해졌고, 이것이 OpenAI 에이전트들이 이 방향으로 문제를 공략하도록 이끌었을 가능성이 있다는 성명을 OpenAI의 공식 발표보다 약 열두 시간 앞서 올렸다. 그는 뷔베크와의 통화가 험악하게 흘러간 과정도 함께 전했다. 언론 공개를 언급하자 상대방이 경력을 걱정해야 할 것이라는 취지로 경고했고, 협조적으로 나오지 않으면 자신도 더는 우호적으로 대하지 않겠다는 뜻을 내비쳤다는 것이다. 또한 OpenAI 측이 나비에-스토크스 결과의 저자로 벅마스터 단독 서명을 제안하면서, 그 조건으로 경쟁사 앤트로픽 소속인 알푀게를 공동 저자 명단에서 빼 달라고 요구했다는 주장도 나왔다. 알푀게가 이 연구를 앤트로픽 업무의 일환으로 수행한 것은 아니라는 점도 함께 언급됐다.

OpenAI 측은 이런 주장들을 사실이 아니며 선동적이라고 반박했다. 뷔베크는 두 사람의 사전 연구 결과나 프롬프트를 참고하거나 접근한 적이 없다고 못 박았고, 오일러 방정식에 대한 두 진영의 증명 방식에 상당한 차이가 있다는 점을 근거로 들었다. 다만 나비에-스토크스 전체 문제로 확장하는 접근 방식 자체는 벅마스터와 알푀게가 택한 경로와 상당히 유사했다는 점은 인정했다. 샘 올트먼 CEO도 뷔베크의 반박을 재게시하며, 회사가 선의로 두 사람에게 연락을 취했다는 입장을 재확인했다.

이 논쟁을 지켜본 학계의 반응도 엇갈린다. 필즈상 수상자인 UCLA의 테렌스 타오는 벅마스터와 알푀게의 오일러 방정식 결과를 "놀라운 성취"라고 평가하며, 같은 방법을 나비에-스토크스까지 확장하는 데 뚜렷한 걸림돌이 보이지 않는다는 견해를 밝혔다. 다만 이는 OpenAI가 공개한 나비에-스토크스 논문 자체를 검토하고 내놓은 평가는 아니라는 점을 분명히 해 둘 필요가 있다. 타오는 별도로 올해 들어 눈에 띄게 벌어지고 있는 한 가지 현상, 즉 "답을 얻는 것"과 "그 답을 이해하는 것" 사이의 간극이 이례적으로 커지고 있다는 우려도 밝혔다. 발표 며칠 전에는 나비에-스토크스 문제에서 눈에 띄는 진전 소식을 접한 바 없다고 말하면서, 설령 AI가 완전한 해를 내놓더라도 그 탐색 과정이 블랙박스로 남는다면 수학계에 주는 가치는 거의 없는 것이나 마찬가지라고 경고하기도 했다.

이번 사건이 남긴 것은?

이번 사례에서 눈에 띄는 대목은 증명의 결론 자체보다, 그 결론에 이르는 과정이 완전히 새로운 방식으로 이뤄졌다는 점이다. 한 명의 천재가 오랜 시간 홀로 씨름해서 얻은 통찰이 아니라, 수천 개의 에이전트가 동시에 서로 다른 경로를 시도하고, 메시지를 주고받으며 서로의 시도를 검증하고 폐기하기를 반복하는 과정에서 나온 결과이다. 이런 방식은 탐색 공간이 지나치게 넓어 사람의 손으로는 다 훑기 어려운 문제에서 특히 위력을 발휘한다. 동시에 이번 논쟁이 보여주듯, 그 과정이 다른 연구자의 미공개 아이디어를 얼마나, 어떤 경로로 흡수했는지를 외부에서 검증하기가 매우 어렵다는 문제도 함께 따라온다.

물론 이는 비단 이번 사례만의 문제가 아니다. AI 기업들이 연구자들이 미공개 상태로 사용하는 도구—코딩 보조 모델이나 대화형 AI—를 통해 아직 발표되지 않은 아이디어에 간접적으로 노출될 가능성은 앞으로도 계속 제기될 수밖에 없는 구조적인 질문이다. 구글 딥마인드를 비롯한 일부 연구 기관이 이미 AI와 인간이 협업한 결과물에서 각자의 기여를 투명하게 기록하자는 방안을 제안한 바 있지만, 아직 업계 전반이 합의한 규범은 없다. 이번 논쟁이 정확히 그 공백 속에서 벌어졌다고 볼 수 있다.

결국 지금 확실하게 말할 수 있는 것은 많지 않다. 수학계는 아직 이 증명을 검증하는 중이고, 클레이연구소는 아직 판정을 내리지 않았으며, 누구의 아이디어가 어디에서 시작됐는지를 둘러싼 다툼도 정리되지 않았다. 다만 한 가지는 분명해 보인다. 방정식이 매끄럽게 유지되는지 아니면 어느 순간 무너지는지를 둘러싼 90년 묵은 질문에 대해, 이제는 그 답을 찾는 작업 자체를 누가—혹은 무엇이—수행했는지를 묻는 질문이 함께 따라붙게 됐다는 사실이다.