아마존과 같은 온라인 상점에서 물품을 구매할 때마다 고객의 데이터는 자동으로 업데이트 돼 클라우드에 있는 수천 개의 가상 머신(VM)에 저장된다.

따라서 규모가 크건 작건 이런 온라인 비즈니스에서는 무엇보다 수백 만 명에 달하는 고객 데이터의 안전과 보안을 보장하는 일이 필수적이다. 그러나 지금까지 이런 소트프웨어 시스템이 오류나 해킹, 취약성으로부터 안전하다는 것을 보장할 방법이 없었다.

미국 컬럼비아대 공대 연구팀이 최근 이런 보안 문제에 대한 해결책을 내놨다.

이들은 수학적 증명을 통해 클라우드 시스템에서 가상 머신의 보안을 보장하는 최초의 시스템인 SeKVM을 개발하고, 26일 열린 제42차 국제전기전자공학자협회(IEEE) ‘보안과 사생활’ 심포지엄에서 논문으로 발표했다.

연구팀은 이번 연구가 시스템 소프트웨어 검증의 미래 혁신을 위한 기반이 돼, 새로운 사이버-복원 시스템 소프트웨어 세대로 이어지기를 기대하고 있다.

공식 검증된 최초의 클라우드 컴퓨팅용 시스템

SeKVM은 클라우드 컴퓨팅을 위해 공식적으로 검증된 최초의 시스템이다. 공식 검증은 소프트웨어가 수학적으로 정확하고, 프로그램 코드가 정상적으로 작동하며, 우려할 만한 숨겨진 보안 오류가 없음을 증명하는 중요한 단계다.

컬럼비아대 컴퓨터 사이언스 교수이자 소프트웨어 시스템 연구소 공동 소장인 제이슨 니에(Jason Nieh) 박사는 “실세계의 다중 프로세서 소프트웨어 시스템이 수학적으로 정확하고 안전한 것으로 나타난 것은 이번 처음”이라며, “이것은 사용자의 데이터가 클라우드에서 실행되는 소프트웨어에 의해 올바르게 관리되고 보안 오류나 해킹으로부터 안전하다는 것을 의미한다”라고 설명했다.

정확하고 안전한 시스템 소프트웨어 구축은 컴퓨팅에서 가장 큰 과제 중 하나로 꼽힌다. 니에 교수는 1999년부터 컬럼비아 공대에 재직해 오며 다양한 측면에서 소프트웨어 시스템을 연구해왔다.

2018년 공식 검증 전문가인 구 롱휘(Ronghui Gu) 조교수가 컴퓨터 사이언스과에 합류하자 니에 교수와 구 교수는 공식 검증 탐구를 위해 서로 협력하기로 합의했다.

이들의 연구는 큰 관심을 불러 일으켰다. 두 사람은 아마존 연구 어워드를 비롯해 국립과학재단의 여러 연구 보조금을 받았고, 미 국방고등연구계획국(DARPA)과 SeKVM 프로젝트 추가 개발을 위한 수백 만 달러의 계약을 맺었다. 니에 교수는 이 작업과 관련해 뛰어난 창의력을 가진 연구자에게 수여하는 구겐하임 펠로십도 받았다.

기존 하이퍼바이저의 취약성

지난 12년 동안 연구팀은 다중 프로세서 운영체제 검증 작업을 포함해 공식 검증에 많은 관심을 쏟아왔다. 구 교수는 “그러나 그 모든 연구들은 아무도 실생활에서 사용하지 않는 작은 장난감 같은 시스템에서 수행됐다”라며, “리눅스(Linux)와 같이 널리 사용되는 다중 프로세서 상용(常用) 시스템을 검증하는 것은 불가능하다고 생각해 왔다”라고 말했다.

그런데 클라우드 컴퓨팅의 기하급수적인 성장에 따라 기업과 일반 사용자들은 데이터와 컴퓨터 사용 장소를 클라우드 호스트에서 운영되는 가상 머신으로 옮겼다.

아마존과 같은 클라우드 컴퓨팅 제공업체는 이런 가상 머신을 지원하기 위해, 다수의 운영체제를 하나의 컴퓨터 시스템에서 가동할 수 있게 하는 하이퍼바이저(hypervisor)를 도입했다.

하이퍼바이저는 클라우드 컴퓨팅을 가능하게 하는 핵심 소프트웨어로, 가상 머신 데이터의 보안은 이 하이퍼바이저의 정확성과 신뢰성에 달려있다.

하이퍼바이저는 이렇게 중요하지만 좀 복잡하다. 전체 리눅스 운영체제를 포함할 수 있으나 코드에 한 가지 취약한 링크가 존재한다. 이 취약점을 기존 테스트 방법으로는 검색해 내기가 불가능해 해킹에 취약해질 수 있다.

하이퍼바이저가 99% 정확하게 작성됐더라도 해커는 여전히 취약한 특정 1% 설정에 몰래 스며들어 시스템을 통제할 수 있다.

수학 이용해 시스템 안전성 처음 보장

니에와 구 교수의 이번 작업은 상용 시스템, 특히 아마존과 같은 클라우드 제공업체가 운용하는 가상 머신에 사용되는 범용의 KVM(Kernel-based Virtual Machine) 하이퍼바이저에 대한 최초의 검증이다.

이들은 KVM에 약간의 변화를 가한 SeKVM이 안전하며, 가상 컴퓨터들이 서로 격리돼 있음을 보증할 수 있었다.

논문 공동 제1저자이자 구교수의 박사과정생인 리 수펭(Xupeng Li) 연구원은 “수학적 보장을 통해 우리 시스템이 개인 데이터와 컴퓨팅을 보호하고 안전을 지킬 수 있음을 보여주었다”라며, “이는 처음으로 이뤄진 성과”라고 강조했다.

SeKVM은 대규모 시스템의 보안 속성을 검증하기 위한 새로운 프레임 워크인 마이크로브이(MicroV)를 사용해 검증됐다. 연구팀이 미세검증(microverification)이라고 부르는 이 검증법은 시스템의 작은 변화가 검증을 한층 손쉽게 할 수 있다는 가설을 기반으로 하고 있다.

이 새로운 계층화 기술은 기존 시스템을 개조해서 작은 코어들로 보안을 강화하는 구성요소들을 추출해 전체 시스템의 보안을 검증하고 보장한다.

은행 시스템, 사물인터넷, 자율주행차와 암호화폐까지 보호

대형 시스템을 개조하는데 필요한 변경 사항들은 매우 적다. 연구팀은 만약 대형 시스템의 작은 코어가 온전하다면 시스템이 안전하고 개인 데이터가 유출되지 않는다는 사실을 입증했다. 이것이 KVM과 같은 대형 시스템을 검증할 수 있는 방법으로, 이전에는 불가능하다고 생각했었다.

니에 교수는 “집을 생각해 보면, 마른 벽체에 균열이 있다고 해서 집 전체의 통합성이 위험에 처한 것은 아니다”라며, “여전히 구조적으로 건전하고 핵심 구조 시스템이 좋은 것을 알 수 있다”라고 말했다.

니에 교수의 박사과정생이자 논문 공동 제1저자인 리 시-웨이 리(Shih-Wei Li) 연구원은 “SeKVM은 은행 시스템과 사물인터넷 장치에서부터 자율주행 차량과 암호화폐에 이르기까지 다양한 영역에서 보호 장치 역할을 할 것”이라고 덧붙였다.

최초로 검증된 상용 하이퍼바이저인 SeKVM은 클라우드 서비스의 설계와 개발, 활용 및 신뢰 방식을 변경할 수 있다. 사이버 보안이 점점 더 우려되는 상황에서 이같은 복원력은 수요가 매우 높을 것으로 전망된다. 주요 클라우드 회사들은 이미 이런 수요를 충족시키기 위해 SeKVM을 활용하는 방법을 모색하고 있는 것으로 알려진다.