# 상황1. 지난 1985년 캐나다의 의료기업체인 AECL이 암 종양 제거를 위한 방사선 치료기인 ‘테락 25(Therac 25)’를 개발하여 상용화에 나섰다. 강한 방사선을 안전하게 제어할 수 있는 장치를 SW로 조종할 수 있도록 개발한 의료기였다. 하지만 SW 오류로 인해 제어 장치가 작동하지 않아 환자들이 방사선에 피폭되면서 5명 이상의 사람들이 사망했다.

# 상황2. 2000년 대 초반까지만 해도 전 세계 자동차 시장을 호령했던 도요타는 2009년에 일어난 렉서스 자동차 급발진 사고로 인해 천문학적인 손해를 보았다. 탑승자 전원이 사망하면서 900만 대의 차량이 리콜되며 5조 원 이상의 경제적 손실을 입은 것. 급발진 사태의 원인은 다름 아닌 전자제어장치(ECU)에 내장된 SW의 결함 때문인 것으로 밝혀졌다.

# 상황3. 보잉 737 MAX 기종을 보유하고 있는 인도네시아와 에디오피아의 여객기가 각각 지난해와 올해에 추락하면서 189명과 157명이 사망했다. 원인은 ‘받음각(AOA) 센서’의 SW 오류로 ‘조종특성향상시스템(MCAS)’이 가동되면서 사고가 난 것으로 드러났다.

AI 시대를 대비한 SW 안전 정책 방향 수립

산업 전 분야로 인공지능(AI) 기술 도입이 확산되고 있는 상황에서 지난 5일 코엑스에서는 AI 시대에 대비해, 보다 안전한 SW 정책 방향을 논의하는 행사인 ‘SW 안전 국제 컨퍼런스 2019’가 개최되었다.

과학기술정보통신부가 주최하고 소프트웨어정책연구소(SPRi)가 주관한 이번 행사는 AI 기술 도입에 따른 SW 안전 이슈 동향과 AI 시대를 대비한 SW 안전 정책 방향을 전문가들과 함께 모색해 보고자 히는 취지로 마련되었다.

‘2020년 SW 안전 정책 방향’이란 주제로 발제를 맡은 진회승 소프트웨어정책연구소 안전팀장은 도요타 자동차의 급발진 사고 사례를 거론하며, SW의 결함으로 인해 AI 시스템에서 오류가 발생할 수 있음을 경고했다.

진 팀장은 “현재 공공 부문별로 AI 시스템이 활용되고 있는 곳은 우주·항공 분야나 국방 또는 보건 분야 등 상당히 다양하다”라고 언급하며 “예를 들어 우주·항공 분야의 경우 우주 탐사에 AI를 활용하여 인간과 기계 간에 상호 협력체계를 구축하거나, 우주환경의 특수성을 고려하여 장비의 장애 복구 능력을 향상시키는 업무에 적용하고 있다”라고 밝혔다.

AI 시스템을 활용하여 사람이 일일이 관여하지 않더라도 업무가 자동화되는 것은 바람직한 방향이다. 하지만 자동화 자체에 문제가 생길 경우 그 피해는 자동화 이전과는 차원이 다른 막대한 규모인 것으로 나타났다.

실제로 항공 및 자동차, 그리고 조선 등 주요 산업의 안전 관련 전문가들이 매년 모여 분야별 안전 문제를 진단하는 행사인 ‘ESRA(European Safety and Reliability Conference)’에서는 많은 전문가들이 인간의 실수를 줄이기 위해 자동화를 도입했으나, 자동화에 조금이라도 결함이 있다면 시간이 지날수록 위험도도 함께 증가하게 된다고 발표한 바 있다.

실태조사를 바탕으로 주요 산업 SW 안전 정책 마련

그렇다면 이제 거의 모든 산업에서 적용되고 있는 SW 시스템을 안전하게 운영하려면 어떻게 해야 할까. 이 같은 질문에 대해 진 팀장은 “무엇보다도 SW 안전 실태조사를 철저하게 이행하는 것이 필요하다”라고 강조했다.

그녀는 “4차 산업혁명의 도래로 SW 활용과 중요성이 증대하면서 ‘SW 활용’과 관련된 통계는 상당 수준 축적되고 있는 반면에 ‘SW 안전’과 관련된 통계는 사실상 전무한 실정”이라고 지적하며 “SW 안전 실태조사가 선행되어야만 SW 안전에 대한 정책 수립 및 SW 안전 산업 활성화를 위한 기초 자료가 마련될 수 있다”라고 덧붙였다.

현재까지 진행된 SW 안전 실태조사의 결과를 살펴보면, AI나 사물인터넷(IoT), 또는 지능형 반도체처럼 미래형 기술 및 관련성이 있는 산업에서 SW 안전 업무를 본격 추진하고 있는 것으로 파악됐다.

제조업 같은 전통적인 산업들도 SW 안전을 중요시하고 있지만, 문제는 실천이다. SPRi의 조사 결과에 따르면 경영진이 SW 안전에 대해 ‘중요하다’라고 인식하고 있는 기업은 49.5%인 반면에 SW 안전에 대해 ‘적절히 대응하고 있다’라고 답한 기업은 30.7%에 머무른 것으로 파악됐다.

이와 관련하여 진 팀장은 “SW 안전 실태조사 결과를 바탕으로 2020년 SW 안전 정책 방향을 정했다”라고 밝히며 “SW 안전을 보다 활성화할 수 있는 정책인 ‘관리 체계’와 ‘SW 산업 활성화’, 그리고 ‘인력양성’ 등을 추진해 나갈 것”이라고 제시했다.

그러면서 관리 체계 정책의 실천 방안으로 SW 안전 확보를 위한 최소 기준을 마련하고, 안전 점검 및 위기 대응 매뉴얼, 그리고 사고 보험 등 SW 안전사고에 대한 대비 등을 거론했다.

또한 SW 산업 활성화 정책 실천 방안으로는 위험 분석과 SW 개발 프로세스, 안전 도메인 같은 기술력 확보와 SW 안전 공급 및 수요 기업에 대한 지원 등의 업무를 포함시켰다.

마지막으로 인력양성 정책과 관련된 실천 방안으로는 SW 안전 확보를 위해 안전 관리자 및 개발자 같은 인력을 석사 이상의 전문 인력과 재직자 중심으로 양성하고 SW 품질 교육을 강화하는 내용을 언급했다.

발표를 마무리하며 진 팀장은 “특히 철도나 항공, 또는 전력이나 원자력처럼 안전 핵심 분야와 연계된 SW 시스템은 국내 실정에 맞는 SW 시스템 설계 및 공통 관리 기준을 마련할 계획”이라고 언급하며 “이들 분야가 국민 안전과 직결되는 핵심 분야인 만큼, 과학기술정보통신부와 국토교통부, 그리고 산업자원통상부 및 원자력관리위원회 등이 공동으로 참여하는 안전진단 사업도 본격적으로 실시할 예정”이라고 덧붙였다.