⊙ 11m 비디오 월 통해 AI 분석 전방 영상 실시간으로 본다
⊙ AI, 감지된 객체 종류·크기·최적의 타격 수단까지 알려줘
⊙ 5사단, 중서부·동부 전선 환경 모두 갖춰… 시범 사업 최적의 조건
⊙ “AI 경계 체계, 즉각 반응 등 대비 태세 더 잘 갖추어질 것”
⊙ “절약된 시간과 병력, 전투 준비 태세 향상과 실전 교육 훈련에 집중”
⊙ AI, 감지된 객체 종류·크기·최적의 타격 수단까지 알려줘
⊙ 5사단, 중서부·동부 전선 환경 모두 갖춰… 시범 사업 최적의 조건
⊙ “AI 경계 체계, 즉각 반응 등 대비 태세 더 잘 갖추어질 것”
⊙ “절약된 시간과 병력, 전투 준비 태세 향상과 실전 교육 훈련에 집중”
- 경기도 연천군 5사단 AI 경계작전센터 내부. 사진=국방부
경기도 연천군 5사단의 한 부대. 이곳엔 AI 경계작전센터가 자리해 있다. AI 경계작전센터는 국방부가 추진하는 ‘국방혁신4.0’ 5개 과제 중 ‘군사전략·작전개념 선도적 발전’의 중추 역할을 맡고 있다. 각종 AI 장비가 들어선 상황실 1동과 행정·편의·교육 시설을 갖춘 건물 2동으로 구성돼 있다. AI 경계작전센터는 오는 7월 1일 시범 운영에 돌입할 예정이다. 이번 시범 사업은 향후 우리 군의 유·무인 복합경계 작전을 성공으로 이끌 분수령이 될 전망이다.
각 중대, 40여 대 카메라와 CCTV 실시간 분석
지난 5월 31일 막바지 개소 준비가 한창인 AI 경계작전센터를 찾았다. 실내화로 갈아 신고 225㎡(약 68평) 크기의 상황실 안으로 들어가니 11m 폭의 비디오 월이 가장 먼저 눈에 들어왔다. 이 비디오 월을 통해 감시초소(GP)와 GOP 철책 부근의 실시간 모습을 볼 수 있었다.
다음으로 센터 가운데 놓인 책상과 컴퓨터 모니터들이 눈에 들어왔다. 군 관계자에 따르면, 이곳 모니터는 저마다 각기 다른 임무를 맡고 있다. 먼저 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV로 촬영한 영상을 분석하는 모니터를 확인할 수 있었다. A·B·C로 나뉜 세 중대는 각각 40여 대의 카메라와 CCTV 분석을 담당한다. 모니터 앞에 배치된 인력이 각각 약 3km 경계 구간을 책임지는 시스템이다. 군 고위 관계자는 “중대급 인력으로 대대급 임무를 수행할 수 있다”고 말했다. 중대급 100여 명이 대대급 500여 명의 임무를 대체할 수 있다는 뜻이다.
다음으로 TOD(열 영상 감시 장비)·수풀 투과 레이더, 레일 로봇 등 감시 장비와 연동 예정인 모니터를 볼 수 있었다. 철책 부근에서 작업 중인 장병들이 화면에 비치자 엄지손톱 크기만 한 노란색 박스가 이들 위로 떠올랐다 사라지길 반복했다. 군 관계자는 이에 대해 “데이터 라벨링 작업을 하는 것”이라고 설명했다. 데이터 라벨링이란 AI 학습데이터를 만들기 위해 원천 데이터에 값(라벨)을 붙이는 작업을 뜻한다.
AI 성능을 향상시키기 위해서는 많은 데이터를 모아 이를 ‘딥 러닝’하는 것이 무엇보다 중요하다. 이를 위해 군 당국은 200만 건 이상의 군 관련 데이터와 20만 건 이상의 지형 데이터를 확보한 것으로 알려졌다. 이렇게 모은 데이터를 바탕으로 AI는 기상 상태를 고려한 외부의 움직임을 익히는 것은 물론, 무장공비 침투, 귀순 시도, 짐승 이동 등 다양한 전방 시나리오를 습득하게 된다. 군 당국은 이를 통해 감시-결심-탐지-타격으로 이어지는 경계 작전의 성공률을 높인다는 계획이다. 기자가 5사단을 방문한 이날은 날이 맑았다. 데이터 라벨링을 하기 위한 최적의 조건이다. 데이터를 충분히 학습한 AI는 악천후 속에서도 이상 징후 식별이 가능하다.
200만 건 이상 군 관련 데이터 확보
군은 AI 경계작전센터가 시범 운영에 돌입하면, 향후 상황 네트워크를 담당할 인력과 장비도 이곳에 배치할 것이라고 한다. 군 관계자는 “현재 AI의 객체 인식률과 정확도는 다소 낮은 정도”라면서도 “시범 운영 기간 인식률을 상당 수준 높여 100%에 가까운 정확도를 갖춘 AI를 경계 체계 표준 모델로 제시할 것”이라고 포부를 내비쳤다. 또 다른 군 관계자는 “새로운 경계 플랫폼을 만드는 길목에 서 있다”며 “전군 확대 적용 시 최적의 AI 경계 체계가 실전에 투입될 수 있도록 최선을 다할 것”이라고 말했다.
5사단 관계자는 AI 경계 체계가 성공적으로 기능할 미래 모습도 화면으로 보여줬다. 비디오 월에 설치된 모니터에선 GOP 일대의 모습이 파노라마로 표시됐다. 계절과 기상 조건까지 반영한 모습이었다. 만약 감시 지역에서 이상 징후가 포착됐을 경우, AI는 해당 객체의 종류와 크기, 나아가 이를 처리할 수 있는 최적의 타격 수단까지 화면에 띄워줬다. 마치 첩보 영화 속 주인공이 먼발치에서 움직이는 적군의 정체를 식별하는 모습 같았다.
비디오 월 뒤편에는 5~7평 남짓한 규모의 서버 장비실이 자리해 있다. 장비실로 이동하니 케이블이 연결된 각종 장비가 ‘윙윙’ 소리를 내며 쉴 새 없이 작동하고 있었다. 군은 센터 운영을 위해 GOP 철책부터 이곳을 잇는 광 통신망을 구축해놨다고 한다. 이 장비는 각각 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV와 연결돼 AI 경계작전센터로 정보를 제공하는 역할을 한다.
AI 장비가 이상 징후를 포착하면 센터 내에선 어떤 일이 벌어질까? 군 관계자는 “시각 정보와 청각 정보가 동시에 제공된다”며 “모니터상에선 팝업창이 나타나 상황 발생을 알리고, 이와 동시에 센터에 설치된 스피커를 통해 알람이 울린다”고 말했다. 이를 통해 AI가 식별한 객체에 대한 정보를 실시간으로 알 수 있다는 것이다.
‘영상분석서버’ ‘영상서버’ 기존 장병 역할 대체
군은 지난 2016년 1700억원을 들여 과학화 경계 시스템을 도입했다. GOP 철책 전 구간에 CCTV와 TOD, 광망(光網)을 설치했다. 그러나 이들 장비는 단순 탐지 및 감시·감지 기능만 제공한다는 한계가 있다. 특정 물체를 구별하고 판단하는 건 여전히 사람 몫이다. 이 때문에 장병들은 유사시 상황을 구분하기 위해 24시간 내내 모니터를 응시해야 한다. 또한 광망이 오·경보를 울리진 않을지 신경을 곤두세워야 한다. 도입 취지와는 다르게 경계 작전 병력을 계속해서 증원하는 이유다. 군 관계자는 “해외 연구에 따르면 모니터를 육안으로 12분 이상 주시할 때 움직이는 물체를 놓칠 확률이 45%”라면서 “22분 이상 주시할 때는 그 확률이 무려 95%까지 올라간다”고 말했다.
그러나 AI 경계 체계가 성공적으로 구축되면 지금처럼 GOP 상황실 내 여러 인원이 앉아 CCTV 화면만 보고 있는 풍경은 사라질 전망이다. ‘AI의 브레인’으로 불리는 ‘영상분석서버’와 ‘영상서버’가 기존 장병의 역할을 대신한다. 전방 GOP 철책 인근 기존 상황실이 다루는 영상 정보를 그대로 받아 AI 기능으로 이상 징후를 스스로 판단하는 장비다. 영상서버는 DMZ 내 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV가 촬영한 영상 정보를 받아 영상분석서버로 넘긴다. 영상분석서버는 이 가운데 이상 징후를 식별해 비디오 월에 구현하는 방식으로 AI가 작동한다.
올 초부터 장병 AI 교육
이런 장비를 효율적으로 운용하기 위해 5사단은 올해 초부터 장병들을 교육해왔다. 장병들의 교육 만족도 역시 높다고 한다. 군 관계자는 “시범 운영에 들어가면 센터 내 투입 인원은 어느 정도가 좋을지, 근로와 휴식 시간 배분은 어떻게 나누는 것이 효율적일지 실험해가며 최적의 조건을 찾을 것”이라고 말했다.
여러 전방 부대 중 5사단이 AI 경계작전센터 시범 부대로 선정된 이유는 뭘까? 군 고위 관계자는 “GOP는 중서부 전선과 동부 전선으로 구분된다. 두 전선은 지형 환경과 기후조건이 확연하게 차이가 있다”면서 “그중 5사단 GOP는 중서부와 동부 전선의 특성을 모두 갖추고 있다”고 설명했다. AI 경계작전센터가 들어설 최적의 장소라는 것이다. 이 관계자는 “향후 AI 경계 체계가 전군으로 확대될 예정인데 중서부 전선 따로, 동부 전선 따로 시범운영을 거치면 시간과 비용이 많이 소요된다”며 “한정된 시간과 비용으로도 그 성능을 확실하게 시험해볼 수 있는 곳이 바로 5사단”이라고 말했다.
최근 북한은 ‘오물 풍선’을 남측에 날려 보내면서 GPS 교란 공격을 감행했다. 우리 군의 작전에 제한이 생기진 않았지만, 인천 해상을 오가는 여객선과 어선의 민간 상용 GPS에서 일부 장애가 발생하기도 했다. 이와 함께 북한의 EMP(전자기 펄스) 공격 또한 우리 안보를 위협할 요소 중 하나다. 군 고위 관계자는 “이번 시범 운영을 거치며 전·평시 AI 경계 작전을 어떻게 운영할 것인지 다양한 토의를 거쳐 밀도 있게 준비할 것”이라고 말했다.
일각에선 “AI만 믿고 철책 주변에서 병력을 뺏다가 유사시 대응이 늦어지는 것이 아니냐”는 비판도 제기된다. 그러나 군 관계자는 “AI 경계 체계가 도입됐다고 해서 GOP 철책을 포기한다는 뜻이 아니”라고 선을 그었다. 그러면서 “오히려 즉각 반응 등 대비 태세가 더 잘 갖추어질 것”이라고 강조했다.
AI 경계 체계, 선택 아닌 필수
군 당국이 AI 경계 체계에 사활을 건 까닭은 병력 자원 감소와 관계가 깊다. 지금 규모로 군이 유지되기 위해선 한 해 약 26만 명의 병력이 충원돼야 한다. 그러나 2023년 기준 우리나라 합계 출산율이 0.72명을 기록하면서 병력 감소는 시간문제가 됐다. 5사단의 한 간부는 “한 5년 전부터 병력 감소를 체감하고 있다”며 “해마다 전입하는 부대원의 수가 줄어드는 게 느껴진다”고 말했다. 이에 대비하기 위해선 AI 경계 체계로의 변화는 선택이 아닌 필수라는 게 군 당국의 판단이다.
군은 내년 12월까지 이어질 시범 사업 기간 결과를 꼼꼼히 분석한 뒤 부족한 점을 보완할 방침이다. 2030년대 전군 정식 운용을 목표로 두고 있다. 군 관계자는 “AI 경계 체계를 활용해 병력은 지금의 3분의 1 이하로 줄이면서 영상 감시 자동 식별과 경보 능력은 100% 수준으로 유지할 수 있을 것”이라고 기대했다. 동시에 병력의 효율적 운용도 가능해질 것으로 본다. AI 경계 체계로 1개 대대가 하는 경계 작전을 1개 중대가 맡게 되면, 나머지 중대는 전·평시를 대비해 전투·교육 훈련에 전념할 수 있는 여건이 마련되기 때문이다.
군 고위 관계자는 “절약된 시간과 병력을 전투 준비 태세 향상과 실전 교육 훈련에 투입할 수 있다”며 “이렇게 되면 장병의 삶의 질도 보장된다”고 내다봤다. 이어 “AI 기반 유·무인 복합경계 시스템 구축에 활용된 기술은 민간 기술로도 파생돼 국가 과학 기술 발전에도 이바지할 수 있을 것”이라고 강조했다.⊙
각 중대, 40여 대 카메라와 CCTV 실시간 분석
 |
| AI 유·무인 경계 작전 체계의 한 축을 담당할 레일 로봇. 사진=국방부 |
다음으로 센터 가운데 놓인 책상과 컴퓨터 모니터들이 눈에 들어왔다. 군 관계자에 따르면, 이곳 모니터는 저마다 각기 다른 임무를 맡고 있다. 먼저 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV로 촬영한 영상을 분석하는 모니터를 확인할 수 있었다. A·B·C로 나뉜 세 중대는 각각 40여 대의 카메라와 CCTV 분석을 담당한다. 모니터 앞에 배치된 인력이 각각 약 3km 경계 구간을 책임지는 시스템이다. 군 고위 관계자는 “중대급 인력으로 대대급 임무를 수행할 수 있다”고 말했다. 중대급 100여 명이 대대급 500여 명의 임무를 대체할 수 있다는 뜻이다.
다음으로 TOD(열 영상 감시 장비)·수풀 투과 레이더, 레일 로봇 등 감시 장비와 연동 예정인 모니터를 볼 수 있었다. 철책 부근에서 작업 중인 장병들이 화면에 비치자 엄지손톱 크기만 한 노란색 박스가 이들 위로 떠올랐다 사라지길 반복했다. 군 관계자는 이에 대해 “데이터 라벨링 작업을 하는 것”이라고 설명했다. 데이터 라벨링이란 AI 학습데이터를 만들기 위해 원천 데이터에 값(라벨)을 붙이는 작업을 뜻한다.
AI 성능을 향상시키기 위해서는 많은 데이터를 모아 이를 ‘딥 러닝’하는 것이 무엇보다 중요하다. 이를 위해 군 당국은 200만 건 이상의 군 관련 데이터와 20만 건 이상의 지형 데이터를 확보한 것으로 알려졌다. 이렇게 모은 데이터를 바탕으로 AI는 기상 상태를 고려한 외부의 움직임을 익히는 것은 물론, 무장공비 침투, 귀순 시도, 짐승 이동 등 다양한 전방 시나리오를 습득하게 된다. 군 당국은 이를 통해 감시-결심-탐지-타격으로 이어지는 경계 작전의 성공률을 높인다는 계획이다. 기자가 5사단을 방문한 이날은 날이 맑았다. 데이터 라벨링을 하기 위한 최적의 조건이다. 데이터를 충분히 학습한 AI는 악천후 속에서도 이상 징후 식별이 가능하다.
200만 건 이상 군 관련 데이터 확보
군은 AI 경계작전센터가 시범 운영에 돌입하면, 향후 상황 네트워크를 담당할 인력과 장비도 이곳에 배치할 것이라고 한다. 군 관계자는 “현재 AI의 객체 인식률과 정확도는 다소 낮은 정도”라면서도 “시범 운영 기간 인식률을 상당 수준 높여 100%에 가까운 정확도를 갖춘 AI를 경계 체계 표준 모델로 제시할 것”이라고 포부를 내비쳤다. 또 다른 군 관계자는 “새로운 경계 플랫폼을 만드는 길목에 서 있다”며 “전군 확대 적용 시 최적의 AI 경계 체계가 실전에 투입될 수 있도록 최선을 다할 것”이라고 말했다.
5사단 관계자는 AI 경계 체계가 성공적으로 기능할 미래 모습도 화면으로 보여줬다. 비디오 월에 설치된 모니터에선 GOP 일대의 모습이 파노라마로 표시됐다. 계절과 기상 조건까지 반영한 모습이었다. 만약 감시 지역에서 이상 징후가 포착됐을 경우, AI는 해당 객체의 종류와 크기, 나아가 이를 처리할 수 있는 최적의 타격 수단까지 화면에 띄워줬다. 마치 첩보 영화 속 주인공이 먼발치에서 움직이는 적군의 정체를 식별하는 모습 같았다.
비디오 월 뒤편에는 5~7평 남짓한 규모의 서버 장비실이 자리해 있다. 장비실로 이동하니 케이블이 연결된 각종 장비가 ‘윙윙’ 소리를 내며 쉴 새 없이 작동하고 있었다. 군은 센터 운영을 위해 GOP 철책부터 이곳을 잇는 광 통신망을 구축해놨다고 한다. 이 장비는 각각 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV와 연결돼 AI 경계작전센터로 정보를 제공하는 역할을 한다.
AI 장비가 이상 징후를 포착하면 센터 내에선 어떤 일이 벌어질까? 군 관계자는 “시각 정보와 청각 정보가 동시에 제공된다”며 “모니터상에선 팝업창이 나타나 상황 발생을 알리고, 이와 동시에 센터에 설치된 스피커를 통해 알람이 울린다”고 말했다. 이를 통해 AI가 식별한 객체에 대한 정보를 실시간으로 알 수 있다는 것이다.
‘영상분석서버’ ‘영상서버’ 기존 장병 역할 대체
군은 지난 2016년 1700억원을 들여 과학화 경계 시스템을 도입했다. GOP 철책 전 구간에 CCTV와 TOD, 광망(光網)을 설치했다. 그러나 이들 장비는 단순 탐지 및 감시·감지 기능만 제공한다는 한계가 있다. 특정 물체를 구별하고 판단하는 건 여전히 사람 몫이다. 이 때문에 장병들은 유사시 상황을 구분하기 위해 24시간 내내 모니터를 응시해야 한다. 또한 광망이 오·경보를 울리진 않을지 신경을 곤두세워야 한다. 도입 취지와는 다르게 경계 작전 병력을 계속해서 증원하는 이유다. 군 관계자는 “해외 연구에 따르면 모니터를 육안으로 12분 이상 주시할 때 움직이는 물체를 놓칠 확률이 45%”라면서 “22분 이상 주시할 때는 그 확률이 무려 95%까지 올라간다”고 말했다.
그러나 AI 경계 체계가 성공적으로 구축되면 지금처럼 GOP 상황실 내 여러 인원이 앉아 CCTV 화면만 보고 있는 풍경은 사라질 전망이다. ‘AI의 브레인’으로 불리는 ‘영상분석서버’와 ‘영상서버’가 기존 장병의 역할을 대신한다. 전방 GOP 철책 인근 기존 상황실이 다루는 영상 정보를 그대로 받아 AI 기능으로 이상 징후를 스스로 판단하는 장비다. 영상서버는 DMZ 내 GP 중거리 카메라, GOP 중·근거리 카메라, GOP CCTV가 촬영한 영상 정보를 받아 영상분석서버로 넘긴다. 영상분석서버는 이 가운데 이상 징후를 식별해 비디오 월에 구현하는 방식으로 AI가 작동한다.
올 초부터 장병 AI 교육
 |
| GOP 철책에서 경계 작전 중인 장병. 사진=국방부 |
여러 전방 부대 중 5사단이 AI 경계작전센터 시범 부대로 선정된 이유는 뭘까? 군 고위 관계자는 “GOP는 중서부 전선과 동부 전선으로 구분된다. 두 전선은 지형 환경과 기후조건이 확연하게 차이가 있다”면서 “그중 5사단 GOP는 중서부와 동부 전선의 특성을 모두 갖추고 있다”고 설명했다. AI 경계작전센터가 들어설 최적의 장소라는 것이다. 이 관계자는 “향후 AI 경계 체계가 전군으로 확대될 예정인데 중서부 전선 따로, 동부 전선 따로 시범운영을 거치면 시간과 비용이 많이 소요된다”며 “한정된 시간과 비용으로도 그 성능을 확실하게 시험해볼 수 있는 곳이 바로 5사단”이라고 말했다.
최근 북한은 ‘오물 풍선’을 남측에 날려 보내면서 GPS 교란 공격을 감행했다. 우리 군의 작전에 제한이 생기진 않았지만, 인천 해상을 오가는 여객선과 어선의 민간 상용 GPS에서 일부 장애가 발생하기도 했다. 이와 함께 북한의 EMP(전자기 펄스) 공격 또한 우리 안보를 위협할 요소 중 하나다. 군 고위 관계자는 “이번 시범 운영을 거치며 전·평시 AI 경계 작전을 어떻게 운영할 것인지 다양한 토의를 거쳐 밀도 있게 준비할 것”이라고 말했다.
일각에선 “AI만 믿고 철책 주변에서 병력을 뺏다가 유사시 대응이 늦어지는 것이 아니냐”는 비판도 제기된다. 그러나 군 관계자는 “AI 경계 체계가 도입됐다고 해서 GOP 철책을 포기한다는 뜻이 아니”라고 선을 그었다. 그러면서 “오히려 즉각 반응 등 대비 태세가 더 잘 갖추어질 것”이라고 강조했다.
AI 경계 체계, 선택 아닌 필수
군 당국이 AI 경계 체계에 사활을 건 까닭은 병력 자원 감소와 관계가 깊다. 지금 규모로 군이 유지되기 위해선 한 해 약 26만 명의 병력이 충원돼야 한다. 그러나 2023년 기준 우리나라 합계 출산율이 0.72명을 기록하면서 병력 감소는 시간문제가 됐다. 5사단의 한 간부는 “한 5년 전부터 병력 감소를 체감하고 있다”며 “해마다 전입하는 부대원의 수가 줄어드는 게 느껴진다”고 말했다. 이에 대비하기 위해선 AI 경계 체계로의 변화는 선택이 아닌 필수라는 게 군 당국의 판단이다.
군은 내년 12월까지 이어질 시범 사업 기간 결과를 꼼꼼히 분석한 뒤 부족한 점을 보완할 방침이다. 2030년대 전군 정식 운용을 목표로 두고 있다. 군 관계자는 “AI 경계 체계를 활용해 병력은 지금의 3분의 1 이하로 줄이면서 영상 감시 자동 식별과 경보 능력은 100% 수준으로 유지할 수 있을 것”이라고 기대했다. 동시에 병력의 효율적 운용도 가능해질 것으로 본다. AI 경계 체계로 1개 대대가 하는 경계 작전을 1개 중대가 맡게 되면, 나머지 중대는 전·평시를 대비해 전투·교육 훈련에 전념할 수 있는 여건이 마련되기 때문이다.
군 고위 관계자는 “절약된 시간과 병력을 전투 준비 태세 향상과 실전 교육 훈련에 투입할 수 있다”며 “이렇게 되면 장병의 삶의 질도 보장된다”고 내다봤다. 이어 “AI 기반 유·무인 복합경계 시스템 구축에 활용된 기술은 민간 기술로도 파생돼 국가 과학 기술 발전에도 이바지할 수 있을 것”이라고 강조했다.⊙
