AI에게 프로그램을 고쳐달라고 하면 코드를 써주는 모습이 먼저 떠오르죠. 그런데 실제로 일을 맡겨보면 코드를 쓰는 것만으로 끝나지 않습니다. 파일을 찾고, 수정한 코드를 실행하고, 테스트 결과를 받아 다시 고쳐야 해요. 이 과정이 오래 걸리면 AI가 아무리 빠르게 답을 만들어도 사용자는 기다릴 수밖에 없습니다. 엔비디아가 GPU와 함께 서버용 CPU인 ‘베라’를 강조하는 이유도 여기에 있습니다.
엔비디아는 8월 27일 AWS에 첫 베라 CPU 서버를 전달했다고 알렸습니다. 지난 5월에 올린 글에 새 소식을 덧붙인 것으로, 이번에 달라진 것은 제품의 존재가 아니라 실제 전달 상황입니다.
코드 작성 뒤에 이어지는 CPU의 일
AI 모델이 답을 계산할 때는 GPU가 많은 연산을 맡습니다. 그렇게 만든 코드를 실행하고 파일을 읽는 일은 CPU의 몫이고요. 여러 작업의 순서를 정하거나, 한 작업이 다른 작업의 데이터에 손대지 못하도록 분리하는 일에도 CPU가 관여합니다. Arm이 설명한 AI 인프라에서의 CPU 역할 역시 이런 작업 배분과 메모리 관리, 보안에 가깝습니다.
프로그램 수정 과정을 따라가면 둘의 차이가 좀 더 잘 보입니다. AI가 코드를 썼더라도 테스트가 끝나야 제대로 고쳤는지 알 수 있겠죠. 오류가 남았다면 그 결과를 읽고 다시 수정해야 합니다. 같은 서버에서 이런 작업 수백 개가 동시에 돌아가면, 테스트 하나를 빨리 끝내는 능력뿐 아니라 여러 작업에 자원을 고르게 나눠주는 능력도 중요해집니다.
88개 코어와 메모리 대역폭의 역할
베라에는 엔비디아가 설계한 올림푸스 코어 88개가 들어갑니다. 코어는 CPU 안에서 명령을 처리하는 단위인데요. 베라는 코어 하나의 자원을 나눠 두 개의 실행 흐름을 처리하도록 설계해, 총 176개 스레드를 지원합니다. 메모리에서 데이터를 주고받는 속도인 대역폭은 최대 초당 1.2TB입니다. 저장 공간이 1.2TB라는 의미가 아니라, 데이터를 얼마나 빠르게 옮길 수 있는지를 나타내는 사양이에요.
코어 수와 메모리 속도를 함께 보는 데는 이유가 있습니다. 코어가 많아도 필요한 데이터가 늦게 도착하면 그만큼 기다려야 합니다. 반대로 데이터를 빨리 가져와도 코어가 일을 처리하는 데 오래 걸리면 다음 작업이 밀리겠죠. 베라는 이 두 부분을 함께 개선해, 여러 AI가 각자의 작업을 끝내는 시간을 줄이려는 설계입니다.
CPU와 GPU의 역할 분담
베라는 CPU만 쓰는 서버에도 들어가고, 루빈 GPU와 함께 구성하는 시스템에도 들어갑니다. GPU와 짝을 이루는 구성에서는 두 칩이 데이터를 빠르게 주고받도록 연결합니다. GPU가 잘하는 모델 계산을 CPU로 옮기기보다는, 계산한 결과를 받아 실제 일을 진행하는 과정까지 빠르게 만들겠다는 접근입니다.
사용자에게 중요한 건 AI가 답을 쓰는 속도만은 아니잖아요. 수정을 요청한 순간부터 제대로 작동하는 프로그램을 받기까지 얼마나 걸리는지가 중요합니다. 모델이 답을 빨리 만들어도 코드 실행과 테스트에서 계속 기다려야 한다면 체감 속도는 크게 달라지지 않을 겁니다. CPU 성능을 따져볼 이유가 바로 그 기다리는 시간에 있습니다.
실제 업무에서 확인할 성능과 비용
엔비디아는 특정 에이전트 작업에서 코어당 성능이 최대 1.8배 높다고 설명합니다. 회사가 제시한 비교 결과인 만큼, 우리 업무에서도 그 차이가 나는지는 따로 살펴볼 필요가 있습니다. 핫칩스를 취재한 톰스하드웨어의 보도는 제품 구조를 이해하는 데 도움이 되지만, 실제 고객의 업무 전체를 재현한 성능 시험은 아닙니다.
가령 테스트는 빨라졌어도 다른 단계에서 시간이 더 걸릴 수 있고, 작업을 빨리 끝내더라도 서버 사용료가 높으면 비용상 이점은 작을 수 있습니다. 그래서 같은 일을 끝내는 시간과 비용, 동시에 처리하는 작업 수를 함께 비교하는 게 좋습니다. 기존 소프트웨어가 잘 작동하는지도 중요하고요. AWS에 서버가 전달됐다는 소식만으로 고객이 당장 이용할 수 있다고 판단하기에는 제공 일정과 요금 정보가 더 필요합니다.
AI가 코드를 제안하는 데서 직접 실행하는 쪽으로 나아갈수록, 모델 밖에서 처리해야 할 일도 늘어납니다. 앞으로 AI 서버의 성능을 볼 때는 GPU 옆에서 그 일을 맡는 CPU도 함께 살펴볼 만합니다.