[자료제공: 인텔]
- 인텔 제온 6 및 아크 프로 B-시리즈 GPU, MLPerf 추론 v6.0 벤치마크 통해 워크스테이션 및 엣지 시스템을 위한 뛰어난 저지연 AI 추론 성능 입증
인텔은 오늘 ML커먼스가 발표한 최신 MLPerf™ 추론 v6.0 벤치마크를 통해 인텔 GPU 시스템의 4가지 주요 벤치마크 결과를 공개했다. 제온 6 CPU 및 아크™ 프로 B70 그래픽을 탑재한 인텔의 AI 시스템은 하이엔드 워크스테이션, 데이터센터 및 엣지 애플리케이션 전반에 걸쳐 접근성이 뛰어난 AI 워크로드 솔루션을 선보였다.
벤치마크 결과에 따르면 4개의 GPU를 탑재한 인텔 아크 프로 B70/B65 시스템은 총 128GB의 VRAM을 기반으로 1,200억 개 파라미터 규모의 모델을 높은 동시성으로 구동할 수 있으며, 아크 프로 B70은 아크 프로 B60 대비 최대 1.8배 향상된 추론 성능을 보였다1. 개방형 컨테이너 기반 소프트웨어 스택으로 구성된 최적화 기술을 통해 단일 노드부터 멀티 GPU 엔터프라이즈 배포까지 추론 성능을 효율적으로 확장함으로써, 동일한 인텔 아크 프로 B60 하드웨어 환경에서도 이전 MLPerf v5.1 대비 최대 1.18배의 성능 향상을 달성했다².
아닐 난두리 인텔 데이터센터 그룹 AI 제품 및 GTM 총괄은 "인텔 제온 6와 인텔의 아크 프로 B시리즈 GPU의 조합은 고객의 선택지와 가치를 확대하기 위한 인텔의 투자"라며, "전 세계 그래픽 전문가와 AI 개발자들에게 대규모언어모델(LLM)부터 전통적인 머신러닝(ML) 워크로드까지 해결할 수 있는 실질적인 솔루션과 최상의 성능 및 가치를 제공한다"고 설명했다.
AI 추론 수요가 증가됨에 따라 전문 컴퓨팅 시장은 빠르게 재편되고 있다. 그래픽 크리에이터와 AI 개발자들은 이제 데이터 프라이버시를 유지하면서도 고가의 구독 기반 독점 AI 모델에 대한 의존도를 낮추고 성능과 가치를 동시에 제공하는 플랫폼을 찾고 있다.
신규 출시된 인텔 아크 프로 B70/B65 GPU 기반 시스템은 최신 AI 추론 요구사항을 충족하도록 설계되었으며, 검증된 풀스택 하드웨어와 소프트웨어를 결합한 올인원 추론 플랫폼을 제공한다.
향상된 메모리 용량을 바탕으로 리눅스 환경을 위한 새로운 컨테이너 기반 솔루션을 통해 간소화된 도입과 사용 편의성을 목표로 한다. 또한 멀티 GPU 스케일링 및 PCle P2P 데이터 전송으로 뛰어난 추론 성능을 제공하도록 최적화되었으며, ECC, SRIOV, 텔레메트리 및 원격 펌웨어 업데이트 등 엔터프라이즈급 안전성 및 관리 용이성을 갖추고 있다. 예를 들어, 동급의 경쟁사 솔루션 대비 인텔 아크 프로 B70은 멀티 GPU 구성에서 더 큰 모델과 컨텍스트 윈도우를 처리할 수 있으며, 대규모 모델 구동 시 최대 1.6배 더 많은 KV 캐시 용량을 제공한다.
AI 추론은 단순히 GPU 처리량뿐만 아니라 CPU 가속 기반 시스템 성능에도 크게 좌우된다. CPU는 클러스터 전반의 효율성과 총소유비용을 결정짓는 핵심 요소로서 메모리 관리, 작업 오케스트레이션, 워크로드 분산과 같은 필수 기능을 수행하는 동시에 최신 AI 인프라에 필요한 보안성, 신뢰성 및 운영 연속성을 보장하는 핵심 역할을 수행한다.
인텔은 MLPerf 추론 벤치마크에 CPU 단독 성능 결과를 제출하는 유일한 서버 프로세서 기업으로서, 연산 중심 및 가속기 중심 플랫폼 모두에서 AI 추론 기술을 선도하겠다는 확고한 의지를 보여주고 있다. 특히 MLPerf v6.0 제출 사례의 절반 이상이 제온 프로세서를 채택할 만큼, 인텔은 AI 가속 시스템에서 가장 널리 사용되는 호스트 CPU로서 업계 AI 인프라의 핵심 입지를 더욱 공고히 하고 있다. 이러한 리더십은 하드웨어 성능에서도 증명된다. P코어를 탑재한 인텔 제온 6는 MLPerf 추론 v5.1에서 이전 세대 대비 1.9배의 성능 향상을 달성했으며, AMX 및 AVX512와 같은 내장형 AI 가속 기술을 통해 별도의 전용 가속기 없이도 LLM 추론, 파인튜닝, 전통적인 머신러닝 워크로드를 효율적으로 구동할 수 있다.
공지 및 면책조항
성능은 사용 환경, 시스템 구성 및 기타 요인에 따라 달라질 수 있다.
성능 결과는 구성 파일에 표시된 날짜를 기준으로 진행된 테스트에 기반하며, 공개된 모든 최신 업데이트 사항을 반영하지 않을 수 있다. 어떠한 제품이나 구성 요소도 절대적인 보안을 보장할 수는 없다.
1 MLPerf 추론 v6.0 벤치마크 기준, 성능 측정에 사용된 인텔 아크 프로 B60 시스템은 인텔 제온 698X 프로세서, 인텔 아크 프로 B60 듀얼 GPU 카드 2개(아크 프로 B60 4개), 16GB DDR5 6400MT/s 메모리 8개로 구성되다.
성능 측정에 사용된 인텔 아크 프로 B70 시스템은 인텔 제온 698X 프로세서, 인텔 아크 프로 B70 GPU 카드 4개, 그리고 16GB DDR5 6400MT/s 메모리 8개로 구성되었다.
2 MLPerf 추론 v6.0 및 이전 v5.1 벤치마크 기준: 성능 측정에 사용된 인텔 아크 프로 B60 시스템은 인텔 제온 698X 프로세서, 인텔 아크 프로 B60 듀얼 GPU 카드 4개(아크 프로 B60 8개), 그리고 16GB DDR5 6400MT/s 메모리 8개로 구성되었다.
인텔에 대하여
반도체 업계의 선두주자인 인텔은 우리의 삶을 윤택하게 하고 전 세계의 발전을 가능케 할 세상을 바꾸는 기술들을 창조하고 있다. 무어의 법칙을 바탕으로 인텔은 고객의 문제 해결을 돕기 위해 반도체의 설계와 제조 과정을 지속적으로 발전하기 위해 노력하고 있다. 인텔은 클라우드, 네트워크, 엣지 그리고 모든 컴퓨팅 디바이스에 인텔리전스를 접목함으로써 데이터의 잠재력을 끌어내 기업의 비즈니스는 물론 우리가 살고 있는 사회를 좀 더 나은 방향으로 변화시키고 있다.
