onnx

C# ONNX 추론 성능 저하? NVIDIA GPU 클럭 고정으로 해결하는 방법

Hong Kyung Tack

27 7월 2025 — 4 min read

C#에서 ONNX Runtime을 사용해 딥러닝 추론을 수행할 때, 일정 시간동안 대기시간 발생하면 GPU 클럭이 자동으로 낮아지고, 그 결과 추론 속도가 급격히 느려지는 현상을 경험할 수 있습니다. 이 글에서는 이 문제의 원인과 해결 방법을 NVIDIA GPU 클럭 고정을 중심으로 실용적으로 정리합니다.

ONNX 추론 중 GPU 클럭 하락 문제란?

C# 애플리케이션에서 ONNX 모델을 이용해 딥러닝 추론을 수행할 때, GPU에 일정 시간 이상 부하가 없으면 NVIDIA의 전력 관리 정책에 의해 클럭(P-State)이 자동으로 낮아지는 경우가 있습니다.

이러한 상황이 반복되면,

추론 요청마다 지연 시간 증가
성능 편차 발생
실제 서비스 환경에서 불안정한 응답 시간으로 이어질 수 있습니다.

이를 해결하려면 GPU의 클럭을 강제로 고정시키거나, GPU가 항상 부하가 있다고 착각하도록 유도해야 합니다.

1. NVIDIA GPU 클럭 고정 방법

PowerShell에서 클럭 고정

nvidia-smi -lgc 2100,2100

이 명령어는 GPU의 그래픽 클럭을 2100MHz로 고정시켜 줍니다. 클럭 고정이 적용되는 동안에는 GPU가 P0 상태로 유지될 가능성이 높아져, ONNX 추론 시 최고의 성능을 안정적으로 유지할 수 있습니다.

클럭 고정을 해제하려면 다음 명령어를 사용하세요.

nvidia-smi -rgc

실시간 클럭 및 P-State 확인 루프

while ($true) {
    Clear-Host
    nvidia-smi --query-gpu=clocks.gr,clocks.mem,pstate --format=csv
    Start-Sleep -Seconds 1
}

위 명령어를 사용하면 클럭 변화와 P-State 상태를 1초 단위로 실시간 확인할 수 있습니다.

2. NVIDIA 드라이버 전력 정책 변경

GPU 클럭이 자동으로 낮아지는 것을 방지하기 위해 NVIDIA 제어판의 전력 관리 설정을 다음과 같이 변경하세요.

NVIDIA 제어판 설정 방법

NVIDIA Control Panel 실행
Manage 3D settings로 이동
Power management mode 항목을 Prefer maximum performance로 설정

고급 사용자: 레지스트리 설정

HKEY_LOCAL_MACHINE\\SYSTEM\\CurrentControlSet\\Control\\Video\\{GUID}\\0000
- GPUPowerMizerMode = DWORD(2)

값이 2일 경우, 가장 강력한 성능 유지 정책이 적용됩니다.

3. C# ONNX Runtime 최적화 옵션 설정

ONNX Runtime의 SessionOptions를 통해 스레드 동작과 메모리 설정을 최적화하여 유휴 시간 중 클럭 하락 문제를 완화할 수 있습니다.

var options = new SessionOptions();

// 메모리 최적화
options.EnableMemoryPattern = true;
options.EnableCpuMemArena = true;

// 블록 분할 기준 설정
options.AddSessionConfigEntry("session.dynamic_block_base", "4");

// 유휴 시간 중에도 스레드가 '바쁘게 대기'하도록 설정
options.AddSessionConfigEntry("session.intra_op.allow_spinning", "1");
options.AddSessionConfigEntry("session.inter_op.allow_spinning", "1");

allow_spinning 옵션은 짧은 유휴 시간에도 CPU 스레드가 sleep 상태로 들어가지 않게 하여, ONNX 추론이 더욱 일관된 성능을 유지할 수 있도록 합니다.

4. 성능 유지를 위한 추가 팁

추론을 2~3초마다 자동 실행하여 GPU가 idle 상태로 진입하지 않게 합니다.
또는, GPU에 가벼운 더미 연산을 주기적으로 수행하여 P-State가 내려가지 않도록 합니다.

결론: 안정적인 ONNX 추론을 위한 세팅은 필수입니다

C# 환경에서 ONNX 모델을 사용하는 경우, GPU 클럭 저하로 인해 추론 성능이 불규칙해지는 문제가 발생할 수 있습니다. 이를 방지하기 위해:

GPU 클럭을 고정하고
전력 정책을 수정하며
ONNX Runtime 설정을 최적화

하는 방법을 적용해보세요. 실시간 서비스를 운영하는 경우, 이러한 튜닝이 응답 시간 안정성 확보에 결정적일 수 있습니다.

더 많은 GPU 최적화 가이드는 NVIDIA 공식 문서나 전문 블로그에서 확인해 보세요.