Programming/Nsight, TensorRT-LLM

[Nsight] Systems & Compute 설치 및 세팅 (Kor)

klue 2024. 4. 26. 23:53
반응형

updates  : 2024.04.25

contents : Linux 환경 위에서 Nsight Systems 그리고 Compute 설치 및 세팅

# NVIDIA Nsight Systems 설치
wget https://developer.nvidia.com/downloads/assets/tools/secure/nsight-systems/2024_1/nsightsystems-linux-public-2024.1.1.59-3380207.run
bash nsightsystems-linux-public-2024.1.1.59-3380207.run

# To uninstall the Nsight Systems 2023.4.1, please delete "/opt/nvidia/nsight-systems/2023.4.1"

# 만약 nsys 명령어가 설치 후 작동하지 않는다면,
root 혹은 home 폴더의 .bashrc 파일을 찾아주세요 
마지막 줄에 아래 한 줄 그대로 붙여넣고 저장해주세요
export PATH="$PATH:/opt/nvidia/nsight-systems/2024.1.1/bin"
그리고 bash를 다시 실행해줍니다 
source ~/.bashrc

만약 실행이 이상하다면 아래 명령어를 통해 확인해보세요
nsys status --environment
# NVIDIA Nsight Compute 설치
# 전체 roofline 차트를 보기 위해 compute 설정을 하는 방법입니다
# 아래 폴더 경로를 따라 가서 파일을 수정할 겁니다
path : /root/Documents/NVIDIA Nsight Compute/2023.1.0/Sections/SpeedOfLight_Hierarchical*RooflineChart.section

# 아래와 같은 코드가 보일 겁니다
Identifier: "SpeedOfLight_HierarchicalTensorRooflineChart"
DisplayName: "GPU Speed Of Light Hierarchical Roofline Chart (Tensor Core)"
Extends: "SpeedOfLight"
Description: "High-level overview of the utilization for compute and memory resources of the GPU presented as a roofline chart."
Order: 12
Sets {
  Identifier: "roofline"
}

# 아래 코드 블록을 위 파트 바로 아래에 추가해줍니다
Sets {
  Identifier: "full"
}
[pdb, ncu 사용해서 trace & flops, bw 확인]
# ps -fA 로 현재 사용중인 사람 확인
# import pdb; pdb.set_trace()
# ctrl + k + c / ctrl + k + u 활용
반응형