고성능 컴퓨팅(HPC)

고성능 컴퓨팅(HPC)은 최첨단 컴퓨터 시스템 그룹을 사용하여 표준 상용 컴퓨팅 시스템으로는 불가능한 복잡한 시뮬레이션, 연산 및 데이터 분석을 수행하는 과학이자 예술입니다.

HPC 컴퓨터 시스템은 고속 처리 능력, 고성능 네트워크, 대용량 메모리를 통해 방대한 양의 병렬 처리를 수행할 수 있는 것이 특징입니다. 슈퍼컴퓨터는 고도로 발전된 HPC 컴퓨터의 한 유형으로, 엄청난 연산 성능과 속도를 제공하며 고성능 컴퓨팅 시스템의 핵심 구성 요소로 자리 잡았습니다.

최근 몇 년 동안 HPC는 시뮬레이션 기반 과학 조사에 주로 사용되는 도구에서 시뮬레이션 및 머신 러닝(ML)을 실행하는 이중 역할을 담당하도록 진화되었습니다. 물리 기반 시뮬레이션과 ML의 결합은 기후 모델링, 신약 개발, 단백질 접힘, 전산 유체 역학(CFD) 등의 분야에서 과학적 인사이트를 도출하는 데 소요되는 시간을 단축하며 HPC 시스템의 활용 범위가 확장되는 데 모멘텀을 제공해 왔습니다.

슈퍼컴퓨터의 기본 시스템 아키텍처

이와 같은 HPC와 ML의 진화를 촉진하는 주요 원동력 중 하나는 그래픽 처리 장치(GPU) 기술의 발달입니다. GPU는 엄청난 양의 데이터를 병렬로 처리하도록 설계된 특수 컴퓨터 칩으로, 일부 HPC에 이상적이며 현재 ML/AI 연산을 위한 기본 자원으로 여겨지고 있습니다. 고성능 GPU와 소프트웨어 최적화의 결합으로 HPC 시스템은 기존 컴퓨팅 시스템보다 훨씬 더 빠르게 복잡한 시뮬레이션과 연산을 수행할 수 있게 되었습니다. 

고성능 컴퓨팅이 중요한 몇 가지 이유는 다음과 같습니다.

1. 속도와 효율성: HPC 시스템은 복잡한 연산을 기존 컴퓨터보다 훨씬 더 빠르게 수행할 수 있기 때문에 연구자와 엔지니어가 기존 컴퓨팅 리소스로는 불가능했을 대규모 문제를 해결할 수 있습니다.
2. 과학적 발견: HPC는 기후 모델링, 분자동역학, 전산 유체 역학을 비롯한 여러 과학 분야에서 매우 중요한 역할을 합니다. HPC 덕분에 연구자는 복잡한 시스템과 프로세스를 시뮬레이션하여 새로운 인사이트와 발견을 이끌어낼 수 있습니다.
3. 제품 설계 및 최적화: HPC는 항공우주, 자동차, 에너지 등의 산업에서 제품, 프로세스, 재료의 설계를 시뮬레이션하고 최적화화여 성능을 개선하고 개발 시간을 단축하는 데 사용되고 있습니다.
4. 데이터 분석: HPC는 관찰 연구, 시뮬레이션, 실험 등에서 생성된 대규모 데이터 세트를 분석하는 데도 필수적입니다. 연구자는 기존 컴퓨팅 리소스로는 탐지하기 어려웠을 데이터의 패턴과 상관관계를 HPC를 통해 식별해 낼 수 있습니다.
5. 의료: 맞춤 의료, 신약 개발, 분자 모델링 등 새로운 치료 및 요법을 개발하는 데 HPC가 점점 더 많이 사용되고 있습니다.

HPC는 연구 및 엔지니어링의 수행 방식에 혁명을 일으켰으며 산업 프로세스의 효율성 개선부터 재난 대응 및 완화, 우리를 둘러싼 세상에 대한 이해 증진에 이르기까지 우리 삶의 여러 측면에 깊은 영향을 미치고 있습니다.

고성능 컴퓨팅은 단일 머신에서는 불가능한 대규모 작업을 수행하기 위해 여러 컴퓨터의 컴퓨팅 능력을 결합하는 방식을 말합니다. HPC의 작동 방식은 다음과 같습니다. 

1. 클러스터 구성: HPC 클러스터는 고속 네트워크로 연결된 여러 컴퓨터 또는 노드로 구성됩니다. 각 노드에는 하나 이상의 프로세서, 메모리, 스토리지가 탑재됩니다. 
2. 작업 병렬화: 연산 작업은 클러스터의 서로 다른 노드에서 동시에 실행될 수 있는 더 작은 독립 작업으로 나뉩니다. 이를 작업 병렬화라고 합니다. 
3. 데이터 분산: 연산에 필요한 데이터는 각 노드가 데이터의 일부로 작업을 수행할 수 있도록 노드 간에 분산됩니다. 
4. 연산: 각 노드는 연산의 일부를 병렬로 수행하며, 작업이 완료될 때까지 결과는 공유되고 궁극적으로 통합됩니다. 
5. 모니터링 및 제어: 클러스터에는 노드의 성능을 모니터링하고 작업과 데이터의 분산을 제어하는 소프트웨어 도구가 포함되어 있습니다. 이를 통해 연산을 효율적이고 효과적으로 실행할 수 있습니다. 
6. 출력: 최종 출력은 클러스터의 모든 노드가 수행한 연산을 결합한 결과입니다. 검색, 이해 및 통신을 촉진하기 위해 출력은 일반적으로 대규모 병렬 파일 시스템에 저장되고/되거나 이미지 또는 기타 시각적 묘사로 렌더링됩니다. 

많은 컴퓨터의 집단 성능을 활용함으로써 HPC는 단일 머신에서 수행할 때보다 훨씬 짧은 시간 내에 대규모 시뮬레이션, 데이터 분석 및 기타 연산 집약적 작업을 완료할 수 있습니다.

고성능 컴퓨팅 클러스터는 긴밀하게 상호 연결된 컴퓨터 모음으로, 하나의 시스템처럼 병렬로 작동하여 대규모 컴퓨팅 작업을 수행합니다. HPC 클러스터는 고성능 및 확장성을 제공하도록 설계되어 이를 통해 과학자, 엔지니어, 연구자가 단일 컴퓨터로는 불가능한 복잡한 문제를 해결할 수 있습니다. 

HPC 클러스터는 일반적으로 여러 개별 컴퓨팅 노드로 구성되며, 각 노드에는 하나 이상의 프로세서, 가속기, 메모리, 스토리지가 탑재됩니다. 이러한 노드는 고성능 네트워크로 연결되어 있어 정보를 공유하고 작업을 위해 협업할 수 있습니다. 또한 일반적으로 클러스터에는 작업 스케줄링, 데이터 분산, 성능 모니터링과 같은 리소스 관리를 위해 특수 소프트웨어 및 도구가 포함되어 있습니다. 작업을 병렬로 수행할 수 있도록 데이터를 분할하고 작업을 분산해 애플리케이션 속도를 높입니다.

전통적인 HPC를 사용한 훈련 데이터 속도 향상

출처: Convergence of Artificial Intelligence and High-Performance Computing on NSF-Supported Cyberinfrastructure | Journal of Big Data | 전문(springeropen.com)에 제시된 그래프 데이터를 수정했음

기후 모델은 대기, 해양, 지표면 등 지구 기후의 반응을 시뮬레이션하는 데 사용됩니다. 이러한 시뮬레이션은 연산 집약적일 수 있으며 많은 양의 데이터와 병렬 컴퓨팅이 필요하므로 GPU 가속 HPC 시스템에 이상적입니다. GPU와 기타 병렬 처리 기술을 사용하면 기후 과학자가 더 상세하고 정확한 시뮬레이션을 실행할 수 있어 지구의 기후와 인간 활동의 영향을 더 잘 이해할 수 있습니다. 이 사용 사례가 지속적으로 발전함에 따라 예측 역량이 향상되어 효과적인 완화 및 적응 전략을 설계하는 데 활용될 수 있을 것으로 예상됩니다.

신약의 발견과 개발은 질병을 치료할 잠재력이 있는 물질을 파악하기 위해 수백만 가지 화학 화합물을 시뮬레이션해야 하는 복잡한 프로세스입니다. 전통적인 신약 발견 방법은 연산 성능의 부족으로 한계에 부딪혔지만, HPC 및 GPU 기술을 통해 과학자들은 더 상세한 시뮬레이션을 실행하고 더 효과적인 AI 알고리즘을 배포하여 신약을 더 빠르게 발견할 수 있게 되었습니다.

단백질 접힘이란 단백질이 3차원 구조로 접히는 과정을 말합니다. 이 구조는 단백질의 기능에 매우 중요한 역할을 합니다. 단백질 접힘에 대한 이해는 알츠하이머, 암과 같은 질병의 치료법을 개발하는 데 필수적입니다. HPC 및 GPU 기술은 과학자들이 단백질 접힘 시뮬레이션을 더 효율적으로 실행할 수 있도록 지원하여 이 프로세스에 대한 이해도를 증진하고 새로운 치료법의 개발 속도를 높이고 있습니다.

전산 유체 역학(CFD) 시뮬레이션은 항공기 주변의 공기 흐름과 같이 실제 시스템에서 유체의 동작을 모델링하는 데 사용됩니다. HPC 및 GPU 기술은 엔지니어가 더 상세하고 정확한 CFD 시뮬레이션을 실행할 수 있도록 지원하므로 풍력 터빈, 제트 엔진과 모든 유형의 운송수단을 비롯해 시스템의 설계를 개선하는 데 도움이 됩니다.

HPC와 ML/Al는 지구의 반응을 시뮬레이션하는 데 사용되는 기후 모델링에 큰 영향을 미치고 있습니다.

과학 및 엔지니어링 분야에서 가장 많이 사용되는 고성능 컴퓨팅의 응용 분야는 다음과 같습니다.

1. 분자동역학 시뮬레이션
2. 전산 유체 역학
3. 기후 모델링
4. 컴퓨터 화학
5. 구조 역학 및 구조 공학
6. 전자기 시뮬레이션
7. 지진 이미징 및 분석
8. 재료 과학 및 재료 공학
9. 천체물리 시뮬레이션
10. 머신 러닝 및 데이터 분석

분자동역학(MD) 시뮬레이션에 사용되는 컴퓨터 코드는 많지만, 가장 자주 사용되는 몇 가지 코드는 다음과 같습니다.

1. GROMACS(Groningen Machine for Chemical Simulation)
2. AMBER(Assisted Model Building With Energy Refinement)
3. CHARMM(Chemistry at Harvard Molecular Mechanics)
4. 대규모 원자/분자 대규모 병렬 시뮬레이터(LAMMPS) 나노스케일 분자동역학(NAMD)
5. OpenMM

CFD 시뮬레이션에는 여러 컴퓨터 코드가 사용되지만 가장 많이 사용되는 코드는 다음과 같습니다.

1. Ansys Fluent
2. OpenFOAM
3. COMSOL Multiphysics
4. STAR-CCM+

기후 모델링에는 많은 컴퓨터 코드가 사용되지만, 가장 많이 사용되는 코드는 다음과 같습니다.

1. 커뮤니티 지구 시스템 모델(CESM)
2. MIROC(Model for Interdisciplinary Research on Climate)
3. 지구물리유체역학실험실(GFDL) 기후 모델
4. 유럽중기예보센터(ECMWF) 모델
5. 영국 기상청 통합 모델(MetUM)
6. 막스 플랑크 기상연구소(MPI-M) 지구 시스템 모델

컴퓨터 화학에는 여러 컴퓨터 코드가 사용되지만, 가장 많이 사용되는 코드는 다음과 같습니다.

1. 가우시안
2. ORCA
3. NWChem
4. Quantum ESPRESSO
5. 분자 오비탈 패키지(MOPAC)
6. ADF(Amsterdam Density Functional)
7. Q-Chem

머신 러닝에는 많은 컴퓨터 코드가 사용되지만, 가장 많이 사용되는 코드는 다음과 같습니다.

1. 텐서플로
2. 파이토치
3. Scikit-learn
4. Keras
5. Caffe

이러한 코드는 지도 및 비지도 학습, 딥 러닝, 강화 학습 등의 다양한 ML 알고리즘을 제공합니다. 사용 사례는 이미지 및 언어 인식, 자연어 처리(NLP), 예측 분석 등으로 광범위하며 컴퓨터 비전, 로봇, 금융 등의 분야에서 복잡한 문제를 해결하는 데 필수적인 도구입니다.

고성능 컴퓨팅은 다음과 같은 방법으로 시작할 수 있습니다.

1. 컴퓨터 아키텍처, 운영 체제, 프로그래밍 언어, 특히 고성능 컴퓨팅에 일반적으로 사용되는 언어(예: C, C++, Fortran, 파이썬)의 기본 사항을 익힙니다. 
2. 병렬 알고리즘, 프로세스 간 통신, 동기화 등 병렬 및 분산 컴퓨팅 개념을 공부합니다. 
3. 클러스터, GPU, 메시지 전달 인터페이스(MPI) 등의 고성능 컴퓨팅 도구 및 시스템과 관련하여 실습 경험을 쌓습니다. NVIDIA Deep Learning Institute 등과 같은 온라인 리소스를 사용하거나 퍼블릭 컴퓨팅 클러스터에서 시뮬레이션을 실행해 볼 수 있습니다. 
4. 고성능 컴퓨팅에 관한 연구 논문과 책을 읽고 고성능 컴퓨팅의 최신 발전 및 실제 사용 사례에 대해 알아봅니다. 
5. 컴퓨터 사이언스, 공학 또는 관련 분야의 온라인 강좌를 수강하거나 학위 프로그램에 등록하여 고성능 컴퓨팅을 더 포괄적으로 이해하는 방법도 생각해 볼 수 있습니다. 
6. 실제 기술을 향상시키기 위해 고성능 컴퓨팅에 중점을 둔 코딩 챌린지와 해커톤에 참여하세요! 
7. NVIDIA 개발자 프로그램 등과 같은 온라인 커뮤니티에 가입하고 워크숍과 컨퍼런스에 참석하여 전문가와 교류하고 업계 내 최신 개발 관련 정보를 습득하세요.