2025년 4월 14일 기준으로 비교했으며 비교한건 아래에 있습니다.
인공지능을 학습하거나 추론하거나 할 때는 GPU가 거의 필수로 필요하다.
LLM이나 대형 모델들은 더 엄청난 GPU들이 필요할텐데 일반적인 GPU로는 턱없이 부족하다.. (컴퓨터가 죽을 수도 있고..)
그렇기에 GPU 클라우드를 사용한다. GPU 클라우드를 사용하면 비용은 들지만 저렴한 가격에 학습을 시킬 수 있다!!
그럼으로 나도 나중에 쓸겸 블로그로 정리해봤다!
(참고로 나는 모두 실제로 사용해보지도 않고 작성한거라 틀린 정보가 있을 수 있다. 그래도 최대한 찾아본 결과이다.)
일단 먼저 기준을 잡을 GPU를 정해야하는데.. 여러 GPU 클라우드 기업을 보니 A100이 거의 항상 있는 것 같다. (H100 들도 많긴 한데.. 비교하기 위한 Google Colab PRO가 H100이 없는..)
암튼 A100으로 비교하기 전에 A100에 대해 간단하게 알아둘 것이 있다!
PCIe | SXM4 | |||
메모리 | 40 GB | 80 GB | 40 GB | 80 GB |
A100에는 PCIe와 SXM4라는 연결 방식이 있는데 PCIe는 많이 들어봤을 것이다. PCIe 슬롯.. 같은거..
일반적인 데스크탑 컴퓨터에서도 GPU를 연결할 때 PCIe 슬롯으로 장착하게 되는데.. 그 방식이다.
그리고 SXM4는 Nvidia에서 제공하는 방식으로 PCIe 보다 더 빠른 데이터를 전송하여 더 빠른 속도로 처리되도록 한다.
어쨋든 PCIe와 SXM4의 차이는 연결 방식이 다르다는 것! SXM4가 속도가 더 빠르다.
그리고 A100은 40 GB와 80 GB 버전이 있다. 그냥 메모리 크기 차이
그리고 MIG 라는 것도 있는데 GPU를 가상 GPU로 여러개로 나누는 기술을 의미한다.
대충 VMWARE로 내 컴퓨터에서 가상 컴퓨터를 돌리는 것처럼..
암튼 MIG를 사용하면 하나의 GPU를 여러개의 가상 GPU로 나눌 수 있다.
이제부터 사전 조사
클라우드 GPU를 제공하는 기업은 굉장히 많이 있다. 그 중에서도 유명한 몇개 정도만 살펴볼 것이다.
참고로 이 글은 Google Colab PRO에서 제공하는 그래픽카드를 기준으로 비교할 것이다.
참고로 https://cloud-gpus.com/ 여기를 좀 참고했다. 여러 GPU Cloud 기업의 가격을 정리한 곳이다.
다만 저 사이트의 가격은 좀 이상한게.. 홈페이지에 적힌 가격과 다른 경우가 좀 있다.. 그래서 따로 찾아보고 정리했다.
(진짜 찾아보면 찾아볼 수록 광고할려고 적어놓은건지 가격이 전부 이상하다.. 그냥 어떤 기업이 있는지만 참고하는 용도로만 보고 가격 비교용으로는 절대 보지 않는 것을 추천한다..)
Google Colab PRO https://colab.google/
일단 보통 많이 사용되는 Google Colab PRO 부터 확인!
Google Colab은 월마다 결제해서 사용할 수 있는데 제한시간도 있는 이상한 놈이다.
일단 가격은 Colab PRO : 9.99$, Colab PRO + : 49.99$ 정도로 되어있는데 여기는 시간단위가 아닌 컴퓨팅 단위로 되어있다.
Colab PRO는 100개 컴퓨팅, Colab PRO +는 500개 컴퓨팅으로 되어있는데 추가적으로 더 필요하면 구매할 수 있다.
일단 월정액이기 때문에 오히려 싼거 아니야? 할 수 있는데 이 컴퓨팅 때문에 시간제한이 좀 심각하다.
Colab PRO에는 사용할 수 있는 GPU가 여러개 있지만 그 중 가장 비싼 A100 GPU만 볼 것이다.
https://mccormickml.com/2024/04/23/colab-gpus-features-and-pricing/ 필요한 정보는 여기에서 찾았다.
일단 Google Colab에서 제공하는 A100 GPU는 내가 알기론 PCIe 제품으로 SXM4 보다 성능이 낮다.
또한 A100 80 GB가 아닌 A100 40 GB를 제공한다.
그리고 최고의 단점은 지금은 모르겠지만 예전에는 높은 성능의 GPU를 사용할려면 가챠 급으로 사용할 수 있는 경우도 있고 없는 경우도 있는걸로 알고 있다.
암튼 중요한 가격 비교를 해보면 A100은 저 링크에서 설명하는 대로 시간당 1.18$가 소모되는걸로 나와있다.
그리고 Google Colab PRO +를 사용하고 있는 내 친구의 말로는 총 500개의 컴퓨팅을 제공하는데 A100을 사용하는걸로 대충 계산해보니 54시간 정도 사용이 가능하다고 한다. 위의 사이트대로라면 계산했을 때 Colab PRO 기준으로 8시간 30분이니 계산해보면 약 42시간 정도..
암튼 월정액으로 돈을 50달러를 지불하게 하고 시간 제한을 걸어둔 것이다. 암튼 A100 40GB PCIe 기준으로 Google Colab은 시간당 약 1.18$인 2025년 4월 14일 기준으로 약 1700원 정도가 사용된다. 심지어 시간 제한도 있는..
RunPod https://www.runpod.io/
RunPod은 의외로 알고 있는 사람들이 많을 것이다. 해외에서도 많이 유명하고..
나도 예전에 LLM 학습할려고 찾아볼 때도 많이 추천되던 GPU 클라우드 사이트이다.
암튼 여기 같은 경우 https://www.runpod.io/pricing 여기에서 가격을 알려주고 있다.
일단 Google Colab PRO를 기준으로 A100 PCIe를 찾아보면

1.19$ 이다. 문제는 80GB이다.. 가격 비교가 좀 애매해진다.. 40GB는 찾아도 없는.. 아무튼 그럼에도 Google Colab PRO의 A100 40GB 보다 2배 더 많은 메모리인데 가격은 거의 동일하다.
참고로 Community Cloud와 Secure Cloud의 차이는 보안 차이이다.
https://docs.runpod.io/references/faq/#secure-cloud-vs-community-cloud 여기에 설명이 되어있는데 간단히 말하자면 Community Cloud는 전세계에 있는 다른 컴퓨터들에 연결하여 GPU를 쓸 수 있도록 하는거고
Secure Cloud는 RunPod의 파트너 데이터센터의 GPU를 사용할 수 있게 하는 것이다.
기본적으로 RunPod의 기준 사항이 있어서 보안에는 아마 걱정할 필요는 없을텐데 Claude나 ChatGPT 같은 독자적으로 모델을 공개하지 않고 서비스 하는 기업이라면 아마 중요할 것 같긴 하다. 뭐 그렇다 해도 왠만하면 유출될 가능성은 없을 것 같다.
암튼 A100 80GB PCIe 기준으로 RunPod은 시간당 약 1.19$인 2025년 4월 14일 기준으로 약 1700원 정도가 사용된다.
그리고 시간 대로 돈을 지불하면 되기 때문에 시간 제한도 딱히 없다. (아마)
Elice Cloud https://elice.io/ko/products/cloud
여기는 나도 처음 들어봤다. 내가 알고 있는 Elice는 그냥 코딩 교육 사이트로만 알고 있었는데.. (고등학교에서 몇번 사용하는걸 봤던..) 이곳에서도 GPU를 클라우드로 대여해준다고 한다. 여긴 좀 놀랐다.
일단 Elice Cloud의 경우 A100을 여러 방법으로 대여해준다. A100을 MIG로 나눠서 할당해주거나 아니면 전체를 할당해주거나 하는데.. Elice Cloud에는 A100 40GB PCIe GPU는 없는 것 같다.
그렇기 때문에 A100 80GB MIG로 찾아보면 A100 80GB PCIe MIG - 40GB가 있다.

즉 이 서비스는 A100 80GB GPU를 반띵한 40GB만 할당해준다는 것인데.. 시간당 1,380원이다. 오늘 기준으로 0.97 달러이다.
일단 Google Colab은 뛰어넘었다. 다만 RunPod과는 잘 모르겠다.
왜냐하면.. 40GB와 80GB와 차이가 있기도 하고.. 만약 80GB 전체를 빌리면..

이렇게 2,000원으로 1.4 달러 정도가 되어버린다는 것이다. 이렇게 되면 RunPod보다는 비싸지게 된다.. 하지만 장점이라면 국내 서비스이다 보니.. 국내 서버일 것 같은데.. 만약 국내 서버라면 데이터 전송이 빨라서 만약 데이터 학습 데이터나 이런걸 전송할 때는 이 서비스가 더 좋을 수도 있을 것 같다. (참고로 GPU 말고 CPU와 램 성능을 본다면.. RunPod보다 2배 가까이 좋다.. 가격이 이해가 되는..)
암튼 A100 80GB MIG - 40GB PCIe 기준으로 Elice Cloud는 시간당 약 1380원으로 인 2025년 4월 14일 기준으로 약 0.97 $ 정도가 사용된다.
그리고 시간 대로 돈을 지불하면 되기 때문에 시간 제한도 딱히 없다. (아마)
Hyperstack https://www.hyperstack.cloud/
여기도 처음 봤다. 솔직히 내가 아는건 Runpod과 Google Colab이 끝이긴 하니..
암튼 여기도 가격이 굉장히 저렴하다.

다만 여기에서도 40GB 모델은 보이지 않는다..
솔직히 이쯤에서 생각나는건.. 그냥 Google Colab은 40GB로 놔두고 80GB 기준으로 비교해야할 것 같은 생각이 든다..
암튼 저기 가격을 보면 2가지 가격이 있다. 1.35 달러는 일반적인 가격이고 Reservation인 0.95 달러는 예약을 했을 때 가격이다.
근데 Starts from 때문에 실제로 저 가격으로 될지는 모르겠지만.. 일단 0.95$ 라고 한다..
한화로 1350원 정도..? 만약 진짜 저 가격이면.. 여기도 엄청 저렴해진다..
암튼 A100 80GB PCIe 기준으로 Hyperstack은 시간당 약 0.95$인 2025년 4월 14일 기준으로 약 1350원 정도가 사용된다.
그리고 시간 대로 돈을 지불하면 되기 때문에 시간 제한도 딱히 없다. (아마)
Vast.AI https://vast.ai/
여기도 처음 봤지만.. 굉장하게 저렴해보인다..

여기는 수시로 가격이 바뀐다.. 분명 몇시간 전에는 0.6$로 본 것 같은데.. 지금은 0.7$로 되어있다..
암튼.. 여기는 특이하게 최대 사용 기간이 적혀있다.. 아마도 저 기간이 지나면.. 자동으로 꺼질 것 같은데.. 작은 학습에는 어차피 저정도는 필요도 없기 때문에 볼 필요는 없을 것 같다..
암튼 다른 서비스들을 제치고 이곳이 제일 저렴하다.. 너무 저렴하다 보니.. 진짜로 저정도로 구매될까.. 걱정은 된다만.. 암튼 가격은 최고다..
암튼 A100 40GB PCIe 기준으로 Vast.AI는 시간당 약 0.71$인 2025년 4월 14일 기준으로 약 1000원 정도가 사용된다.
그리고 여기선 상관은 없겠지만.. 최대 기간이 정해져있다.
암튼.. 이게 제일 싼 것 같으니.. 대부분 비교를 한 것 같다.. 그러니 가격 비교를 이제 해보자면..
가격 비교
아무튼 사전조사를 맞쳤으니.. 가격 비교를 해봤다! 한화 가격은 오늘 날짜인 2025년 4월 14일 기준으로 했고..
대충 비교 사진은 이렇다.

이 사진만 보면 RunPod은 쓰레기 같이 보이고 Google Colab PRO나 다른 것들이 더 저렴하다고 보일 수 있다.
이건 위에서 말했듯이 지원해주는 용량 차이다.. Google Colab 과 비교하는 것 때문에 40GB와 비교하다보니.. 이렇게 되었다..
그럼으로 이번엔 40GB GPU는 모두 제외하고 80GB꺼만 비교를 해본다면..

이런식으로 차이가 난다..
이 결과로 봤을 때.. 가장 저렴한건 Vast AI가 아닐까 싶다.. 뭐.. 실제로 더 자세하게 본다면.. Vast AI보다 더 저렴한 것도 있겠지만.. 일단 A100 80GB GPU로만 봐서는 Vast AI가 제일 싼 것 같다..
아무튼 결론적으로.. 국내꺼를 사용한다면.. Elice Cloud.. 해외꺼를 이용해도 좋다. 한다면 Vast AI가 아닐까 싶다..
나중에 내가 사용할 때는 아마도 Vast AI가 아닐까 싶긴 하다.. 뭐 사용할 땐 더 찾아보긴 하겠지만..
아무튼 비교는 여기까지!
마무리
그리고 하나 참고하면 좋을껀 나는 실제로 비교만 하고 사용은 해보지 않았기 때문에 어떤 서비스가 어떻게 작동할지는 모르겠지만.. 내 친구가 RunPod을 잠시 이용해본 결과로는 크레딧이 부족하면 그냥 서버를 꺼버린다고 한다..
이 경우 학습하고 있던 자료나 모델들이 그냥 날라가버린다고 한다..
그러니 반드시 GPU Cloud 서버를 사용할 때는 Google Drive나 어디든지 학습 모델을 빠르게 백업할 수 있도록 추가적인 기능을 마련하는 것이 좋을 것 같다. 모델이 어마어마하게 용량이 크다면 백업 속도도 다르기 때문에 GPU Cloud 서버의 위치를 고려하여 백업할 수 있는 Cloud 서비스도 같이 찾는 것이 좋을 것 같다.
또한 학습과 추론을 할 때도 그것에 맞는 서비스를 제공하며 더 저렴한 경우도 많기 때문에 이것도 고려하여 찾아보면 좋을 것이다.
간단히 찾아보면.. 상시가 아닌 필요할 때만 GPU를 사용하도록 하는 서비스들도 있던데.. 그런 곳들은 몇초안에 GPU를 할당되도록 하는 서비스들도 있다.
그리고 물론 Cloud GPU를 제공하는 방식이 다 다르기 때문에 모두가 성능이 비슷하다고 할 수는 없다. 각각에서 제공하는 GPU는 같을지 몰라도 CPU와 램의 종류나 크기가 다 다르고 인터넷 성능 때문에 학습 데이터를 보내고 이런 시간들도 다 더한다면 가격은 더 달라질 것이다. 그렇지만 이거는 그냥 단순 가격 비교이기 때문에 서버의 성능은 참고하지 않았다.
그래서 무조건 이 사이트의 GPU Cloud는 싸니깐 쓰라고 적극 추천하기도 애매하다. 그러니 이걸 누군가 본다면 단순히 참고만 하고 실제론 직접 찾아보면서 성능을 비교해서 쓰는걸 추천한다.
내가 여기에 적은 것 외에도 여러가지 서비스들이 있다. A100이 없거나 가격이 좀 높은 경우가 많아서 쓰지 않은 것 들도 많다.. 하지만 그런 기업들의 가격을 보면 다른 GPU의 가격이 다른 기업보다 더 저렴한 경우도 있고 GPU가 아닌 CPU나 램의 성능이 더 좋은 경우들도 많다. 그러니 GPU Cloud를 사용할 때는.. 내가 이 클라우드를 어디에 쓸지.. 필요한 VRAM은 어느정도일지.. 필요한 CPU나 RAM의 성능은 어느정도일지.. 어떤 GPU가 필요할지.. 상세하게 알아보고 난 후 가격을 비교하여 사용할 것을 추천한다.. 무작정 싸다고 사면 큰코다칠 가능성이.. 높기 때문에..
'블로그' 카테고리의 다른 글
OBS 출력 경로 빠르게 전환하기 (0) | 2025.03.02 |
---|---|
Baidu 바이두 다운로드 로그인 없이 하는 방법 (0) | 2024.02.29 |
티스토리 광고 설정 완료! (0) | 2023.02.01 |
처음으로 내가 만든 프로그램을 팔아보았다! (0) | 2022.09.14 |