[教學影片] 雲端 GPU/TPU 運算服務價格比較:AWS, Azure, Alibaba Cloud, TWCC 台灣 AI 計算雲, Google Colab, IBM Cloud, Oracle Cloud
講師: 李明達老師
供應商 | 產品型號 | 三年成本(新台幣) | 三年每小時成本(新台幣) | GPU | GPU/TPU memory | CUDA/TPU core | CPU core | 主記憶體 | 虛擬機造成效能下降 |
AWS | g4dn.xlarge (三年保留) | 長期租用雲端服務價格約16萬 | 6 | NVIDIA Tesla T4 | 16GB | 2560 | 4 (2.x GHz) | 16GB | 有 |
AWS | p3.2xlarge (三年保留) | 長期租用雲端服務價格約83萬 | 32 | NVIDIA Tesla V100 | 16GB | 5120 | 8 (2.x GHz) | 61GB | 有 |
Azure | NC6s v3 (一年保留3) | 長期租用雲端服務價格約126萬 | 48 | NVIDIA Tesla V100 | 網站沒寫 | 5120 | 6 (2.x GHz) | 112GB | 有 |
Alibaba Cloud | ecs.gn6v-c8g1.2xlarge (訂閱一年) | 長期租用雲端服務價格約108萬 | 41 | NVIDIA Tesla V100 | 16GB | 5120 | 8 (2.x GHz) | 32GB | 有 |
TWCC 台灣 AI 計算雲 | c.super (網站只有註明短期租用價格,需另外聯繫客服人員 才能取得長期租用報價) | 短期租用雲端服務價格約215萬 | 82 | NVIDIA Tesla V100 | 32GB | 5120 | 4 (3.0 GHz) | 90GB | 有 |
Google Colab | TPU v3-8 (preemptible price) | 長期租用雲端服務價格約208萬 | 78 | Google TPU (運算精度較低) | 網站沒寫 | 8 | 網站沒寫 | 128GB | 不確定 |
Google Colab | NVIDIA Tesla T4 (長租三年) | 長期租用雲端服務價格約13萬 | 5 | NVIDIA Tesla T4 | 16GB | 2560 | 網站沒寫 | 網站沒寫 | 有 |
Google Colab | NVIDIA Tesla V100 (長租三年) | 長期租用雲端服務價格約88萬 | 33 | NVIDIA Tesla V100 | 16GB | 5120 | 網站沒寫 | 網站沒寫 | 有 |
IBM Cloud | NVIDIA Tesla V100 (短租一個月) | 短期月租雲端服務價格約241萬 | 93 | NVIDIA Tesla V100 | 16GB | 5120 | 網站沒寫 | 網站沒寫 | 有 |
Oracle Cloud | VM.GPU3.1 (短租) | 短租雲端服務價格約232萬 | 88 | NVIDIA Tesla V100 | 16GB | 5120 | 6 (2.0 GHz) | 90GB | 有 |
LEADERG | LEADERG AI RENT (短租) | 短租雲端服務價格約108萬 | 41 | NVIDIA Titan RTX | 24GB | 4608 | 8 (3.5 GHz) | 64GB | 無 |
LEADERG | LEADERG-19 人工智慧工作站 (三年保固) | 購買實體機器及電費價格約80萬 | 30 | NVIDIA Quadro GV100 | 32GB | 5120 | 8 (3.7 GHz) | 128GB | 無 |
LEADERG | LEADERG-20-2U 人工智慧伺服器 (三年保固) | 購買實體機器及電費價格約100萬 | 38 | NVIDIA Tesla V100 | 32GB | 5120 | 16 (3.5 GHz) | 128GB | 無 |
製表時間: 2020年3月12日
結論:
1. 如果需要長期使用 GPU 做 AI 訓練,租用雲端服務不如購買實體機器。
2. 短期租用雲端服務非常貴,短期租用每小時的平均價格是長期租用三年的兩倍。
3. 雲端虛擬機的性能比實體機器差,用 AI 訓練進行實測,雲端虛擬機系統效能大約會比實體機器慢 10% ~ 30%,各個雲端供應商下降的速度不同。
4. 如果對於 GPU 運算效能及記憶體需求較低,例如:架設雲端 API 做推論,長期租用 NVIDIA Tesla T4 虛擬機很划算。
5. Google TPU 的運算精度較低,如果 AI 模型需要較高精度之 FP32 浮點數運算則不適合。
6. 大部分雲端服務的 NVIDIA Tesla V100 只有 16GB 顯示卡記憶體。
7. 大部分 AI 訓練及推論只使用一顆 CPU 搭配 GPU 進行運算,但是大部分雲端服務的 CPU 時脈只有 2.x GHz,造成整體效能變低。
8. 短期使用才會覺得租用雲端虛擬機划算,但是短租不如長租,長租不如買斷。半年的雲端服務費用可以買一台新的相同性能電腦。
PS: 國網中心 TWCC 台灣 AI 計算雲、 IBM Cloud 、 Oracle Cloud 的長租優惠價格要個別跟業務另外談。
延伸閱讀
標籤:
雲端運算, 價格比較, AWS, Azure, Alibaba Cloud, TWCC, 台灣 AI 計算雲, Google Colab, IBM Cloud, Oracle Cloud, TPU, GPU, 雲端服務, 雲端平台大比拼, 雲端平台怎麼選