Ampere

E’ passato un po’ di tempo dall’ultimo articolo. Ultimamente ho approfondito l’inferenza AI, cioe’ il processo di esecuzione dei modelli per generare risposte, cercando di capire se servano davvero GPU costose per eseguire modelli linguistici moderni. Spoiler: la risposta potrebbe sorprenderti. Dopo molti test su Oracle Cloud Infrastructure (OCI), confrontando processori Ampere basati su ARM con i piu’ recenti chip AMD EPYC, ho visto che la giusta combinazione di ottimizzazioni software e modelli compressi puo’ offrire performance notevoli, senza usare una GPU. ...

Se stai confrontando le shape OCI Compute Flex, la risposta breve di questo test Geekbench 6 e’: VM.Standard.E5.Flex guida per performance multicore pura, VM.Standard.A1.Flex e’ la scelta piu’ interessante sul costo, mentre le shape Intel restano utili quando la compatibilita’ x86 e’ un requisito. Raccomandazione rapida Obiettivo Parti da Perche' Migliore performance multicore VM.Standard.E5.Flex Score Geekbench 6 multicore piu’ alto in questo test. Costo minimo con buon throughput VM.Standard.A1.Flex Score simile a E4/Optimized3 in questo benchmark, con il prezzo piu’ basso in tabella. Compatibilita’ x86 per workload esistenti VM.Standard3.Flex o VM.Optimized3.Flex Utile quando pacchetti, binari o supporto vendor richiedono x86. Opzione AMD x86 bilanciata VM.Standard.E4.Flex Opzione x86 a costo inferiore, ma sotto E5 nel benchmark. Questo e’ uno snapshot di benchmark di marzo 2024. Usa i numeri per confrontare il comportamento relativo, poi verifica disponibilita’ regionale e prezzi correnti nell’OCI Cost Estimator prima di decidere per produzione. ...

Quando si sceglie un’istanza compute, fattori come potenza di calcolo, rapporto prezzo-prestazioni e ottimizzazione del workload hanno un ruolo significativo. Concentriamoci sulle seguenti shape standard flex disponibili nella maggior parte delle region OCI: VM.Standard.E4.Flex (Processore: AMD EPYC 7J13. Frequenza base 2,55 GHz, boost massimo 3,5 GHz) VM.Standard.E5.Flex (Processore: AMD EPYC 9J14. Frequenza base 2,4 GHz, boost massimo 3,7 GHz) VM.Standard3.Flex (Processore: Intel Xeon Platinum 8358. Frequenza base 2,6 GHz, turbo massimo 3,4 GHz) VM.Optimized3.Flex (Processore: Intel Xeon 6354. Frequenza base 3,0 GHz, turbo massimo 3,6 GHz) VM.Standard.A1.Flex (ogni OCPU corrisponde a un singolo thread hardware. Processore: Ampere Altra Q80-30. Frequenza massima 3,0 GHz) Ho eseguito benchmark con Geekbench 6 su tre configurazioni CPU: 2, 4 e 8 core. ...