Setup iniziale
Per sfruttare al massimo TorchDynamo, è necessario configurare il profiler con le opzioni corrette. L'uso del flag --profile-eager consente di monitorare l'esecuzione in modalità eager, ideale per i primi test.
Successivamente, si può passare alla modalità --profile-graph, che analizza la costruzione del grafo computazionale. Questa configurazione è particolarmente utile quando si lavora con modelli complessi come transformers.
Analisi dei risultati
I report generati da TorchDynamo includono metriche chiave: tempo medio di esecuzione, utilizzo della memoria GPU e percentuale di idle time. Con queste informazioni, è possibile identificare se un bottleneck è dovuto a operazioni matematiche pesanti o a inefficienze nella gestione della cache.