Ciao, prova
partendo dalla migliore qualità che hai del video, poi:
usa il codec h.264 e cerca di mantenere un bitrate di 2000kbps
ridimensiona il video a 320x240 (questo perché è il formato di youtube e che quindi eviterà di farti perdere qualità in questo passaggio)
quando utilizzi l'encoder assicurati di non utilizzare l'opzione interlace (altro passaggio che youtube esegue)
se hai fatto il video in widescreen utilizza l'opzione letterboxing
cerca di andare ai limiti delle dimensioni consentite da youtube (100mb)
Facendo così dovresti ottenere i migliori video ottenibili su youtube

.
Ecco un esempio:
Ciao