Grande admirador de Jesse Owens, Dillard foi campeão universitário em 1946 e 1947 nas 120 jardas e 220 jardas barreiras. Esteve presente nos Jogos Olímpicos de Londres 1948, tendo vencido os 100 m em 10,30 e fez parte da estafeta 4×100 m que também ganhou a medalha de ouro.