"de" is used in an impersonal form :
il est facile de + infinitif
Il est facile de se perdre = Se perdre est facile
Il est facile de comprendre l'anglais = Comprendre l'anglais est facile
("il" doesn't represent anything)

"à" is used when it introduces a complement to facile
qqchose/qqun est facile à + infinitif
L'anglais est facile à comprendre -> c'est facile à comprendre.

John est facile à comprendre -> Il est facile à comprendre.