Në vitet 2004-2005, Fatmir Xhafaj ngjitet në një dikaster të rëndësishëm duke u bërë Ministër i Drejtësisë. Në këtë periudhë, nuk la ndonjë shenjë të madhe në këtë dikaster, veçse mbahet mend për 3 padi penale të bëra në ngarkim të tij, për shpërdorim detyre.
