Да, запятая нужна в данном случае для разделения деепричастия "не позавтракав" и сказуемого "ушел". В предложении "Ушел не позавтракав" эти части необходимо разделить, чтобы сделать фразу более понятной и правильной синтаксически.