Это выражение "all I did was" означает "все, что я сделал было только". В контексте данного предложения оно подчеркивает невероятность увольнения из-за того, что человек взял выходной день. Таким образом, вся причина увольнения кажется несоответствующей или несправедливой.