Слово "коллега" имеет род мужской. Формообразование "со своим коллегом" в устной речи допустимо, хотя более правильным будет использование формы "с своим коллегой". Однако, является ли это ошибкой или нормой, вопрос спорный. Некоторые люди могут использовать данную форму из-за привычки или влияния диалекта. В любом случае, является важным умение корректно использовать слова и обращаться к коллегам с уважением.