Нет, правильнее будет сказать "кричит/ругается на меня". "Срывает голос" означает, что голос у кого-то исчезает из-за напряжения или эмоционального состояния.