"they do with me" - описывает действие, которое они совершают вместе с вами, совместным участием

"they do to me" - указывает на то, что они что-то делают к вам, в отношении вас

"it happens to me" - подразумевает, что что-то происходит с вами в результате внешних обстоятельств

"It happens with me" - указывает на то, что что-то происходит вместе с вами, с вашим участием.