Да, можно сказать "ушел далеко от города". Это корректное выражение, которое означает, что человек или объект находится на значительном расстоянии от города.