Слово "зараз" в данном контексте означает "сейчас", "в данный момент". То есть фраза означает, что нам сейчас все равно, не важно, что происходит или что кто-то думает о нас.