Правильным будет выражение "смотреть из-за щели", означающее, что кто-то или что-то наблюдает через узкое отверстие или промежуток. Использование "из-под щели" или "в щель" может ввести в замешательство, так как они не соответствуют обычному употреблению.