Да, фразеологизмом "нет дела до кого-то" можно считать, так как это устойчивое выражение, имеющее определенное значение и употребляемое в речи как отдельное целое.