Правильный вариант - второй: "Её привычка, называть нас полными именами, раздражала ещё больше, чем незаслуженные двойки."

Пояснение: в данном случае запятые нужно ставить после существительного (привычка) и перед глаголом в деепричастной конструкции (называть). Так как второе предложение является сложносочиненным, нужно разделить его запятыми для правильного понимания смысла.