Мягкий знак - это знак принятия или чужих слов, и в это смысле он мягкий. Также, он тоньше и менее выразительный по сравнению с твердым знаком, что также дает ему "мягкость".