Данные слова являются синонимами, по словарю синонимов русского языка Александрова З.Е. слово Материться - то есть ругаться матом, а вот Матюгаться или Матюкаться - эти слова используются чаще в разговорном стиле.