Правильно: «Он говорил, проще говоря, не церемонясь.»
Почему: «проще говоря» — вводное словосочетание (уточняющее пояснение) и выделяется запятыми; «не церемонясь» — деепричастный оборот, который тоже отделяется запятой от сказуемого. Вставка вводного между глаголом и деепричастием требует именно такой расстановки запятых. Альтернатива для интонационного выделения — тире: «Он говорил — проще говоря — не церемонясь.»