Правильно: «По правде говоря, он ошибся.»
Запятая ставится после вводного оборота «по правде говоря», потому что это вводное словосочетание (выражает оценку или отношение говорящего и не входит в синтаксическую структуру предложения) и вводные слова/оборот ы выделяются запятыми. Если такое вводное словосочетание стоит внутри предложения, оно также отделяется с обеих сторон запятыми: «Он, по правде говоря, ошибся.»