Николай II лишил его своей помощи и сместил с поста министра денег. В 1903 г. Витте был назначен председателем Кабинета министров. Но Николай II продолжал оказывать ему доверие, правда теснее не такое, как прежде. Правитель послал Витте во главе русской делегации на переговоры с Японией о заключении мира. В заслугу за заключение Портсмутского мира Витте получил титул графа.  Противники Витте дали ему прозвище граф Полусахалинский, так как Япония по мирному уговору получила южную часть острова Сахалин.