Да, можно говорить "мир вдвоём", и это означает, что два человека создали свой собственный мир, где они существуют и взаимодействуют вдвоём. В контексте "это был их мир вдвоём" указывает на то, что эти два человека имели свой собственный уникальный мир, который они разделяли и который был особенным и значимым именно для них двоих.