Правильно: «в целом ряде случаев» (раздельно). Вариант «вцелом ряде случаев» — орфографически неверен.
Обоснование:
- «в целом» здесь состоит из предлога «в» + форма короткого прилагательного «целом» (предложный падеж), которое согласовано с существительным «ряде»: «в (чём?) целом ряде». То есть это не цельное слитное слово, а часть именной группы.
- Семантически выражение означает «в ряде случаев в целом», т.е. «в ряде случаев (в большинстве подобных ситуаций)». Если «в целом» выступает как вводное («в общем»), оно пишется отдельно и обычно выделяется запятыми: «В целом, в ряде случаев это верно». В сочетании «в целом ряде случаев» запятая не нужна, потому что «в целом» непосредственно относится к «ряде».
Пример: «В целом ряде случаев новое правило улучшило результаты испытаний.»