Главные силы и почему:
1) Дрейф (включая эффект основателя/узкого места) — самый значимый сразу после основания. При малой численности случайные флуктуации частот аллелей велики: величина генетической «шума» пропорциональна $1/(2N)$, поэтому для малой популяции частоты быстро меняются и многие аллели теряются или фиксируются случайно. Эффект основателя означает, что начальные частоты отражают только аллели учредителей, что резко снижает генетическое разнообразие.
2) Внутрипопуляционное скрещивание/инбридинг — тесно связано с малой $N$. Инбридинг повышает гомозиготность и проявление рецессивных вредных аллелей, что влияет на фитнес и генетическую структуру популяции.
3) Отбор — действует, но его эффективность при малых $N$ ограничена. Пороговый критерий: если $|s|\ll 1/(2N)$, то дрейф доминирует над отбором; иначе сильный отбор ($|s|$ крупнее этого порога) всё ещё способен изменять частоты. Например, при $N=50$ порог примерно $1/(2N)=0.01$ — селективные коэффициенты ниже ~0.01 в основном «поглощаются» дрейфом.
4) Мутация — источник новой вариации, но поначалу маловажна по сравнению с дрейфом в короткой перспективе, т.к. скорость введения новых аллелей порядка $\mu$ на локус за поколение (обычно очень мала). В долгосрочной перспективе комбинация мутации и дрейфа определяет восстановление диверситета и дивергенцию от материковой популяции.
Кратко: сразу и в краткосрочной перспективе — дрейф (и эффект основателя/инбридинг) наиболее значим; отбор важен только для достаточно сильных эффектов; мутация влияет медленно; миграция при изоляции пренебрежимо мала.