Кратко и по пунктам.
1) Модель и уравнение движения. Обозначим смещение $x(t)$, массу $m$, жёсткость пружины $k$. Сила трения задаётся функцией скорости $\Phi (\dot{x})$ (направлена против скорости). Тогда уравнение движения
$$m\ddot{x}+kx+\Phi (\dot{x})=0.$$ Частные случаи: кулоновское/стрикционное трение $\Phi (\dot{x})=\mu (|\dot{x}|)mg\mathrm{sign}(\dot{x})$, вязкое со скорозав. коэффициентом $\Phi (\dot{x})=c(\dot{x})\dot{x}$.
2) Линейная устойчивость равновесия $x=0$. Разложим при малых скоростях
$$\Phi (\dot{x})\approx c\dot{x},c={\Phi }^{\prime }(0).$$ Линейное уравнение
$$m\ddot{x}+c\dot{x}+kx=0,$$ характеристическое уравнение ${\lambda }^2+\frac{c}{m}\lambda +\frac{k}{m}=0$. Равновесие линейно устойчиво если $c>0$ (диссипация), и неустойчиво при $c<0$ (малые возмущения растут — «отрицательное демпфирование»).
3) Критерий самовозбуждения (энергетический). Умножим уравнение на $\dot{x}$:
$$\frac{d}{dt}(\frac{1}{2}m{\dot{x}}^2+\frac{1}{2}k{x}^2)=-\Phi (\dot{x})\dot{x}.$$ Средняя по циклу скорость изменения энергии $⟨\dot{E}⟩=-⟨\Phi (\dot{x})\dot{x}⟩$. Для нарастания энергии (самовозбуждение) нужно
$$⟨\Phi (\dot{x})\dot{x}⟩<0.$$ Для затухания $⟨\Phi (\dot{x})\dot{x}⟩>0$. Для установившейся гармонической (предп.) колебательной стации равновесие между входом и потерями даёт $⟨\Phi (\dot{x})\dot{x}⟩=0$ — это условие предела цикла.
4) Простейшее нелинейное приближение и оценка амплитуды предела цикла. Пусть
$$\Phi (\dot{x})=c_1\dot{x}+c_3{\dot{x}}^3,{\omega }_0=\sqrt{k/m}.$$ При предположении почти гармонического решения $\dot{x}\approx A{\omega }_0\cos ({\omega }_{0}t)$ средние значения дают условие стационарной амплитуды
$$c_1\frac{A^2{\omega }_0^2}{2}+c_3\frac{3A^4{\omega }_0^4}{8}=0,$$ откуда
$$A^2=-\frac{4c_1}{3c_3{\omega }_0^2}.$$ Таким образом для предела цикла требуется $c_1<0$ (отрицательное демпфирование на малых скоростях) и $c_3>0$ (нелинейная стабилизация).
5) Возможные режимы (в зависимости от формы $\Phi$):
- монотонное затухание (если $\Phi (v)v>0$ для всех $v$);
- линейная неустойчивость и переход к установившемуся предельному циклу (нелинейная саморегуляция) — типично при отрицательном линейном демпфировании и положительной нелинейной потере;
- релаксационные или разрежённые колебания и/или «стик‑слип» при дискретном/кулоновском трении и эффекте Срибека (коэффициент трения убывает при малых скоростях);
- би- или мультистабильность и гистерезис при сложной завимости $\mu (|v|)$.
6) Методы анализа: линейизация (локальная устойчивость), энергетический критерий, метод усреднения/гармонического баланса для оценки амплитуд предельного цикла, численное моделирование для дискретного трения и больших нелинейностей.
Если нужно, могу привести развернутый вывод для конкретной формы $\Phi (\dot{x})$ (например Stribeck или конкретная полиномиальная форма) и получить амплитуды/условия бифуркации.