Что делает фрагмент
def remove_duplicates$arr$:
res = for i in arr:
if i not in res:
res.append$i$ return res

Возвращает список элементов из arr без повторов, сохраняя порядок первого появления $first-seenorder$.Проверка "i not in res" использует сравнение по равенству $==$.

Проблемы и случаи, когда работает плохо или неправильно

Медленно для больших массивов $O(n^2)$:

Операция "i not in res" для списка — линейная, поэтому при n элементах получается приблизительно сумма 1..n → O$n^2$ по времени.Память — O$n$ в res, но это ожидаемо.

Поведение с не-хэшируемыми элементами:

Текущий код работает и с не-хэшируемыми элементами $например,списками$, потому что использует список для проверки. Это плюс, но при больших объёмах всё равно медленно.

Специальные случаи равенства:

Некоторые значения $например,NaN$ ведут себя нетривиально: float${}^{\prime }na{n}^{\prime }$ != float${}^{\prime }na{n}^{\prime }$, это может привести к тому, что «повторы» NaN останутся как несколько элементов.Объекты с переопределённым eq / hash могут давать неожиданные результаты при использовании различных подходов $set/dictvsлинейныйпоиск$.

Как улучшить $вариантыипример$

1) Самый простой и быстрый для хэшируемых элементов $сохранениепорядка$:

В Python 3.7+ можно сделать:
list$dict.fromkeys(arr)$ это O$n$ по времени $всреднем$, O$n$ по памяти. Очень компактно и быстро. Требует, чтобы элементы были хэшируемы.

2) Общий оптимальный подход с учётом смешанных типов $хэшируемые+не-хэшируемые$:

Используем множество для хэшируемых элементов и отдельный список для не-хэшируемых $fallback$. Это даёт O$n$ в среднем, а квадратичность остаётся только для не-хэшируемых элементов.
Пример:
def remove_duplicates$arr$:
seen_hashable = set seen_unhashable = res = for x in arr:
try:
if x not in seen_hashable:
seen_hashable.add$x$ res.append$x$ except TypeError:
x не хэшируем — fallback if x not in seen_unhashable:
seen_unhashable.append$x$ res.append$x$

return res

3) Если порядок не важен:

Просто set$arr$ — O$n$ среднее, но порядок теряется.Или: sorted$set(arr)$ — O$nlogn$ и возвращает упорядоченные элементы.

4) Если данные — Numpy / Pandas:

Для numpy: numpy.unique$arr$ $естьопцияretur{n}_{i}ndexдлясохраненияпорядкапервыхпоявлений$.Для pandas: pd.Series$arr$.drop_duplicates — оптимизировано для больших наборов.

5) Для очень больших данных $непомещаютсявпамять$:

Варианты:
Внешняя сортировка $externalsort$ + удаление последовательных дублей.Использование СУБД $INSERTIGNORE/UNIQUE-индекс$.Bloom filter для приближённой дедупликации $экономияпамяти,новозможныложныесрабатывания$.

Кратко по сложностям

Исходный код: O$n^2$ время, O$n$ память.dict.fromkeys / set-based: O$n$ среднее время, O$n$ память $требуетхэшируемыхэлементов$.Сортировка + groupby: O$nlogn$ время, возможно меньше памяти при внешней сортировке.

Резюме и рекомендация

Для обычных списков хэшируемых объектов используйте list$dict.fromkeys(arr)$ или set-подход с seen — это простой и быстрый вариант.Если встречаются не-хэшируемые объекты — используйте комбинированный подход $set+fallbackнасписок$.Для очень больших данных применяйте инструменты уровня numpy/pandas, внешнюю сортировку или базу данных; при необходимости приближённого результата рассмотрите bloom filter.