Вкратце и по делу — основные тонкости при FFI C ⇄ Python (ctypes, cffi), на что смотреть и как избежать ошибок.
1) Владение памятью (ownership)
- Кто выделил — тот освобождает. Явно договоритесь API: либо Python освобождает, либо C. Непонятные правила — причины утечек и двойного free.
- Передача указателей:
- Если C возвращает указатель на локальную (stack) память — UB.
- Если C возвращает malloc-память — Python должен вызвать соответствующий free (или обернуть в финализатор).
- Как закрепить освобождение в Python:
- cffi: использовать `ffi.gc(ptr, lib.free)` — автоматическое освобождение.
- ctypes: оборачивать `c_void_p` в объект с __del__, вызывающим `lib.free(ptr)`, или хранить указатель в ctypes buffer (create_string_buffer).
- Передача буферов Python → C:
- Используйте `ctypes.create_string_buffer` или `ffi.from_buffer`/`ffi.new("char[]", data)` для гарантии непрерывной памяти и корректного владения.
- Если используете `from_buffer`, нужно удерживать исходный объект в живых до окончания использования C (иначе возможна переаллокация/GC).
- Передача Python-объектов в C (PyObject*):
- Нельзя слепо передавать; нужно увеличивать счетчик ссылок (Py_INCREF) если C хранит PyObject*; при освобождении — Py_DECREF. cffi предлагает `ffi.new_handle(obj)` для получения void* handle, и `ffi.from_handle()` для обратного преобразования; handle удерживает объект живым пока handle жив.
2) Выравнивание и layout структур
- C-структуры имеют выравнивание по максимальному выравниванию полей и включают паддинг между полями и в конце. Общая формула размера:
$$\text{size}=\lceil \frac{\text{raw\_size}}{\text{align}}\rceil \cdot \text{align}$$ где align — максимальное выравнивание полей.
- Что может пойти не так:
- Различия в типах для конкретной платформы: `long` на Linux x86_64 — 8 байт, на Windows 8 байт, `int` — 4 байта и т.д. (подбирайте соответствующие ctypes: `c_long`, `c_int32`, `c_int64`).
- Порядок полей и pragma pack/packing: если C использует `#pragma pack` или `__attribute__((packed))`, это меняет смещения полей.
- Разная ABI (например stdcall vs cdecl на Windows) для функций — приводит к крахам при возврате.
- Как проверять и согласовать:
- ctypes: `ctypes.sizeof(MyStruct)`, `ctypes.alignment(MyStruct)`.
- cffi: `ffi.sizeof("struct foo")`, `ffi.alignof("struct foo")`.
- Лучше иметь в C небольшой тест (printf/тестовый extension), который выводит `sizeof`, `offsetof(field)` и сравнивать с Python-значениями.
- Практика:
- В ctypes явно указывайте типы фиксированного размера (`c_int32`, `c_int64`) если хотите переносимость.
- В cffi при использовании out-of-line моды (`ffi.verify` / API mode) C-декларации парсятся корректно и layout соответствует скомпилированной библиотеке.
3) Жизненный цикл объектов и колбэки
- Колбэки из C в Python:
- Для ctypes: используйте `CFUNCTYPE`/`WINFUNCTYPE`; вы должны хранить ссылку на созданный callback (иначе GC удалит и при следующем вызове — segfault). ctypes автоматически оборачивает вызов и управляет GIL для вызова Python-функции.
- Для cffi: `ffi.callback` возвращает callable; также нужно держать ссылку, иначе UB. cffi обрабатывает GIL в большинстве случаев, но если C вызывает callback из произвольного потока, убедитесь, что GIL корректно захвачен.
- Исключения Python в callback:
- Не давайте исключению "вылететь" в C: перехватывайте его и возвращайте код ошибки, иначе поведение может быть неопределённым (в худшем случае — крЭш).
- Потоки:
- Если C создает свои потоки и в них вызывает Python-код, GIL должен быть захвачен. Для встраиваемого расширения через Python C-API: использовать `PyGILState_Ensure()`/`PyGILState_Release()`; для cffi/ctypes — внимательно читать документацию по callback-и GIL (cffi обычно управляет GIL при callback, но внешние потоки требуют дополнительных мер).
4) Типы, размеры и эндianness
- Используйте точные типы: `size_t` ↔ `c_size_t`/`size_t` в cffi; `int32_t`/`int64_t` если нужен фиксированный размер.
- Эндianness: если вы сериализуете между разными архитектурами, учитывайте порядок байт.
- Разрядность указателей: на 64-битной системе $\text{pointer\_size}=8$, на 32-битной — $\text{pointer\_size}=4$. Проверяйте `ctypes.sizeof(ctypes.c_void_p)` или `ffi.sizeof("void *")`.
5) Отладка и проверка
- Сравнивайте `sizeof` и `offsetof` в C и Python; делайте тесты на бинарную совместимость.
- Используйте статические assertions в C (`_Static_assert`) и тесты в Python.
- Включайте ASAN/UBSAN при разработке нативной библиотеки, чтобы ловить проблемы с доступом к памяти.
6) Практические рекомендации (кратко)
- Явно документируйте кто освобождает память.
- Всегда держите в Python ссылку на объекты/колбэки, которые C может вызвать/использовать.
- Используйте фиксированные типы (`int32_t`, `uint64_t`) для переносимости, либо тщательно проверяйте платформенные размеры.
- Для сложных структур предпочтительнее cffi (out-of-line) — компилирует C-описания и меньше расхождений. ctypes проще для лёгких задач, но требует внимательного ручного согласования layout.
- Валидируйте размеры/смещения в тестах и при загрузке библиотеки.
Если нужно — могу привести короткие образцы шаблонов обёрток (ctypes и cffi) для безопасного владения и освобождения памяти, а также проверочный C-тест для sizeof/offsetof.