Забавный репозиторий на GitHub — ЕРЕТИК. Инструмент, который автоматически снимает цензор с LLM

Забавный репозиторий на GitHub: ЕРЕТИК

Это инструмент, который автоматически снимает цензор с LLM.

Если коротко: вы берете open-weight модель (Gemma, Phi, Llama и т.д.) и прогоняете через Heretic. На выходе получаете версию модели с минимальными отказами отвечать на запросы.

Что под капотом:

• используется метод directional ablation (в research его называют abliteration)
• оптимизация параметров через Optuna
• цель: уменьшить количество refusals (отказов) и при этом максимально сохранить поведение оригинальной модели

Интересный момент.

Инструмент делает это полностью автоматически. Без fine-tune, без долгого обучения и без необходимости разбираться во внутренностях трансформеров. То есть фактически любой разработчик может взять open model и «снять safety-пломбу» одной командой.

Поэтому вокруг проекта уже много дискуссий. С одной стороны это мощный инструмент для исследования поведения LLM. С другой стороны он показывает, насколько хрупкой иногда бывает вся система цензора в современных моделях. Очень показательный репозиторий для тех, кто строит локальные LLM-стэки.