Впихнуть невпихуемое У Qwen3.8-Flash-Next целый штат из 24 576 экспертов. На каждый…
Впихнуть невпихуемое
У Qwen3.8-Flash-Next целый штат из 24 576 экспертов. На каждый новый токен работать выходят примерно десять. Остальные могут отдыхать, но места в памяти требуют все до единого. А теперь попробуйте разместить эту компанию на домашнем ПК, где у видеокарты всего 12 ГБ памяти.
И ведь получается! В одном из приведённых замеров Qwen на RTX 5070 с 64 ГБ оперативки выдала 94 токена в секунду. Правда, модель пришлось изрядно ужать. А проекты Strata и Maya позволяют запускать на потребительском железе даже ИИ-гигантов с сотнями миллиардов параметров.
Но впихнуть модель — ещё не значит заставить её нормально работать. Можно сэкономить память и потерять в качестве. Можно запустить гиганта и получить черепашью скорость. Самое сложное — найти баланс между размером модели, её возможностями и железом, которое должно всё это переварить.
Материалы по теме
OpenAI выпустили Images 2.6: теперь в ChatGPT можно делать гифки Анимации генерируются…
В принципе, писать сегодня что-то про сеошку сродни рассказывания несмешных анекдотов. Это…
Вставить свои 5 копеек: