BD awq-quantization
Квантование весов с учетом активации для сжатия LLM до 4 бит с ускорением в 3 раза и минимальной потерей точности. Используйте при развертывании больших моделей (7B-70B) в условиях ограниченной памяти GPU, когда вам нужен более быстрый вывод, чем у GPTQ, с лучшим сохранением точности, или для инструктивно-обученных и мультимодальных моделей. Обладатель награды за лучшую статью MLSys 2024.
машинный переводПоказать оригиналСкрыть оригинал«Activation-aware weight quantization for 4-bit LLM compression with 3x…»
Activation-aware weight quantization for 4-bit LLM compression with 3x speedup and minimal accuracy loss. Use when deploying large models (7B-70B) on limited GPU memory, when you need faster inference than GPTQ with better accuracy preservation, or for instruction-tuned and multimodal models. MLSys 2024 Best Paper Award winner.
Квантование весов с учетом активации для сжатия LLM до 4 бит с ускорением в 3 раза и минимальной потерей точности.
Как процесс D 39/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Для Hermes description должен быть одним предложением до 60 символов; условия применения вынесите в раздел «When to Use».
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 3. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-long-hermesdescription 329 символов, а стандарт Hermes требует ≤ 60 (одно предложение, с точкой) - заметка
frontmatter-keyнеизвестное поле фронтматтера "dependencies" - заметка
edit-residueв тексте есть пометки об устаревшем (строки 290): проверьте, не остались ли старые правила рядом с новыми — полная проверка читает текст на противоречия
Процессный рейтинг: все десять параметров 39/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 2, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (awq-quantization) не совпадает с папкой (awq)
- 60Инструменты и файлы. Используются инструменты (python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 21
- 100Стоимость исполнения. Тело инструкции 1940 токенов
- low Разделов верхнего уровня: 13. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- -42 справочных файлов, но SKILL.md на них не ссылается: модель их не откроет
- +2Инструкции на одном языке
- +3Длина description 329 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 26 заголовков
- +3Пошаговые инструкции: 21 пунктов
- +4Есть примеры (15 блоков кода)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 74.