BF training-data-annotation
Проектирование и улучшение программ ручной разметки для данных обучения, валидации и оценки машинного обучения, включая схемы задач и меток, активное приобретение, руководство разметчиками, калибровку, разногласия, арбитраж, происхождение и остановку по критерию стоимость-качество. Не используйте для общего статистического вывода, конвейеров хранения данных, обучения моделей или реализации интерфейса разметки; передавайте эти вопросы специалистам по данным (data-scientist), инженерам данных (data-engineering), ML-инженерам (ml-engineering) или дизайнерам продуктов и UX (product-design-and-ux).
машинный переводПоказать оригиналСкрыть оригинал«Design and improve human annotation programs for machine-learning trai…»
Design and improve human annotation programs for machine-learning training, validation, and evaluation data, including task and label schemas, active acquisition, annotator guidance, calibration, disagreement, adjudication, provenance, and cost-quality stopping. Do not use for general statistical inference, data storage pipelines, model training, or annotation-interface implementation; route those concerns to data-scientist, data-engineering, ml-engineering, or product-design-and-ux.
Проектирование и улучшение программ ручной разметки для данных обучения, валидации и оценки машинного обучения, включая схемы задач и меток, активное…
Как процесс F 41/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: ../data-scientist/SKILL.md, ../data-engineering/SKILL.md, ../ml-engineering/SKILL.md
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 10. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: ../data-scientist/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../data-engineering/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../ml-engineering/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../product-design-and-ux/SKILL.md
Процессный рейтинг: все десять параметров 41/100
- 0Инструменты и файлы. Не хватает 4 файла(ов): ../data-scientist/SKILL.md, ../data-engineering/SKILL.md, ../ml-engineering/SKILL.md
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 100Шаги. Шагов: 11
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1186 токенов
- 100Повторный запуск. Изменяющих операций нет
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- low Среди тестов нет случая на инъекцию через данные
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +2Инструкции на одном языке
- +4Описание говорит, когда скилл НЕ применять
- +3Длина description 488 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 7 заголовков
- +3Пошаговые инструкции: 11 пунктов
- +4Справочные файлы упоминаются в инструкциях (5 из 5)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 77.