SKILLEMALL.ai
GitHub ↗ EN Войти

BF train-sentence-transformers

Обучайте или донастраивайте модели SentenceTransformer, CrossEncoder и SparseEncoder для задач поиска, сходства, кластеризации, классификации, переранжирования и связанных с ними задач встраивания.

машинный переводПоказать оригиналСкрыть оригинал«Train or fine-tune SentenceTransformer, CrossEncoder, and SparseEncode…»

Train or fine-tune SentenceTransformer, CrossEncoder, and SparseEncoder models for retrieval, similarity, clustering, classification, reranking, and related embedding tasks.

sickn33/agentic-awesome-skills Agent Skills автор: sickn33 MIT 28 файлов тело ≈ 2 261 токенов Открыть источникgithub.com↗ проанализирован 2 дн назад

Обучайте или донастраивайте модели SentenceTransformer, CrossEncoder и SparseEncoder для задач поиска, сходства, кластеризации, классификации…

Как процесс F 46/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: scripts/train_<type>_example.py, scripts/train_sentence_transformer_<matryoshka|multi_dataset|with_lora|distillation|make_multilingual|static_embedding>_example.py, scripts/train_cross_encoder_<distillation|listwise>_example.py

ГенераторИИ и агентытип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
B
84/100
безопасность, качество, тесты
Безопасность 60%
93
Качество 40%
71
Прогон на моделях
не было
Процессный рейтинг
F
46/100
Не запустится
Скилл ссылается на файлы, которых нет в архиве: scripts/train_<type>_example.py, scripts/train_sentence_transformer_<matryoshka|multi_dataset|with_lora|distillation|make_multilingual|static_embedding>_example.py, scripts/train_cross_encoder_<distillation|listwise>_example.py
Инструменты и файлы вес 18
0
Результат и критерий готовности вес 14
0
Когда включается вес 12
20
три самых слабых из десяти параметров · все десять
Это копия скилла из другого каталога, в рейтинге считается основная: train-sentence-transformers (sickn33/agentic-awesome-skills)

Как улучшить

  1. В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 7

✓ Критических и высоких находок нет

Средние и низкие: 7
  • низкая Секреты в коде secret-high-entropy-token references/base_model_selection.md:43
    Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)
    - **CPU / small footprint** (`StaticEmbedding`): `StaticEmbedding(tokenizer, embedding_dim=...)`. **Model size = `vocab_size × dim × 4 bytes`** — pick a small-vocab tokenizer or you get a giant model:
    в кавычках
  • низкая Секреты в коде secret-high-entropy-token references/evaluators_cross_encoder.md:35
    Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)
    Output key for `metric_for_best_model`: **`eval…dcg@10`**. The `R100` signals "rerank top-100"; if you change `rerank_k`, the prefix changes (e.g. `R50`).
    в кавычках
  • низкая Секреты в коде secret-high-entropy-token references/evaluators_cross_encoder.md:105
    Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)
    - `eval…dcg@10` — `CrossEncoderNanoBEIREvaluator` default
    в кавычках
  • низкая Секреты в коде secret-high-entropy-token references/losses_cross_encoder.md:100
    Строка, похожая на токен (может быть id, хеш или секрет) (значение-заглушка)
    - **Tiny loss at large K is expected.** With `NDCG…eme`, the loss normalizes by the discount-weighted pair count — at K=128 the loss can scale to ~`1e-4` numerically. That's not "training bro
    заглушка
  • низкая Секреты в коде secret-high-entropy-token references/training_args.md:147
    Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)
    - `CrossEncoderNanoBEIREvaluator` (rerank from BM25 top-100): `eval…dcg@10`
    в кавычках
  • низкая Секреты в коде secret-high-entropy-token references/troubleshooting.md:147
    Строка, похожая на токен (может быть id, хеш или секрет) (значение-заглушка)
    **Fix:** ignore training loss for LambdaLoss; watch the eval metric (`eval…dcg@10` or your `metric_for_best_model`) instead. If eval is moving in the right direction and loss is "t
    заглушка
  • низкая Секреты в коде secret-high-entropy-token scripts/train_sentence_transformer_make_multilingual_example.py:32
    Строка, похожая на токен (может быть id, хеш или секрет) (тестовый файл / пример; в кавычках — упоминание, а не команда)
    - Student: must be multilingual (xlm-roberta-base, para…-v2,
    тестовый файлв кавычках

Просканировано файлов: 28. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение missing-ref ссылка на отсутствующий файл: scripts/train_<type>_example.py
  • предупреждение missing-ref ссылка на отсутствующий файл: scripts/train_sentence_transformer_<matryoshka|multi_dataset|with_lora|distillation|make_multilingual|static_embedding>_example.py
  • предупреждение missing-ref ссылка на отсутствующий файл: scripts/train_cross_encoder_<distillation|listwise>_example.py
  • предупреждение missing-ref ссылка на отсутствующий файл: references/losses_<type>.md
  • предупреждение missing-ref ссылка на отсутствующий файл: references/evaluators_<type>.md
  • заметка frontmatter-key неизвестное поле фронтматтера "risk"
  • заметка frontmatter-key неизвестное поле фронтматтера "source"
  • заметка frontmatter-key неизвестное поле фронтматтера "source_repo"
  • заметка frontmatter-key неизвестное поле фронтматтера "source_type"
  • заметка frontmatter-key неизвестное поле фронтматтера "date_added"
  • заметка frontmatter-key неизвестное поле фронтматтера "license_source"
  • заметка edit-residue в тексте есть пометки об устаревшем (строки 46): проверьте, не остались ли старые правила рядом с новыми — полная проверка читает текст на противоречия

Процессный рейтинг: все десять параметров 46/100

Не запустится. Скилл ссылается на файлы, которых нет в архиве: scripts/train_<type>_example.py, scripts/train_sentence_transformer_<matryoshka|multi_dataset|with_lora|distillation|make_multilingual|static_embedding>_example.py, scripts/train_cross_encoder_<distillation|listwise>_example.py
  • 0Инструменты и файлы. Не хватает 5 файла(ов): scripts/train_<type>_example.py, scripts/train_sentence_transformer_<matryoshka|multi_dataset|with_lora|distillation|make_multilingual|static_embedding>_example.py, scripts/train_cross_encoder_<distillation|listwise>_example.py
  • 0Результат и критерий готовности. Не сказано, что считать результатом
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 30Повторный запуск. Изменяющих операций: 9, без проверки текущего состояния
  • 60Ошибки и развилки. Развилок: 2
  • 70Входы и предусловия. Входные данные и предусловия перечислены
  • 85Шаги. Шагов: 42, расплывчатых формулировок: 2
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 2261 токенов
  • 100Отчётность по ходу. Скилл сообщает о ходе работы
  • low Скилл сам сортирует и ранжирует выдачу: это работа системы на той стороне, а не модели
  • low Ответ описан самодельной разметкой (4 тегов): типизированный вызов надёжнее

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +3Формат ответа не описан: модель каждый раз решает сама
  • -38 из 13 скриптов не упомянуты в SKILL.md
  • +2Инструкции на одном языке
  • +3Длина description 173 символов: достаточно сигнала, не съедает бюджет
  • +4Структура: 13 заголовков
  • +3Пошаговые инструкции: 42 пунктов
  • +4Есть примеры (1 блоков кода)
  • +4Справочные файлы упоминаются в инструкциях (14 из 14)
  • +1Лицензия указана

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 71.