BD Skill Router — 智能技能路由引擎
Двухэтапный маршрут: грубый отбор по эмбеддингам, затем точная сортировка LLM, выбор топ-5 из 977 навыков. Китайские запросы автоматически переводятся на английский для сопоставления, плюс тройная линия защиты от отказа, информационные запросы напрямую перенаправляются на инструменты L0, чтобы не тратить токены LLM.
машинный переводПоказать оригиналСкрыть оригинал«两阶段路由:embedding粗筛之后LLM精排,977技能里挑top5。中文query自动翻成英文再匹配,外加三重拒选防线,纯信息类查询直…»
两阶段路由:embedding粗筛之后LLM精排,977技能里挑top5。中文query自动翻成英文再匹配,外加三重拒选防线,纯信息类查询直接踢到L0工具,别浪费LLM token。
Двухэтапный маршрут: грубый отбор по эмбеддингам, затем точная сортировка LLM, выбор топ-5 из 977 навыков.
Как процесс D 41/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Инструкции или скрипты отправляют данные наружу: переменные окружения, ключи, содержимое файлов, историю чата. Вы можете не заметить этого в диалоге, потому что агент выполнит отправку как «часть задачи».
Если отправка не нужна для задачи, уберите её: каталоги помечают такие скиллы как подозрительные и снимают с выдачи. Если нужна, назовите адрес явно, объясните, что именно уходит, и дайте пользователю выключатель.
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 8
✓ Критических и высоких находок нет
Средние и низкие: 8
-
средняя Утечка данных
exfil-send-secrets-to-urltool_catalog.json:104Инструкция отправить секреты/переписку на внешний адрес (описание авторизации в API (bearer / заголовок / HTTPS); в кавычках — упоминание, а не команда)"invocation": "exec: curl -s -X POST -H 'Content-Type: application/json' -H 'X-API-Key: ${TINYFISH_API_KEY}' -d '{\"urls\":[\"URL\"],\"format\":\"markdown\"}' 'https://api.fetch.tinyfish.ai'",авторизация APIв кавычках -
низкая Утечка данных
exfil-secret-in-urltool_catalog.json:41Учётные данные в строке запроса URL (для части API это норма — проверьте, что хост нужный) (значение-заглушка)"invocation": "exec: curl -s 'https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=…&retmax=20&api_key=…&term=QUERY' | 然后 efetch 获取详情",
заглушка -
низкая Утечка данных
net-credential-usetool_catalog.json:41Учётные данные используются в сетевом вызове (проверьте, что адрес — нужный сервис) (в кавычках — упоминание, а не команда)"invocation": "exec: curl -s 'https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=…&retmax=20&api_key=…&term=QUERY' | 然后 efetch 获取详情",
в кавычках -
низкая Утечка данных
net-credential-usetool_catalog.json:50Учётные данные используются в сетевом вызове (проверьте, что адрес — нужный сервис) (в кавычках — упоминание, а не команда)"invocation": "exec: curl -s -H 'x-api-key: ${SEMANTIC_SCHOLAR_API_KEY}' 'https://api.semanticscholar.org/graph/v1/paper/search?query=QUERY&limit=20&fields=…в кавычках -
низкая Утечка данных
net-credential-usetool_catalog.json:66Учётные данные используются в сетевом вызове (проверьте, что адрес — нужный сервис) (в кавычках — упоминание, а не команда)"invocation": "exec: curl -s -H 'X-API-Key: ${TINYFISH_API_KEY}' 'https://api.search.tinyfish.ai?query=QUERY'",в кавычках -
низкая Утечка данных
exfil-secret-in-urltool_catalog.json:80Учётные данные в строке запроса URL (для части API это норма — проверьте, что хост нужный) (значение-заглушка)"invocation": "exec: curl -s 'https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=…&id=PMID&rettype=…&api_key=…'",
заглушка -
низкая Утечка данных
net-credential-usetool_catalog.json:80Учётные данные используются в сетевом вызове (проверьте, что адрес — нужный сервис) (в кавычках — упоминание, а не команда)"invocation": "exec: curl -s 'https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=…&id=PMID&rettype=…&api_key=…'",
в кавычках -
низкая Утечка данных
net-credential-usetool_catalog.json:88Учётные данные используются в сетевом вызове (проверьте, что адрес — нужный сервис) (в кавычках — упоминание, а не команда)"invocation": "exec: curl -s -H 'x-api-key: ${SEMANTIC_SCHOLAR_API_KEY}' 'https://api.semanticscholar.org/graph/v1/paper/PMID?fields=…'",в кавычках
Просканировано файлов: 14. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
name-formatname должен быть в kebab-case (строчные буквы, цифры, дефисы) - предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - заметка
frontmatter-keyнеизвестное поле фронтматтера "homepage" - заметка
frontmatter-keyнеизвестное поле фронтматтера "source"
Процессный рейтинг: все десять параметров 41/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 40Согласованность. Имя во frontmatter (Skill Router — 智能技能路由引擎) не совпадает с папкой (yan-skill-router)
- 60Инструменты и файлы. Используются инструменты (python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 11
- 100Стоимость исполнения. Тело инструкции 319 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 91: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- -42 справочных файлов, но SKILL.md на них не ссылается: модель их не откроет
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 11 пунктов
- +4Есть примеры (2 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 58.