AC hunt-rag-vector
Поиск уязвимостей vector-store / embedding-layer в RAG-конвейерах (OWASP LLM08 Vector and Embedding Weaknesses) — постоянное отравление корпуса, сохраняющееся между сеансами и пользователями (отличается от однократного косвенного внедрения подсказок, которым занимается hunt-llm-ai), межпользовательский IDOR vector-database (неаутентифицированные или не ограниченные запросы к Pinecone/Weaviate/Chroma/Milvus/Qdrant/pgvector), утечка исходного текста/метаданных в результатах поиска сходства и перехват извлечения через адверсарное приближение встраивания ('SEO-отравление' для RAG). Цели: любое приложение с общим банком знаний, загрузкой документов, питающей чат-бота, или напрямую доступным портом vector-DB. Проверка: второй, чистый сеанс/учетная запись должны унаследовать отравленный результат, или межпользовательский артефакт должен быть независимо проверяемым — конфабуляция не является находкой, те же критерии, что и у hunt-llm-ai. Используйте, когда цель основана на RAG, предоставляет порт vector-DB или позволяет пользователям загружать документы, которые затем извлекаются запросами других пользователей.
машинный переводПоказать оригиналСкрыть оригинал«Hunt vector-store / embedding-layer weaknesses in RAG pipelines (OWASP…»
Hunt vector-store / embedding-layer weaknesses in RAG pipelines (OWASP LLM08 Vector and Embedding Weaknesses) — persistent corpus poisoning that survives across sessions and users (distinct from one-shot indirect prompt injection, which is owned by hunt-llm-ai), cross-tenant vector-database IDOR (unauthenticated or unscoped queries against Pinecone/Weaviate/Chroma/Milvus/Qdrant/pgvector), source-text/metadata leakage in similarity-search results, and retrieval-hijack via adversarial embedding proximity ('SEO poisoning' for RAG). Targets: any app with a shared knowledge base, document upload feeding a chatbot, or a directly reachable vector-DB port. Validate: a second, clean session/account must inherit a poisoned result, or a cross-tenant artifact must be independently verifiable — confabulation is not a finding, same bar as hunt-llm-ai. Use when target is RAG-backed, exposes a vector-DB port, or lets users upload documents that other users' queries later retrieve.
Поиск уязвимостей vector-store / embedding-layer в RAG-конвейерах (OWASP LLM08 Vector and Embedding Weaknesses) — постоянное отравление корпуса, сохраняющееся…
Как процесс C 53/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- заметка
frontmatter-keyнеизвестное поле фронтматтера "sources" - заметка
frontmatter-keyнеизвестное поле фронтматтера "report_count"
Процессный рейтинг: все десять параметров 53/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 19
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 2281 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 979: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 9 заголовков
- +3Пошаговые инструкции: 19 пунктов
- +4Есть примеры (3 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 79.