BF screenclaw
Управление любым настольным ПО с помощью „скриншота + сетки координат“: сделайте снимок экрана с сеткой, чтобы любая мультимодальная модель могла прочитать числовые координаты цели, а затем вызовите API для кликов/ввода/нажатий клавиш, имитируя визуальное управление ПО человеком. Также можно записать операцию один раз и сохранить ее как многократно используемый шаблон сценария, чтобы использовать его в следующий раз. Не зависит от того, предоставляет ли целевое ПО API или CLI. Используйте в следующих случаях: - Автоматизация настольных программ Windows (WeChat, веб-сайты со строгим контролем, такие как Xiaohongshu/Douyin, эмуляторы телефонов, игры, любое приложение Windows), особенно для программ или элементов, которые не могут быть охвачены Playwright/CDP/CLI/API приложений (например, скрытые кнопки, игровые экраны, капчи и т. д.) - Когда пользователь говорит „помоги мне управлять/нажать/ввести XX“, „автоматически управлять XX“, „имитировать клик“, „автоматизация рабочего стола“, „RPA“, „записать операцию“, „сохранить как шаблон“, „запустить автоматически в следующий раз“ и т. д. - Управление настольными элементами или межпроцессное/межоконное взаимодействие (значки рабочего стола, панель задач, системный трей, меню „Пуск“, диалоговые окна выбора файлов, перетаскивание между окнами). Любая настольная программа Windows, которую можно увидеть на экране и для которой требуется управление мышью и клавиатурой, даже если у нее нет API, специального навыка или неизвестно, как ее автоматизировать, должна в первую очередь пытаться использовать этот навык.
машинный переводПоказать оригиналСкрыть оригинал«用“截图 + 坐标网格”的方式操作任意桌面软件:截带网格的图,让任意多模态大模型读出目标的坐标数字,再调用点击/输入/按键等 API ,模拟…»
用“截图 + 坐标网格”的方式操作任意桌面软件:截带网格的图,让任意多模态大模型读出目标的坐标数字,再调用点击/输入/按键等 API ,模拟人类视觉化操作软件。还能录制一次操作并沉淀成可复用的场景模板,下次直接复用。不依赖目标软件提供 API 或 CLI。 出现以下情况时使用: - 自动化操作 Windows 桌面软件(微信、风控严格的网页如小红书/抖音、手机模拟器、游戏、任意 Windows 程序),尤其是 Playwright/CDP/CLI/应用 API 无法覆盖的软件或元素(如隐藏按钮、游戏画面、验证码等) - 用户说“帮我操作/点/输入 XX”“自动操作 XX”“模拟点击”“桌面自动化”“RPA”“录制操作”“沉淀成模板”“下次自动跑”等 - 操作桌面元素或跨进程跨窗口(桌面图标、任务栏、托盘、开始菜单、文件选择框、跨窗口拖拽) 只要目标是能在屏幕上看到、需要鼠标键盘操作的 Windows 桌面程序,即使它没 API、没专用技能、不确定怎么自动化,都应优先用本技能尝试。
Управление любым настольным ПО с помощью „скриншота + сетки координат“: сделайте снимок экрана с сеткой, чтобы любая мультимодальная модель могла прочитать…
Как процесс F 35/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: scripts/screenclaw.py|ps1|sh, references/api/{endpoint}.md, scripts/recording_windows.py|ps1|sh
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 3
✓ Критических и высоких находок нет
Средние и низкие: 3
-
средняя Опасные команды
cmd-execpolicy-bypassscripts/README.md:47Запуск PowerShell с обходом execution policypowershell -ExecutionPolicy Bypass -File scripts/scre…ps1 <endpoint> api_url=<url> token=<token> ai_app_type=<type> session_id=<id> [endpoint参数...]
-
средняя Опасные команды
cmd-execpolicy-bypassscripts/README.md:75Запуск PowerShell с обходом execution policypowershell -ExecutionPolicy Bypass -File scripts/coor…ps1 `
-
средняя Опасные команды
cmd-execpolicy-bypassscripts/README.md:150Запуск PowerShell с обходом execution policypowershell -ExecutionPolicy Bypass -File scripts/reco…ps1 path=record/record_YYYYMMDD_HHmmss
Просканировано файлов: 49. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - предупреждение
missing-refссылка на отсутствующий файл: scripts/screenclaw.py|ps1|sh - предупреждение
missing-refссылка на отсутствующий файл: references/api/{endpoint}.md - предупреждение
missing-refссылка на отсутствующий файл: scripts/recording_windows.py|ps1|sh - предупреждение
missing-refссылка на отсутствующий файл: scripts/coord_adapt.py|ps1|sh - предупреждение
missing-refссылка на отсутствующий файл: references/api/*.md
Процессный рейтинг: все десять параметров 35/100
- 0Инструменты и файлы. Не хватает 5 файла(ов): scripts/screenclaw.py|ps1|sh, references/api/{endpoint}.md, scripts/recording_windows.py|ps1|sh
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 100Шаги. Шагов: 60
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1967 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- -35 из 10 скриптов не упомянуты в SKILL.md
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 3 примера фраз-триггеров в кавычках
- +3Длина description 446 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 18 заголовков
- +3Пошаговые инструкции: 60 пунктов
- +4Есть примеры (2 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 66.