BD screen-vision
Навык ИИ для видения экрана и управления настольным компьютером для OpenClaw. Позвольте вашему ИИ-агенту видеть экран, понимать элементы пользовательского интерфейса и автономно выполнять операции с мышью и клавиатурой (щелчок, ввод, прокрутка, перетаскивание) с помощью цикла «снимок экрана — анализ — действие». Кроссплатформенный: Linux (сервер без графического интерфейса с XFCE4+noVNC или рабочий стол), macOS (cliclick), Windows (pyautogui). Поддерживает любой API видения, совместимый с OpenAI (SiliconFlow, OpenAI, DashScope, Zhipu, Ollama и т. д.). Интеллектуальное обнаружение изменений экономит токены. Механизмы безопасности блокируют опасные операции. Триггер: когда пользователь просит управлять/контролировать компьютер, просматривать/взаимодействовать с экраном, открывать приложения, просматривать веб-сайты, заполнять формы, выполнять задачи с графическим интерфейсом рабочего стола, делать снимки экрана или любую задачу, требующую визуального понимания экрана и автоматизации рабочего стола. Ключевые слова: использование компьютера, управление экраном, автоматизация рабочего стола, агент GUI, визуальный агент, 屏幕操控, 桌面控制, 视觉代理, 截屏, 自动化操作, 远程桌面, AI操控电脑, screen vision, desktop agent, mouse keyboard automation, UI automation, computer use agent, CUA, computer control, screen interaction. Примеры: «Открыть Chrome и поискать погоду», «Посмотри, что на экране», «Помоги мне управлять компьютером», «Сделай скриншот», «open browser and search weather», «click the submit button», «take a screenshot», «fill this form», «Помоги мне открыть WeChat», «Управлять компьютером для загрузки файла», «Удаленное управление рабочим столом».
машинный переводПоказать оригиналСкрыть оригинал«AI screen vision and desktop computer control skill for OpenClaw. Let…»
AI screen vision and desktop computer control skill for OpenClaw. Let your AI agent see the screen, understand UI elements, and autonomously perform mouse and keyboard operations (click, type, scroll, drag) via a screenshot-analyze-action loop. Cross-platform: Linux (headless server with XFCE4+noVNC, or desktop), macOS (cliclick), Windows (pyautogui). Supports any OpenAI-compatible vision API (SiliconFlow, OpenAI, DashScope, Zhipu, Ollama, etc.). Smart diff detection saves tokens. Safety mechanisms block dangerous operations. Trigger: when user asks to operate/control computer, view/interact with screen, open applications, browse websites, fill forms, perform desktop GUI tasks, take screenshots, or any task requiring visual screen understanding and desktop automation. Keywords: computer use, screen control, desktop automation, GUI agent, visual agent, 屏幕操控, 桌面控制, 视觉代理, 截屏, 自动化操作, 远程桌面, AI操控电脑, screen vision, desktop agent, mouse keyboard automation, UI automation, computer use agent, CUA, computer control, screen interaction. Examples: "打开Chrome搜索天气", "看看屏幕上有什么", "帮我操作电脑", "截个屏", "open browser and search weather", "click the submit button", "take a screenshot", "fill this form", "帮我打开微信", "操作电脑下载文件", "远程操作桌面".
Навык ИИ для видения экрана и управления настольным компьютером для OpenClaw.
Как процесс D 44/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Инструкции или скрипты отправляют данные наружу: переменные окружения, ключи, содержимое файлов, историю чата. Вы можете не заметить этого в диалоге, потому что агент выполнит отправку как «часть задачи».
Если отправка не нужна для задачи, уберите её: каталоги помечают такие скиллы как подозрительные и снимают с выдачи. Если нужна, назовите адрес явно, объясните, что именно уходит, и дайте пользователю выключатель.
Как улучшить
- Сократите description до 1024 символов.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 3
✓ Критических и высоких находок нет
Средние и низкие: 3
-
средняя Опасные команды
cmd-execpolicy-bypassREADME.md:150Запуск PowerShell с обходом execution policypowershell -ExecutionPolicy Bypass -File scripts/setup/setu…ps1
-
средняя Опасные команды
cmd-eval-dynamicscripts/core/run_task.py:220Динамическое выполнение кода из декодированного/недоверенного вводаos.system(f"cp {ss_path} {log_ss} 2>/dev/null") -
средняя Утечка данных
net-redirectable-api-keyscripts/vision/analyze.py:182Скрипт отправляет API-ключ на хост из переменной окружения — ключ можно перенаправить на другой серверAPI key + configurable base URL from environment
Просканировано файлов: 19. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- ошибка
description-longdescription 1230 символов, лимит 1024
Процессный рейтинг: все десять параметров 44/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 2, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (screen-vision) не совпадает с папкой (ai-screen-vision)
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 17
- 100Стоимость исполнения. Тело инструкции 1003 токенов
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Ответ описан самодельной разметкой (3 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 1229: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- -220 эмодзи в инструкциях: шум для модели
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 10 примера фраз-триггеров в кавычках
- +4Структура: 13 заголовков
- +3Пошаговые инструкции: 17 пунктов
- +4Есть примеры (3 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (3 из 3)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 63.