screen_elements

by @AMFbot-Gz in Tools

# Install this skill:

npx skills add AMFbot-Gz/ghost-os-ultimate --skill "screen_elements"

Install specific skill from multi-skill repository

# Description

Analyse sémantique complète de l'écran — retourne tous les éléments UI interactifs, les apps en cours, la résolution et une vue structurée par rôle

# SKILL.md

name: screen_elements
description: Analyse sémantique complète de l'écran — retourne tous les éléments UI interactifs, les apps en cours, la résolution et une vue structurée par rôle
version: 1.0.0
tags: [accessibility, semantic, screen, computer-use, ui, perception]

screen_elements

Vue d'ensemble sémantique de l'écran actuel. Combine :
- AX tree de l'app de premier plan
- Infos système (résolution, apps actives)
- Groupement par rôle (buttons, text_fields, etc.)

Params

app (string, optionnel) : app à analyser. Défaut: app de premier plan

Retour

{
  "success": true,
  "frontmost_app": "Safari",
  "elements_count": 12,
  "elements_by_role": { "button": ["Envoyer", "Annuler"], "text_field": ["Recherche"] },
  "interactive": [...]
}