From b73e89e9bb6f159665df100ac4c3a5cabbb616c8 Mon Sep 17 00:00:00 2001 From: duffyduck Date: Thu, 24 Sep 2026 16:20:08 +0200 Subject: [PATCH] feat(host-agent): ARIA SIEHT den Screenshot (via eigenes Read-Tool) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Der Proxy reduziert Multimodal-Content zu Text (openai-to-cli), ARIA laeuft auf der Claude-Code-CLI. Aber: der Proxy-Container hat /shared gemountet und ARIA laeuft mit vollen Tools (--dangerously-skip-permissions) -> sie kann die unter /shared/uploads/ gespeicherte Screenshot-PNG mit ihrem eigenen Read-Tool oeffnen, das Claude Code nativ als Bild rendert. Damit SIEHT sie den Bildschirm und kann 'was ist auf meinem Bildschirm' beantworten — ganz ohne Proxy-/Vision- Umbau. host_screenshot-Result + Tool-Beschreibung weisen sie an, den Pfad zu Read'en (sehen) UND als [FILE:]-Marker zu setzen (im Chat zeigen). Co-Authored-By: Claude Opus 4.8 --- aria-brain/agent.py | 15 ++++++++++----- 1 file changed, 10 insertions(+), 5 deletions(-) diff --git a/aria-brain/agent.py b/aria-brain/agent.py index 5353153..365344b 100644 --- a/aria-brain/agent.py +++ b/aria-brain/agent.py @@ -1351,9 +1351,11 @@ META_TOOLS = [ "name": "host_screenshot", "description": ( "Macht ein Bildschirmfoto auf einem Host-Agenten (nur wenn dort eine " - "grafische Session laeuft). Das Tool liefert einen Datei-Pfad zurueck; " - "schreibe ihn danach als [FILE: ...]-Marker in deine Antwort, dann zeigt " - "die App das Bild inline im Chat (wie bei flux_generate)." + "grafische Session laeuft). Liefert einen Datei-Pfad unter /shared/uploads/. " + "Du KANNST den Screenshot selbst ansehen: oeffne den Pfad mit deinem " + "Read-Tool (Bild wird gerendert) — so beantwortest Du 'was ist auf meinem " + "Bildschirm'. Und schreibe den Pfad als [FILE: ...]-Marker in die Antwort, " + "damit die App das Bild inline zeigt." ), "parameters": { "type": "object", @@ -2637,8 +2639,11 @@ class Agent: return ( f"OK — Screenshot von {host} erstellt ({r.get('bytes', 0) // 1024} KB).\n" f"path: {fp}\n\n" - f"WICHTIG: Schreibe in deiner Antwort an Stefan den Pfad EXAKT als " - f"Marker: [FILE: {fp}] — dann zeigt die App das Bild inline im Chat." + f"UM DEN BILDSCHIRM ZU SEHEN: Oeffne die Datei mit deinem Read-Tool " + f"(Read {fp}) — Du bekommst das Bild dann angezeigt und kannst " + f"beschreiben/entscheiden, was darauf zu sehen ist.\n" + f"UM ES STEFAN ZU ZEIGEN: Schreibe den Pfad EXAKT als Marker " + f"[FILE: {fp}] in deine Antwort — dann erscheint das Bild inline im Chat." ) return f"FEHLER: unbekanntes Host-Tool {name}"