feat(host-agent): ARIA SIEHT den Screenshot (via eigenes Read-Tool)

Der Proxy reduziert Multimodal-Content zu Text (openai-to-cli), ARIA laeuft auf
der Claude-Code-CLI. Aber: der Proxy-Container hat /shared gemountet und ARIA
laeuft mit vollen Tools (--dangerously-skip-permissions) -> sie kann die unter
/shared/uploads/ gespeicherte Screenshot-PNG mit ihrem eigenen Read-Tool
oeffnen, das Claude Code nativ als Bild rendert. Damit SIEHT sie den Bildschirm
und kann 'was ist auf meinem Bildschirm' beantworten — ganz ohne Proxy-/Vision-
Umbau. host_screenshot-Result + Tool-Beschreibung weisen sie an, den Pfad zu
Read'en (sehen) UND als [FILE:]-Marker zu setzen (im Chat zeigen).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
2026-09-24 16:20:08 +02:00
co-authored by Claude Opus 4.8
parent 2b4428d823
commit b73e89e9bb
+10 -5
View File
@@ -1351,9 +1351,11 @@ META_TOOLS = [
"name": "host_screenshot",
"description": (
"Macht ein Bildschirmfoto auf einem Host-Agenten (nur wenn dort eine "
"grafische Session laeuft). Das Tool liefert einen Datei-Pfad zurueck; "
"schreibe ihn danach als [FILE: ...]-Marker in deine Antwort, dann zeigt "
"die App das Bild inline im Chat (wie bei flux_generate)."
"grafische Session laeuft). Liefert einen Datei-Pfad unter /shared/uploads/. "
"Du KANNST den Screenshot selbst ansehen: oeffne den Pfad mit deinem "
"Read-Tool (Bild wird gerendert) — so beantwortest Du 'was ist auf meinem "
"Bildschirm'. Und schreibe den Pfad als [FILE: ...]-Marker in die Antwort, "
"damit die App das Bild inline zeigt."
),
"parameters": {
"type": "object",
@@ -2637,8 +2639,11 @@ class Agent:
return (
f"OK — Screenshot von {host} erstellt ({r.get('bytes', 0) // 1024} KB).\n"
f"path: {fp}\n\n"
f"WICHTIG: Schreibe in deiner Antwort an Stefan den Pfad EXAKT als "
f"Marker: [FILE: {fp}]dann zeigt die App das Bild inline im Chat."
f"UM DEN BILDSCHIRM ZU SEHEN: Oeffne die Datei mit deinem Read-Tool "
f"(Read {fp})Du bekommst das Bild dann angezeigt und kannst "
f"beschreiben/entscheiden, was darauf zu sehen ist.\n"
f"UM ES STEFAN ZU ZEIGEN: Schreibe den Pfad EXAKT als Marker "
f"[FILE: {fp}] in deine Antwort — dann erscheint das Bild inline im Chat."
)
return f"FEHLER: unbekanntes Host-Tool {name}"