feat(host-agent): ARIA SIEHT den Screenshot (via eigenes Read-Tool)
Der Proxy reduziert Multimodal-Content zu Text (openai-to-cli), ARIA laeuft auf der Claude-Code-CLI. Aber: der Proxy-Container hat /shared gemountet und ARIA laeuft mit vollen Tools (--dangerously-skip-permissions) -> sie kann die unter /shared/uploads/ gespeicherte Screenshot-PNG mit ihrem eigenen Read-Tool oeffnen, das Claude Code nativ als Bild rendert. Damit SIEHT sie den Bildschirm und kann 'was ist auf meinem Bildschirm' beantworten — ganz ohne Proxy-/Vision- Umbau. host_screenshot-Result + Tool-Beschreibung weisen sie an, den Pfad zu Read'en (sehen) UND als [FILE:]-Marker zu setzen (im Chat zeigen). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
+10
-5
@@ -1351,9 +1351,11 @@ META_TOOLS = [
|
||||
"name": "host_screenshot",
|
||||
"description": (
|
||||
"Macht ein Bildschirmfoto auf einem Host-Agenten (nur wenn dort eine "
|
||||
"grafische Session laeuft). Das Tool liefert einen Datei-Pfad zurueck; "
|
||||
"schreibe ihn danach als [FILE: ...]-Marker in deine Antwort, dann zeigt "
|
||||
"die App das Bild inline im Chat (wie bei flux_generate)."
|
||||
"grafische Session laeuft). Liefert einen Datei-Pfad unter /shared/uploads/. "
|
||||
"Du KANNST den Screenshot selbst ansehen: oeffne den Pfad mit deinem "
|
||||
"Read-Tool (Bild wird gerendert) — so beantwortest Du 'was ist auf meinem "
|
||||
"Bildschirm'. Und schreibe den Pfad als [FILE: ...]-Marker in die Antwort, "
|
||||
"damit die App das Bild inline zeigt."
|
||||
),
|
||||
"parameters": {
|
||||
"type": "object",
|
||||
@@ -2637,8 +2639,11 @@ class Agent:
|
||||
return (
|
||||
f"OK — Screenshot von {host} erstellt ({r.get('bytes', 0) // 1024} KB).\n"
|
||||
f"path: {fp}\n\n"
|
||||
f"WICHTIG: Schreibe in deiner Antwort an Stefan den Pfad EXAKT als "
|
||||
f"Marker: [FILE: {fp}] — dann zeigt die App das Bild inline im Chat."
|
||||
f"UM DEN BILDSCHIRM ZU SEHEN: Oeffne die Datei mit deinem Read-Tool "
|
||||
f"(Read {fp}) — Du bekommst das Bild dann angezeigt und kannst "
|
||||
f"beschreiben/entscheiden, was darauf zu sehen ist.\n"
|
||||
f"UM ES STEFAN ZU ZEIGEN: Schreibe den Pfad EXAKT als Marker "
|
||||
f"[FILE: {fp}] in deine Antwort — dann erscheint das Bild inline im Chat."
|
||||
)
|
||||
|
||||
return f"FEHLER: unbekanntes Host-Tool {name}"
|
||||
|
||||
Reference in New Issue
Block a user