feat(host-agent): ARIA SIEHT den Screenshot (via eigenes Read-Tool)
Der Proxy reduziert Multimodal-Content zu Text (openai-to-cli), ARIA laeuft auf der Claude-Code-CLI. Aber: der Proxy-Container hat /shared gemountet und ARIA laeuft mit vollen Tools (--dangerously-skip-permissions) -> sie kann die unter /shared/uploads/ gespeicherte Screenshot-PNG mit ihrem eigenen Read-Tool oeffnen, das Claude Code nativ als Bild rendert. Damit SIEHT sie den Bildschirm und kann 'was ist auf meinem Bildschirm' beantworten — ganz ohne Proxy-/Vision- Umbau. host_screenshot-Result + Tool-Beschreibung weisen sie an, den Pfad zu Read'en (sehen) UND als [FILE:]-Marker zu setzen (im Chat zeigen). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
+10
-5
@@ -1351,9 +1351,11 @@ META_TOOLS = [
|
|||||||
"name": "host_screenshot",
|
"name": "host_screenshot",
|
||||||
"description": (
|
"description": (
|
||||||
"Macht ein Bildschirmfoto auf einem Host-Agenten (nur wenn dort eine "
|
"Macht ein Bildschirmfoto auf einem Host-Agenten (nur wenn dort eine "
|
||||||
"grafische Session laeuft). Das Tool liefert einen Datei-Pfad zurueck; "
|
"grafische Session laeuft). Liefert einen Datei-Pfad unter /shared/uploads/. "
|
||||||
"schreibe ihn danach als [FILE: ...]-Marker in deine Antwort, dann zeigt "
|
"Du KANNST den Screenshot selbst ansehen: oeffne den Pfad mit deinem "
|
||||||
"die App das Bild inline im Chat (wie bei flux_generate)."
|
"Read-Tool (Bild wird gerendert) — so beantwortest Du 'was ist auf meinem "
|
||||||
|
"Bildschirm'. Und schreibe den Pfad als [FILE: ...]-Marker in die Antwort, "
|
||||||
|
"damit die App das Bild inline zeigt."
|
||||||
),
|
),
|
||||||
"parameters": {
|
"parameters": {
|
||||||
"type": "object",
|
"type": "object",
|
||||||
@@ -2637,8 +2639,11 @@ class Agent:
|
|||||||
return (
|
return (
|
||||||
f"OK — Screenshot von {host} erstellt ({r.get('bytes', 0) // 1024} KB).\n"
|
f"OK — Screenshot von {host} erstellt ({r.get('bytes', 0) // 1024} KB).\n"
|
||||||
f"path: {fp}\n\n"
|
f"path: {fp}\n\n"
|
||||||
f"WICHTIG: Schreibe in deiner Antwort an Stefan den Pfad EXAKT als "
|
f"UM DEN BILDSCHIRM ZU SEHEN: Oeffne die Datei mit deinem Read-Tool "
|
||||||
f"Marker: [FILE: {fp}] — dann zeigt die App das Bild inline im Chat."
|
f"(Read {fp}) — Du bekommst das Bild dann angezeigt und kannst "
|
||||||
|
f"beschreiben/entscheiden, was darauf zu sehen ist.\n"
|
||||||
|
f"UM ES STEFAN ZU ZEIGEN: Schreibe den Pfad EXAKT als Marker "
|
||||||
|
f"[FILE: {fp}] in deine Antwort — dann erscheint das Bild inline im Chat."
|
||||||
)
|
)
|
||||||
|
|
||||||
return f"FEHLER: unbekanntes Host-Tool {name}"
|
return f"FEHLER: unbekanntes Host-Tool {name}"
|
||||||
|
|||||||
Reference in New Issue
Block a user