feat(app): Sprachnachricht zu Anhaengen + Zwischenruf per Sprache
Bisher war die Eingabeleiste ein Entweder-oder: sobald Text im Feld stand oder ein Anhang dranhing, verschwand das Mikro. Damit ging genau das nicht, was man eigentlich will — ein Bild anhaengen und den Auftrag dazu SPRECHEN. Und ein Zwischenruf ging nur getippt. Das Mikro ist jetzt immer da; Senden-Pfeil und Mund-/Ohr-Knoepfe weichen je nach Lage, damit die Zeile nicht ueberlaeuft. Anhang + Sprachnachricht: - Mikro antippen mit wartenden Anhaengen laedt sie SOFORT hoch (parallel zum Reden) und markiert sie mit awaitVoice + clientMsgId. - Die Bridge schickt solche Anhaenge nicht nach 0.8s alleine ans Brain, sondern wartet auf den stt_endpoint und fuehrt Anhang + gesprochenen Satz zu EINEM Turn zusammen. Ohne das sah ARIA ein Bild ohne Auftrag und danach einen Satz ohne Bild. - Der Merge ist strikt an die clientMsgId gebunden (require_match): eine Sprachnachricht, die zufaellig waehrend eines fremden Uploads fertig wird, reisst dessen Anhaenge nicht an sich. Der Text-Pfad behaelt seinen Fallback. - Bild und gesprochener Text landen in EINER Bubble (gemeinsame audioRequestId). - Klappt das Mikro nicht, bleibt die Bubble mit den Bildern stehen statt zu verschwinden — die Dateien sind ja schon auf dem Server. - Das Notfall-Fenster (420s) liegt ueber dem Aufnahme-Hard-Cap von 5 Minuten, sonst waeren die Anhaenge bei einer langen Aufnahme vorher alleine raus. Zwischenruf per Sprache: - Der 📣-Knopf erscheint jetzt immer, wenn ARIA im Kontext arbeitet. Mit Text schickt er sofort (wie bisher), ohne Text schaltet er die naechste Aufnahme scharf (sichtbar hervorgehoben, gilt fuer genau eine Aufnahme). - Eine so markierte Aufnahme geht per stt_stream_start als interject raus; die Bridge schiebt sie in den laufenden Turn statt sie anzustellen. - Dabei wird der laufende Turn NICHT abgebrochen (das war der Sinn) — nur die Wiedergabe stoppt, damit ARIA nicht ins offene Mikro redet. - Die Bubble zeigt 📣 Zwischenruf statt 🎤, damit man nicht auf eine eigene Antwort wartet. Merge-Logik gegen den echten Bridge-Code getestet (6 Faelle), tsc sauber. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
Claude Opus 5
+104
-11
@@ -739,6 +739,14 @@ class ARIABridge:
|
||||
# weder Meta-Kommando noch Prefix ist und der Sticky abgelaufen,
|
||||
# nutzen wir das als Default (Voice folgt dem sichtbaren Kontext).
|
||||
self._stt_stream_projects: dict[str, str] = {}
|
||||
# Zusatz-Absicht pro Stream, auch von stt_stream_start:
|
||||
# cmid — clientMsgId der Anhaenge, die zu DIESER Aufnahme gehoeren
|
||||
# (Sprachnachricht als Beschreibung zu einem Bild/Video).
|
||||
# interject — die Aufnahme ist ein Zwischenruf in den laufenden Turn,
|
||||
# keine neue Anfrage.
|
||||
# Getrennt von _stt_stream_projects gehalten: der Fokus-Default greift
|
||||
# auch fuer alte App-Versionen, die diese Felder nicht mitschicken.
|
||||
self._stt_stream_meta: dict[str, dict] = {}
|
||||
# Voice-Override aus letzter Chat-Nachricht einer App.
|
||||
# Wird fuer die direkt folgende ARIA-Antwort genutzt und dann zurueckgesetzt.
|
||||
# So kann jedes Geraet seine bevorzugte Stimme bekommen (pro Request).
|
||||
@@ -808,6 +816,18 @@ class ARIABridge:
|
||||
# Projekt landen statt im Hauptchat.
|
||||
self._pending_files_project_id: str = ""
|
||||
self._PENDING_FILES_WINDOW_SEC: float = 0.8
|
||||
# Wartet ein Upload auf eine SPRACHNACHRICHT als Beschreibung, reichen
|
||||
# 0.8s nicht: der Nutzer spricht erst, und Whisper braucht danach noch
|
||||
# ein paar Sekunden fuers Final-Transkript. Mit dem kurzen Fenster waere
|
||||
# der Anhang laengst alleine rausgegangen ("warte auf seine Anweisung"),
|
||||
# und der gesprochene Text kaeme als zweiter, unverbundener Turn.
|
||||
# Das lange Fenster ist nur eine Notbremse gegen Haengenbleiben, falls
|
||||
# gar kein Endpoint mehr kommt — der Normalfall ist der Merge im
|
||||
# stt_endpoint-Handler. Es MUSS ueber dem Aufnahme-Hard-Cap der App
|
||||
# liegen (Default 5 Minuten) plus Whisper-Final, sonst waeren die
|
||||
# Anhaenge bei einer langen Aufnahme vorher alleine rausgegangen.
|
||||
self._PENDING_FILES_VOICE_WINDOW_SEC: float = 420.0
|
||||
self._pending_files_await_voice: bool = False
|
||||
|
||||
def initialize(self) -> None:
|
||||
"""Initialisiert alle Komponenten.
|
||||
@@ -1879,6 +1899,13 @@ class ARIABridge:
|
||||
return (f"Stefan hat dir {n} {anhang} geschickt:\n{files_summary}\n\n"
|
||||
f"Warte auf seine Anweisung was du damit tun sollst.")
|
||||
|
||||
def _pending_files_window(self) -> float:
|
||||
"""Wie lange auf den zugehoerigen Text gewartet wird, bevor die Anhaenge
|
||||
alleine rausgehen. Lang, wenn eine Sprachnachricht unterwegs ist."""
|
||||
return (self._PENDING_FILES_VOICE_WINDOW_SEC
|
||||
if self._pending_files_await_voice
|
||||
else self._PENDING_FILES_WINDOW_SEC)
|
||||
|
||||
async def _flush_pending_files_after(self, delay: float) -> None:
|
||||
"""Wenn nach `delay`s kein chat-Text gekommen ist: alle noch gepufferten
|
||||
Files alleine an aria-core senden ('warte auf Anweisung'-Variante)."""
|
||||
@@ -1892,13 +1919,15 @@ class ARIABridge:
|
||||
text = self._build_pending_files_message("", files)
|
||||
self._pending_files = []
|
||||
self._pending_files_flush_task = None
|
||||
self._pending_files_await_voice = False
|
||||
pid = self._pending_files_project_id
|
||||
self._pending_files_project_id = ""
|
||||
await self.send_to_core(text, source="app-file", project_id=pid)
|
||||
|
||||
async def _flush_pending_files_with_text(self, user_text: str,
|
||||
project_id: str = "",
|
||||
client_msg_id: str = "") -> bool:
|
||||
client_msg_id: str = "",
|
||||
require_match: bool = False) -> bool:
|
||||
"""Wenn ein chat-Text reinkommt waehrend Files gepuffert sind:
|
||||
Files + Text zu einer einzigen aria-core-Nachricht mergen.
|
||||
Returns True wenn gemerged wurde (Caller soll dann nicht nochmal senden).
|
||||
@@ -1913,12 +1942,20 @@ class ARIABridge:
|
||||
|
||||
project_id: Projekt-Kontext aus dem chat-Payload (der sichtbare Focus
|
||||
beim Absenden). Faellt auf den beim File-Upload gemerkten Kontext zurueck.
|
||||
|
||||
require_match: nur mergen, wenn die cmid wirklich passt. Der Sprach-Pfad
|
||||
nutzt das — sonst wuerde eine Sprachnachricht, die zufaellig waehrend
|
||||
eines fremden Uploads fertig wird, dessen Anhaenge an sich reissen. Beim
|
||||
Text-Pfad bleibt der Fallback (alles mergen) wie bisher, damit nie ein
|
||||
Bild verloren geht.
|
||||
"""
|
||||
if not self._pending_files:
|
||||
return False
|
||||
cmid = (client_msg_id or "").strip()
|
||||
matching = [f for f in self._pending_files if cmid and f[6] == cmid]
|
||||
if not matching:
|
||||
if require_match:
|
||||
return False
|
||||
# Kein cmid-Treffer → altes Verhalten: alle gepufferten Files mergen.
|
||||
matching = list(self._pending_files)
|
||||
remaining: list = []
|
||||
@@ -1935,10 +1972,11 @@ class ARIABridge:
|
||||
self._pending_files_flush_task = None
|
||||
if remaining:
|
||||
self._pending_files_flush_task = asyncio.create_task(
|
||||
self._flush_pending_files_after(self._PENDING_FILES_WINDOW_SEC)
|
||||
self._flush_pending_files_after(self._pending_files_window())
|
||||
)
|
||||
else:
|
||||
self._pending_files_project_id = ""
|
||||
self._pending_files_await_voice = False
|
||||
# create_task statt await — sonst blockt der RVS-recv-Loop bis Brain
|
||||
# fertig ist (siehe chat-handler oben).
|
||||
asyncio.create_task(self.send_to_core(text, source="app-file+chat", project_id=pid))
|
||||
@@ -2752,10 +2790,17 @@ class ARIABridge:
|
||||
# genau SEINER Nachricht zu (Queue-Korrelation, s. _flush_*).
|
||||
file_cmid = str(payload.get("clientMsgId") or "")
|
||||
self._pending_files.append((file_path, file_name, file_type, size_kb, int(width or 0), int(height or 0), file_cmid))
|
||||
# awaitVoice: der Nutzer spricht gerade die Beschreibung zu diesem
|
||||
# Anhang ein. Dann NICHT nach 0.8s alleine rausschicken, sondern auf
|
||||
# den stt_endpoint warten (siehe _PENDING_FILES_VOICE_WINDOW_SEC).
|
||||
if payload.get("awaitVoice"):
|
||||
self._pending_files_await_voice = True
|
||||
logger.info("[rvs] Anhang wartet auf Sprachnachricht: %s (cmid=%s)",
|
||||
file_name, file_cmid[:12] or "?")
|
||||
if self._pending_files_flush_task and not self._pending_files_flush_task.done():
|
||||
self._pending_files_flush_task.cancel()
|
||||
self._pending_files_flush_task = asyncio.create_task(
|
||||
self._flush_pending_files_after(self._PENDING_FILES_WINDOW_SEC)
|
||||
self._flush_pending_files_after(self._pending_files_window())
|
||||
)
|
||||
|
||||
try:
|
||||
@@ -3324,8 +3369,18 @@ class ARIABridge:
|
||||
focused_pid = str(payload.get("projectId") or "")
|
||||
if req_id:
|
||||
self._stt_stream_projects[req_id] = focused_pid
|
||||
logger.info("[rvs] stt_stream_start id=%s focus=%s",
|
||||
req_id[:12], focused_pid or "(main)")
|
||||
# Absicht dieser Aufnahme: gehoert sie zu wartenden Anhaengen,
|
||||
# und ist sie ein Zwischenruf statt einer neuen Anfrage?
|
||||
att_cmid = str(payload.get("clientMsgId") or "")
|
||||
is_interject = bool(payload.get("interject"))
|
||||
if att_cmid or is_interject:
|
||||
self._stt_stream_meta[req_id] = {
|
||||
"cmid": att_cmid, "interject": is_interject,
|
||||
}
|
||||
logger.info("[rvs] stt_stream_start id=%s focus=%s%s%s",
|
||||
req_id[:12], focused_pid or "(main)",
|
||||
f" anhang-cmid={att_cmid[:12]}" if att_cmid else "",
|
||||
" [ZWISCHENRUF]" if is_interject else "")
|
||||
return
|
||||
|
||||
elif msg_type == "stt_stream_end":
|
||||
@@ -3340,10 +3395,10 @@ class ARIABridge:
|
||||
if req_id:
|
||||
try:
|
||||
loop = asyncio.get_event_loop()
|
||||
loop.call_later(
|
||||
20.0,
|
||||
lambda rid=req_id: self._stt_stream_projects.pop(rid, None),
|
||||
)
|
||||
def _drop(rid: str = req_id) -> None:
|
||||
self._stt_stream_projects.pop(rid, None)
|
||||
self._stt_stream_meta.pop(rid, None)
|
||||
loop.call_later(20.0, _drop)
|
||||
except Exception:
|
||||
# Kein laufender Loop (sollte im ws-Handler nie passieren) —
|
||||
# dann lieber gar nicht aufraeumen als crashen.
|
||||
@@ -3427,11 +3482,36 @@ class ARIABridge:
|
||||
# App-Version die projectId noch nicht mitschickt: leer = Hauptchat).
|
||||
stream_req_id = payload.get("requestId", "") or ""
|
||||
focused_pid = self._stt_stream_projects.pop(stream_req_id, "")
|
||||
meta = self._stt_stream_meta.pop(stream_req_id, {})
|
||||
|
||||
# Zwischenruf per Sprache: in den LAUFENDEN Turn schieben, nicht als
|
||||
# neue Anfrage anstellen. Gleicher Weg wie der 📣-Knopf mit Text.
|
||||
if meta.get("interject"):
|
||||
logger.info("[rvs] stt_endpoint ist ein Zwischenruf → project=%s: %s",
|
||||
focused_pid or "(main)", text[:80])
|
||||
asyncio.create_task(
|
||||
self._interject_proxy_for_project(focused_pid, text))
|
||||
# Den erkannten Text trotzdem broadcasten, damit die
|
||||
# Sprach-Bubble in der App ihren Text bekommt statt ewig auf
|
||||
# "wird verarbeitet..." zu stehen.
|
||||
asyncio.create_task(self._send_to_rvs({
|
||||
"type": "chat",
|
||||
"payload": {
|
||||
"text": text,
|
||||
"sender": "stt",
|
||||
"audioRequestId": audio_request_id,
|
||||
"projectId": focused_pid,
|
||||
"interject": True,
|
||||
},
|
||||
"timestamp": int(asyncio.get_event_loop().time() * 1000),
|
||||
}))
|
||||
return
|
||||
|
||||
asyncio.create_task(self._process_endpoint_text(
|
||||
text, interrupted, audio_request_id, location,
|
||||
client_msg_id=client_msg_id,
|
||||
focused_project_id=focused_pid))
|
||||
focused_project_id=focused_pid,
|
||||
attachment_client_msg_id=str(meta.get("cmid") or "")))
|
||||
return
|
||||
|
||||
elif msg_type == "oauth_callback":
|
||||
@@ -3891,7 +3971,8 @@ class ARIABridge:
|
||||
audio_request_id: str = "",
|
||||
location: Optional[dict] = None,
|
||||
client_msg_id: Optional[str] = None,
|
||||
focused_project_id: str = "") -> None:
|
||||
focused_project_id: str = "",
|
||||
attachment_client_msg_id: str = "") -> None:
|
||||
"""Phase-2 Brain-Shortcut: Streaming-Whisper hat den finalen Text
|
||||
schon ermittelt — wir uebernehmen den Pfad ab broadcast-STT + brain.
|
||||
|
||||
@@ -3960,6 +4041,18 @@ class ARIABridge:
|
||||
except Exception as e:
|
||||
logger.warning("[rvs] STT-Text (endpoint) konnte nicht broadcastet werden: %s", e)
|
||||
|
||||
# Sprachnachricht als Beschreibung zu Anhaengen: die liegen schon
|
||||
# gepuffert (awaitVoice) und warten genau auf diesen Text — beides geht
|
||||
# als EIN Turn ans Brain, sonst sieht ARIA ein Bild ohne Auftrag und
|
||||
# danach einen Satz ohne Bild.
|
||||
if attachment_client_msg_id and await self._flush_pending_files_with_text(
|
||||
cleaned, project_id=project_id,
|
||||
client_msg_id=attachment_client_msg_id,
|
||||
require_match=True):
|
||||
logger.info("[rvs] Sprachnachricht mit ihren Anhaengen gemerged (cmid=%s)",
|
||||
attachment_client_msg_id[:12])
|
||||
return
|
||||
|
||||
core_text = self._build_core_text(cleaned, interrupted, location)
|
||||
await self.send_to_core(core_text,
|
||||
source="app-voice-stream" + (" [barge-in]" if interrupted else ""),
|
||||
|
||||
Reference in New Issue
Block a user