Fix sync duplicates and extreme slowness
Behebt Dubletten auf beiden Seiten und sehr langsame Syncs: - Getrennte Hash-Baselines pro Seite (LastOutlookHash/LastStarfaceHash) statt eines gemeinsamen Hashes. Outlook und Starface stellen denselben Kontakt unterschiedlich dar, wodurch der gemeinsame Hash nie passte und bei jedem Lauf praktisch jeder Kontakt neu geschrieben wurde. - Update-Methoden geben den frisch eingelesenen Stand zurueck, damit die Baseline nach dem Schreiben korrekt gesetzt wird (sauberes Konvergieren). - Unvollstaendig geladene Starface-Liste bricht jetzt mit Fehler ab (inkl. Retry) statt still mit Teil-Liste weiterzuarbeiten - das liess Kontakte faelschlich als geloescht erscheinen und erzeugte Dubletten. - Fehlender Starface-Kontakt (anderes Adressbuch) behaelt das Mapping, statt es zu verwerfen und neu anzulegen. - Lockereres Re-Matching: gleicher E-Mail- oder voller Namens-Treffer reicht; umformatierte Telefonnummern blockieren ihn nicht mehr. - Starface-Kontaktdetails werden parallel geladen (8 gleichzeitig). Bestehende Mappings werden beim ersten Sync automatisch migriert. CHANGELOG.md hinzugefuegt. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -194,7 +194,16 @@ namespace StarfaceOutlookSync.Services
|
||||
query += $"&tags={book.TagId}";
|
||||
|
||||
var resp = await _http.GetAsync($"{_baseUrl}/contacts?{query}");
|
||||
if (!resp.IsSuccessStatusCode) break;
|
||||
if (!resp.IsSuccessStatusCode)
|
||||
{
|
||||
// WICHTIG: nicht still abbrechen. Eine unvollstaendige Liste
|
||||
// laesst die Sync-Engine Kontakte faelschlich als geloescht
|
||||
// ansehen -> Mappings werden verworfen -> Dubletten.
|
||||
throw new Exception(
|
||||
$"Starface-Kontaktliste konnte nicht vollstaendig geladen werden " +
|
||||
$"(Seite {page}: HTTP {(int)resp.StatusCode}). Synchronisation abgebrochen, " +
|
||||
$"um Dubletten zu vermeiden.");
|
||||
}
|
||||
|
||||
var body = await resp.Content.ReadAsStringAsync();
|
||||
JArray array;
|
||||
@@ -232,31 +241,40 @@ namespace StarfaceOutlookSync.Services
|
||||
|
||||
OnDebug?.Invoke($"Seite {page}: {array.Count} Kontakte in Liste");
|
||||
|
||||
// Die Listen-API gibt nur Summary zurueck.
|
||||
// Jeden Kontakt einzeln abrufen fuer alle Felder.
|
||||
foreach (var item in array)
|
||||
if (firstPage)
|
||||
{
|
||||
var id = item["id"]?.ToString();
|
||||
if (string.IsNullOrEmpty(id)) continue;
|
||||
|
||||
try
|
||||
var firstId = array[0]?["id"]?.ToString();
|
||||
if (!string.IsNullOrEmpty(firstId))
|
||||
{
|
||||
var detailResp = await _http.GetAsync($"{_baseUrl}/contacts/{id}");
|
||||
if (detailResp.IsSuccessStatusCode)
|
||||
{
|
||||
var detailBody = await detailResp.Content.ReadAsStringAsync();
|
||||
var detailObj = JObject.Parse(detailBody);
|
||||
|
||||
if (firstPage)
|
||||
{
|
||||
OnDebug?.Invoke($"Starface Kontakt-Detail (1. Kontakt):\n{detailObj.ToString(Formatting.Indented)}");
|
||||
firstPage = false;
|
||||
}
|
||||
|
||||
contacts.Add(MapFromStarface(detailObj));
|
||||
}
|
||||
var sample = await FetchDetailAsync(firstId);
|
||||
if (sample != null)
|
||||
OnDebug?.Invoke($"Starface Kontakt-Detail (1. Kontakt):\n{sample.ToString(Formatting.Indented)}");
|
||||
}
|
||||
catch { }
|
||||
firstPage = false;
|
||||
}
|
||||
|
||||
// Die Listen-API liefert nur eine Zusammenfassung; jeder Kontakt
|
||||
// muss einzeln geladen werden. Das parallelisieren (begrenzt),
|
||||
// sonst dauert es bei vielen Kontakten extrem lange.
|
||||
var ids = array
|
||||
.Select(it => it["id"]?.ToString())
|
||||
.Where(id => !string.IsNullOrEmpty(id))
|
||||
.ToList();
|
||||
|
||||
const int maxParallel = 8;
|
||||
for (int i = 0; i < ids.Count; i += maxParallel)
|
||||
{
|
||||
var batch = ids.Skip(i).Take(maxParallel)
|
||||
.Select(async id =>
|
||||
{
|
||||
var detail = await FetchDetailAsync(id);
|
||||
// null = 404 (zwischenzeitlich geloescht) -> ueberspringen.
|
||||
return detail == null ? null : MapFromStarface(detail);
|
||||
})
|
||||
.ToList();
|
||||
|
||||
var mapped = await Task.WhenAll(batch);
|
||||
contacts.AddRange(mapped.Where(c => c != null));
|
||||
}
|
||||
|
||||
if (array.Count < pageSize) break;
|
||||
@@ -266,6 +284,36 @@ namespace StarfaceOutlookSync.Services
|
||||
return contacts;
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Laedt das Detail-JSON eines Kontakts mit kleiner Wiederholung.
|
||||
/// Gibt null zurueck, wenn der Kontakt zwischen Listen- und Detail-Abruf
|
||||
/// wirklich geloescht wurde (404 - harmlos, wird uebersprungen).
|
||||
/// Wirft bei transienten Fehlern, damit der Aufrufer NICHT mit einer
|
||||
/// unvollstaendigen Liste weiterarbeitet (sonst entstehen Dubletten).
|
||||
/// </summary>
|
||||
private async Task<JObject> FetchDetailAsync(string id)
|
||||
{
|
||||
for (int attempt = 0; attempt < 3; attempt++)
|
||||
{
|
||||
try
|
||||
{
|
||||
var resp = await _http.GetAsync($"{_baseUrl}/contacts/{id}");
|
||||
if (resp.IsSuccessStatusCode)
|
||||
return JObject.Parse(await resp.Content.ReadAsStringAsync());
|
||||
|
||||
// 404 = zwischenzeitlich geloescht; nicht erneut versuchen.
|
||||
if (resp.StatusCode == HttpStatusCode.NotFound) return null;
|
||||
}
|
||||
catch { }
|
||||
|
||||
await Task.Delay(250 * (attempt + 1));
|
||||
}
|
||||
|
||||
throw new Exception(
|
||||
$"Starface-Kontakt {id} konnte nach mehreren Versuchen nicht geladen werden. " +
|
||||
$"Synchronisation abgebrochen, um Dubletten zu vermeiden.");
|
||||
}
|
||||
|
||||
public async Task<UnifiedContact> CreateContactAsync(UnifiedContact contact, StarfaceAddressBook book)
|
||||
{
|
||||
var sfContact = MapToStarface(contact);
|
||||
@@ -300,7 +348,13 @@ namespace StarfaceOutlookSync.Services
|
||||
return MapFromStarface(created);
|
||||
}
|
||||
|
||||
public async Task<bool> UpdateContactAsync(string contactId, UnifiedContact contact, StarfaceAddressBook book)
|
||||
/// <summary>
|
||||
/// Aktualisiert den Starface-Kontakt und gibt den massgeblichen Stand
|
||||
/// NACH dem Schreiben zurueck (null bei Fehler). Wird fuer die getrennte
|
||||
/// Hash-Baseline benoetigt, damit der Kontakt beim naechsten Sync nicht
|
||||
/// erneut faelschlich als geaendert gilt.
|
||||
/// </summary>
|
||||
public async Task<UnifiedContact> UpdateContactAsync(string contactId, UnifiedContact contact, StarfaceAddressBook book)
|
||||
{
|
||||
var sfContact = MapToStarface(contact);
|
||||
sfContact["id"] = contactId;
|
||||
@@ -323,9 +377,37 @@ namespace StarfaceOutlookSync.Services
|
||||
{
|
||||
var respBody = await resp.Content.ReadAsStringAsync();
|
||||
OnDebug?.Invoke($"PUT /contacts/{contactId} fehlgeschlagen: {(int)resp.StatusCode}\n{respBody}");
|
||||
return null;
|
||||
}
|
||||
|
||||
return resp.IsSuccessStatusCode;
|
||||
// Frischen Stand zurueckgeben. Manche Versionen liefern den Kontakt
|
||||
// direkt in der PUT-Antwort, sonst per GET nachladen.
|
||||
try
|
||||
{
|
||||
var respBody = await resp.Content.ReadAsStringAsync();
|
||||
if (!string.IsNullOrWhiteSpace(respBody))
|
||||
{
|
||||
var obj = JObject.Parse(respBody);
|
||||
if (obj["blocks"] != null)
|
||||
return MapFromStarface(obj);
|
||||
}
|
||||
}
|
||||
catch { }
|
||||
|
||||
return await GetContactAsync(contactId) ?? contact;
|
||||
}
|
||||
|
||||
/// <summary>Laedt einen einzelnen Kontakt mit allen Feldern.</summary>
|
||||
public async Task<UnifiedContact> GetContactAsync(string contactId)
|
||||
{
|
||||
try
|
||||
{
|
||||
var resp = await _http.GetAsync($"{_baseUrl}/contacts/{contactId}");
|
||||
if (!resp.IsSuccessStatusCode) return null;
|
||||
var obj = JObject.Parse(await resp.Content.ReadAsStringAsync());
|
||||
return MapFromStarface(obj);
|
||||
}
|
||||
catch { return null; }
|
||||
}
|
||||
|
||||
public async Task<bool> DeleteContactAsync(string contactId)
|
||||
|
||||
Reference in New Issue
Block a user