Add RC1 regression benchmark artifacts

Add benchmark artifacts created during the first RC1 robustness evaluation of the Meeting Lab pipeline. Included benchmark sets: - hardware_experimental_qwen35_9b - meeting_context_v1 - progeo_meeting_20260804_083849 - progeo_meeting_context_v1_20260804_110913 - progeo_meeting_rc1_20260804_121502 These artifacts document the evolution of the pipeline during the implementation and verification of BUG-009, BUG-010 and BUG-011. The benchmark data provide reproducible real-life regression cases for future development and allow quality comparisons across pipeline revisions. Current benchmark policy: During the active development phase, representative benchmark artifacts are intentionally versioned to preserve reproducibility and simplify regression analysis. Benchmark artifacts are considered part of the engineering evidence rather than temporary build output. Benchmark retention strategy will be revisited once the Meeting Assistant reaches production maturity.
2026-08-04 13:38:30 +02:00
parent 950284e236
commit 647b28aa3e
231 changed files with 181568 additions and 0 deletions
@@ -0,0 +1,51 @@
+{
+  "model": "qwen3.5:9B",
+  "endpoint": "http://127.0.0.1:11434/api/generate",
+  "think": false,
+  "stream": false,
+  "temperature": 0.0,
+  "num_ctx": 32768,
+  "num_predict": 4096,
+  "timeout_seconds": 1800,
+  "request_count": 1,
+  "runtime_seconds": 39.313267,
+  "prompt_path": "C:\\Users\\marti\\Documents\\git-projects\\meeting-lab\\prompts\\working_protocol.md",
+  "input_path": "C:\\Users\\marti\\Documents\\git-projects\\meeting-lab\\samples\\benchmarks\\progeo_meeting_20260804_083849\\semantic_consolidator\\repaired_consolidated_extractions.json",
+  "output_path": "C:\\Users\\marti\\Documents\\git-projects\\meeting-lab\\samples\\benchmarks\\progeo_meeting_20260804_083849\\working_protocol\\working_protocol.md",
+  "raw_response_path": "C:\\Users\\marti\\Documents\\git-projects\\meeting-lab\\samples\\benchmarks\\progeo_meeting_20260804_083849\\working_protocol\\raw_model_response.json",
+  "cold_warm_state": "cold",
+  "ollama_ps_before": "NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL",
+  "http_status_code": 200,
+  "response_content_type": "application/json; charset=utf-8",
+  "response_byte_length": 229793,
+  "prompt_characters": 171031,
+  "top_level_json_keys": [
+    "context",
+    "created_at",
+    "done",
+    "done_reason",
+    "eval_count",
+    "eval_duration",
+    "load_duration",
+    "model",
+    "prompt_eval_count",
+    "prompt_eval_duration",
+    "response",
+    "total_duration"
+  ],
+  "done": true,
+  "done_reason": "stop",
+  "total_duration": 39255814300,
+  "load_duration": 3690418200,
+  "prompt_eval_count": 16386,
+  "prompt_eval_duration": 7217315000,
+  "eval_count": 2014,
+  "eval_duration": 28270473000,
+  "response_text_length": 7456,
+  "valid": false,
+  "detected_output_language": "German",
+  "readable_markdown": false,
+  "output_characters": 7456,
+  "output_bytes": 7546,
+  "ollama_ps_after": "NAME          ID              SIZE      PROCESSOR    CONTEXT    UNTIL              \nqwen3.5:9b    6488c96fa5fa    6.7 GB    100% GPU     32768      4 minutes from now"
+}
@@ -0,0 +1,24 @@
+# Working Protocol Renderer V2 Report
+
+- Result: invalid renderer run
+- Model: `qwen3.5:9B`
+- Thinking setting: disabled (`think=false`)
+- Endpoint: `http://127.0.0.1:11434/api/generate`
+- Prompt path: `C:\Users\marti\Documents\git-projects\meeting-lab\prompts\working_protocol.md`
+- Input path: `C:\Users\marti\Documents\git-projects\meeting-lab\samples\benchmarks\progeo_meeting_20260804_083849\semantic_consolidator\repaired_consolidated_extractions.json`
+- Request count: 1
+- Wall-clock runtime: 39.313 seconds
+- total_duration: 39255814300
+- load_duration: 3690418200
+- prompt_eval_count: 16386
+- prompt_eval_duration: 7217315000
+- eval_count: 2014
+- eval_duration: 28270473000
+- Prompt characters: 171031
+- Output characters: 7456
+- Output bytes: 7546
+- Detected output language: German
+- Readable Markdown: False
+- Output path: `C:\Users\marti\Documents\git-projects\meeting-lab\samples\benchmarks\progeo_meeting_20260804_083849\working_protocol\working_protocol.md`
+- Raw response path: `C:\Users\marti\Documents\git-projects\meeting-lab\samples\benchmarks\progeo_meeting_20260804_083849\working_protocol\raw_model_response.json`
+- Metadata path: `C:\Users\marti\Documents\git-projects\meeting-lab\samples\benchmarks\progeo_meeting_20260804_083849\working_protocol\metadata.json`
@@ -0,0 +1,2 @@
+REQUEST_START 2026-08-04T09:52:53+0200 endpoint=http://127.0.0.1:11434/api/generate
+REQUEST_END 2026-08-04T09:53:33+0200 status=200
@@ -0,0 +1,68 @@
+Hier ist die konsolidierte und strukturierte Zusammenfassung der extrahierten Informationen basierend auf dem bereitgestellten JSON-Datenbestand. Die Daten wurden nach Kategorien (Entscheidungen, Aktionen, offene Fragen, technische Details) gruppiert und chronologisch sowie thematisch sortiert.
+
+### 📋 Konsolidierter Projektstatusbericht
+
+#### 1. Entscheidungen & Strategische Weichenstellungen
+*   **Ablehnung von Fraunhofer:** Das Angebot des Fraunhofer-Instituts (30.000 €) wurde abgelehnt; eine gemeinsame Zusammenarbeit an dieser Stelle wird zurückhaltend betrachtet, da das Projektziel anders gesehen wird als ursprünglich geplant.
+*   **Meeting-Termin festgelegt:** Der nächste wichtige Termin ist auf den **31. August um 8:30 Uhr** fixiert worden (Standort Frankfurt).
+*   **Materialbeschaffung vs. Prozessoptimierung:** Es besteht der Konsens, Material bei MAS zu beschaffen und gleichzeitig Prozesse zu verbessern, anstatt nur nach neuen Anlagen zu suchen oder externe Partner wie Uni Leeds parallel ohne klaren Fokus einzubinden.
+
+#### 2. Handlungsaufforderungen (Action Items)
+Die folgenden Aufgaben wurden identifiziert:
+
+| ID | Aufgabe | Verantwortlich / Hinweis | Frist / Zeitrahmen | Quelle/Chunk |
+| :--- | :--- | :--- | :--- :--- |
+| **AI-01** | Kontakt zum Hersteller Herr Stettin aufnehmen (Vermeidung halbvoller Container, Entsorgung). | - | Sofortig | Chunk 5 |
+| **AI-02** | Überprüfung der Gitterlage (axial vs. quer) durch Tim oder Antonius. | Tim/Antonius | Offene Aufgabe | Chunk 5 |
+| **AI-03** | Bilaterales Gespräch zur Bilanzierung von Aufwand/Daten im Vergleich zu Primärmaterial führen. | - | Nach Materialrückkehr | Chunk 5 |
+| **AI-04** | Optimierung des Siebschnitts Richtung 10 mm (bereits versucht, Nutzung eines vorhandenen 20er Trommelsiebs). | Team MAS/Kockmann | Offene Aufgabe | Chunk 6/7 |
+| **AI-05** | Material bei MAS beschaffen und Prozess verbessern. | - | Aktuell notwendig | Chunk 6 |
+| **AI-06** | Kontakt zu Uni Leeds prüfen (ggf. Versuch dort durchführen). | Projektleitung | Parallelprüfung | Chunk 6 |
+| **AI-07** | Abschließendes Fazit zum Stand vor einem weiteren MAS-Versuch erarbeiten. | - | Vor nächstem Versuch | Chunk 6 |
+| **AI-08** | Antrag für kostenneutrale Verlängerung formulieren (für alle oder einzelne Partner prüfen). | Projektleitung | Offene Aufgabe | Chunk 6/7 |
+| **AI-09** | Mit Fraunhofer erneut sprechen. | - | Nach Ablehnungsentscheidung | Chunk 6 |
+| **AI-10** | Material testen und Tests im Projekt aufteilen (Martin zuständig). | Martin | Offene Aufgabe | Chunk 7 |
+| **AI-11** | Im August verstärkt Möglichkeiten prüfen und ansetzen. | Marleen/Team | August | Chunk 7 |
+| **AI-12** | Mit Schalwanich sprechen: Klärung Zerkleinerung für Kockmann vs. andere Option (3. Großversuch). | Projektleitung | Vor 3. Versuch | Chunk 7 |
+| **AI-13** | Verfügbare Budgetmittel für Versuche bei Kiva aufbrauchen. | Projektteam | Offene Aufgabe | Chunk 7 |
+| **AI-14** | Material allokieren und Mulden bei Kogmann in "Bereitstellung" abkleben. | Logistik/Team | Aktuell | Chunk 7 |
+| **AI-15** | Vor dem 30. September den letzten Stand austauschen (Sitzung Frankfurt). | Alle | < 30. Sep | Chunk 7 |
+| **AI-16** | Kontakt mit Dirk Textor aufnehmen (Einschätzung Materialreinigung). | - | Offene Aufgabe | Chunk 8 |
+| **AI-17** | Material an MAS senden zur Einschätzung der Reinigungsmöglichkeit. | Logistik/MAS | Kurzfristig | Chunk 8 |
+| **AI-18** | Erstellung und Einreichung des Artikels für das CET-Sonderheft. | Autor/Team | Ende September / Mitte Sep | Chunk 9 |
+| **AI-19** | Fertigstellung der Präsentation für den Artikel (ca. 15.-16. Sept). | - | ~15./16. Sep | Chunk 9 |
+| **AI-20** | Durchführung des Versuchs mit Taylor-Lux und Markern (nur auf Sextruder). | Labor/Team | Offene Aufgabe | Chunk 9 |
+| **AI-21** | Marleen klärt bei sich, wie wir weiterkommen. | Marleen | Nach Rückkehr Material | Chunk 10 |
+| **AI-22** | Gespräch mit Martin, James und David wegen Mail von Henning führen. | Team | Offene Aufgabe | Chunk 10 |
+| **AI-23** | Henning anrufen oder Termin ausmachen (Klärung E-Mail/Malaysia). | - | Sofortig | Chunk 10 |
+
+#### 3. Offene Fragen & Unsicherheiten
+Diese Punkte benötigen Klärung vor dem nächsten Schritt:
+
+*   **Energieaudit:** Darf der Energieverbrauch öffentlich herausgegeben werden? (Es muss ein Bericht mit Audit angehängt sein).
+*   **MAS-Bestätigung:** Können die Kollegen von MAS den hohen Energieaufwand bestätigen oder ist dies nur eine Einschätzung?
+*   **Großversuchs-Stand:** Wie sieht aktuell der Stand bei den Großversuchen aus, um auf einen dritten zuzusteuern?
+*   **Verlängerungsbudget:** Soll die kostenneutrale Verlängerung für alle Partner gelten oder nur selektiv sinnvoll sein?
+*   **Materialerfolg:** Wird der Versuch mit dem neuen Material (20-100% Anteil) erfolgreich sein, trotz Verunreinigungen?
+*   **Anlagenwahl:** Sollte man nach einer anderen Anlage suchen oder den Prozess von MAS nutzen?
+*   **Taylor-Lux Ergebnisse:** Wann sind die Ergebnisse vom Markerversuch verfügbar? Das Material ist noch nicht zurück. Ist ein extra Termin nötig?
+*   **Normgremien:** In welchen Normgremien sind die Teilnehmer vertreten (Liste darf laut Henning nicht rausgegeben werden)?
+*   **Henning's Mail:** Was meint Henning genau mit der E-Mail und dem Thema "Malaysia"?
+
+#### 4. Technische Details & Faktenlage
+Wichtige technische Erkenntnisse aus den Transkripten:
+
+*   **Anlagenzustand:** Die Anlage läuft stabil, auch wenn sie am Ende etwas kälter (5 Grad) gefahren wurde; keine zusätzliche Energie oder Geschwindigkeitsreduktion nötig. Der Hersteller kommt mit dem Material klar.
+*   **Siebschnitt-Optimierung:** Es wird ein 20er Trommelsieb genutzt. Ziel ist die Optimierung Richtung 10 mm zur Reduzierung von Verlusten (Material geht durch, da System für 24/7 Betrieb ausgelegt ist).
+*   **Gitterlage:** Ein Großteil der Gitter liegt quer (8-10 Meter Materiallänge), was die Effizienz beeinflusst. Dies muss geprüft werden.
+*   **Chemisches Recycling vs. Mechanisch:** Chemisches Recycling erzeugt wieder Monomere unter kontrollierten Bedingungen im Reaktor. Mechanische Verfahren haben das Risiko von Fremdfraktionen und Kontaminationen.
+*   **Materialreinheit (Glührückstand):** Im Regranulat sind ca. 0,2% Glührückstand zu erwarten (+/-). Dies ist akzeptabel ("Damit können wir leben"). Die Gefahr der Kontamination durch echte Recyclingunternehmen bleibt jedoch hoch.
+*   **Extrudervergleich:** Der kleine Extruder mischt aufgrund seiner Größe schlechter als der große. Marker sind beim Extrudieren im kleinen Gerät beschädigt worden (Zustand: kaputt).
+*   **Haltbarkeit/Kundenwahrnehmung:** Kunden kaufen keine Produkte, die nur 5 Jahre halten könnten, da das Risiko einer Verzögerung bei Baustellen zu hoch ist.
+*   **Kompositmaterialien:** Start-ups/Fraunhofer bevorzugen Komposite und stoßen auf Fremdstoffe eher negativ; sie wollen Monomere verarbeiten.
+
+#### 5. Zusammenfassung der nächsten Schritte (Priorisiert)
+1.  **Sofortig:** Henning kontaktieren, Material an MAS senden, Reinigungseinschätzung einholen.
+2.  **Kurzfristig (<30. Sep):** Statusstand austauschen vor Sitzung Frankfurt; Artikel für CET-Sonderheft vorbereiten und präsentieren (Ziel: Mitte/Ende Sept).
+3.  **August:** Verstärkte Prüfung von Möglichkeiten bei MAS/Kockmann; Materialbeschaffung sicherstellen.
+4.  **Vorbereitung 3. Versuch:** Klärung der Zerkleinerungsfrage mit Schalwanich/Kockmann und Entscheidung zur Anlage (MAS vs. Kockmann).