admin
647b28aa3e
Add benchmark artifacts created during the first RC1 robustness evaluation of the Meeting Lab pipeline. Included benchmark sets: - hardware_experimental_qwen35_9b - meeting_context_v1 - progeo_meeting_20260804_083849 - progeo_meeting_context_v1_20260804_110913 - progeo_meeting_rc1_20260804_121502 These artifacts document the evolution of the pipeline during the implementation and verification of BUG-009, BUG-010 and BUG-011. The benchmark data provide reproducible real-life regression cases for future development and allow quality comparisons across pipeline revisions. Current benchmark policy: During the active development phase, representative benchmark artifacts are intentionally versioned to preserve reproducibility and simplify regression analysis. Benchmark artifacts are considered part of the engineering evidence rather than temporary build output. Benchmark retention strategy will be revisited once the Meeting Assistant reaches production maturity.
121 lines
5.6 KiB
Markdown
121 lines
5.6 KiB
Markdown
# Meeting Context V1 Responsibility Attribution Comparison
|
|
|
|
## Source
|
|
|
|
- Baseline source artifact: `samples/benchmarks/canonicalizer_v1/canonicalized_extractions.json`
|
|
- Baseline source extraction file recorded there: `chunk_01_extraction.json`
|
|
- Normalized chunk: `samples/chunks/chunk_01_normalized.txt`
|
|
- Context-aware extraction: `samples/benchmarks/meeting_context_v1/chunk_01_extraction_with_context.json`
|
|
|
|
## Old False Item
|
|
|
|
```json
|
|
{
|
|
"item_id": "action_item_0002",
|
|
"category": "action_item",
|
|
"text": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter.",
|
|
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 1,
|
|
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"responsible": "Björn",
|
|
"deadline": null,
|
|
"source_references": [
|
|
{
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 1,
|
|
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben"
|
|
}
|
|
],
|
|
"duplicate_count": 1
|
|
}
|
|
```
|
|
|
|
## Category Counts
|
|
|
|
| Category | Old | New |
|
|
| --- | ---: | ---: |
|
|
| facts | 2 | 13 |
|
|
| decisions | 0 | 0 |
|
|
| todos | 2 | 4 |
|
|
| questions | 1 | 2 |
|
|
| positions | 0 | 0 |
|
|
| technical | 2 | 3 |
|
|
|
|
## Old Todo / Action Items
|
|
|
|
```json
|
|
[
|
|
{
|
|
"item_id": "action_item_0001",
|
|
"category": "action_item",
|
|
"text": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert.",
|
|
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 0,
|
|
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
|
"responsible": "Giovanna",
|
|
"deadline": null,
|
|
"source_references": [
|
|
{
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 0,
|
|
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
|
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt"
|
|
}
|
|
],
|
|
"duplicate_count": 1
|
|
},
|
|
{
|
|
"item_id": "action_item_0002",
|
|
"category": "action_item",
|
|
"text": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter.",
|
|
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 1,
|
|
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"responsible": "Björn",
|
|
"deadline": null,
|
|
"source_references": [
|
|
{
|
|
"source_file": "chunk_01_extraction.json",
|
|
"source_index": 1,
|
|
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
|
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben"
|
|
}
|
|
],
|
|
"duplicate_count": 1
|
|
}
|
|
]
|
|
```
|
|
|
|
## New Todo / Action Items
|
|
|
|
```json
|
|
[
|
|
"Herr Lott übernimmt die federführende Betreuung der Dachabdichtungsarbeiten. | Martin | der Herr Bentes wird das auch nicht weiter betreuen sondern der Herr Lott wird da sozusagen federführend in diese Sache einsteigen.",
|
|
"Herr Schmidt druckt Bestandspläne (Heizung, Lüftung, Sanitär) aus und hängt sie an Ort und Stelle auf. | Martin | Ich kümmere mich gerne darum das in entsprechender Papierform auszudrucken in Hefter zu tun und dann an Ort und Stelle zu verbringen.",
|
|
"BPD prüft die Möglichkeit eines Wartungsvertrags für Pumpen-Notdienst (z.B. Firma 'Pumpen Kahl'). | Gibt es Wartungsvertrag wie Sie sagen vom Pumpen Kahl rufe ich dann an 24 Stunden Notdienst und dann kommt er halt und pumpt mir den Keller aus.",
|
|
"BPD klärt mit der Feuerwehr die Kostenübernahme bei Wassereintritten in Tiefgaragen. | Also wir müssen es halt dann bezahlen wenn wir die Schuldigen sind."
|
|
]
|
|
```
|
|
|
|
## Positions Involving Bj?rn
|
|
|
|
Old:
|
|
```json
|
|
[]
|
|
```
|
|
|
|
New:
|
|
```json
|
|
[]
|
|
```
|
|
|
|
## Focus Checks
|
|
|
|
- Bj?rn unsupported responsibility in new todos: False
|
|
- Context provenance present: True
|
|
- Potential information loss by coarse counts: True
|