admin
647b28aa3e
Add benchmark artifacts created during the first RC1 robustness evaluation of the Meeting Lab pipeline. Included benchmark sets: - hardware_experimental_qwen35_9b - meeting_context_v1 - progeo_meeting_20260804_083849 - progeo_meeting_context_v1_20260804_110913 - progeo_meeting_rc1_20260804_121502 These artifacts document the evolution of the pipeline during the implementation and verification of BUG-009, BUG-010 and BUG-011. The benchmark data provide reproducible real-life regression cases for future development and allow quality comparisons across pipeline revisions. Current benchmark policy: During the active development phase, representative benchmark artifacts are intentionally versioned to preserve reproducibility and simplify regression analysis. Benchmark artifacts are considered part of the engineering evidence rather than temporary build output. Benchmark retention strategy will be revisited once the Meeting Assistant reaches production maturity.
4.7 KiB
4.7 KiB
Meeting Context V1 Evaluation - Valid Bjoern Case
Run
- Runtime seconds: 19.471
- Prompt characters: 15615
- Model: qwen3.5:9B
- Thinking: false
Category Counts
| Category | Old | New |
|---|---|---|
| facts | 2 | 3 |
| decisions | 0 | 0 |
| todos | 2 | 3 |
| questions | 1 | 2 |
| positions | 0 | 0 |
| technical | 2 | 2 |
Old Todos
[
{
"item_id": "action_item_0001",
"category": "action_item",
"text": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert.",
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
"source_file": "chunk_01_extraction.json",
"source_index": 0,
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
"responsible": "Giovanna",
"deadline": null,
"source_references": [
{
"source_file": "chunk_01_extraction.json",
"source_index": 0,
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt"
}
],
"duplicate_count": 1
},
{
"item_id": "action_item_0002",
"category": "action_item",
"text": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter.",
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
"source_file": "chunk_01_extraction.json",
"source_index": 1,
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
"responsible": "Björn",
"deadline": null,
"source_references": [
{
"source_file": "chunk_01_extraction.json",
"source_index": 1,
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben"
}
],
"duplicate_count": 1
}
]
New Todos
[
"Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,",
"Es wäre hilfreich, wenn EDD, Marketing und PM bereits definierte Auswahlkriterien mit integrieren könnten in den Filter. | bittet aber im Prinzip darum, es wäre hilfreich, wenn wir auch die von euch EDD, Marketing, PM bereits definierten Auswahlkriterien mit integrieren könnten in den Filter.",
"Björn soll Kriterien für das Thema Testmarkt (Marketing) definieren. | Björn, für das Thema Testmarkt ging das, glaube ich, so."
]
New Positions Involving Bjoern
[]
New Items Mentioning Jovana Or Giovanna
[
{
"category": "todos",
"item": "Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,"
}
]
Assessment
- Historical false item present in new todos: False
- Unsupported Bjoern responsibility present: False
- Bjoern represented as position/objection/qualification: False
- Bjoern associated with Marketing in new output: False
- Bjoern reassigned to Business Development: False
- Jovana/Giovanna task assigned: True
- Important information loss detected: False
- New false assignment candidates: ["Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,"]
- Overall result: worsened