Add RC1 regression benchmark artifacts
Add benchmark artifacts created during the first RC1 robustness evaluation of the Meeting Lab pipeline. Included benchmark sets: - hardware_experimental_qwen35_9b - meeting_context_v1 - progeo_meeting_20260804_083849 - progeo_meeting_context_v1_20260804_110913 - progeo_meeting_rc1_20260804_121502 These artifacts document the evolution of the pipeline during the implementation and verification of BUG-009, BUG-010 and BUG-011. The benchmark data provide reproducible real-life regression cases for future development and allow quality comparisons across pipeline revisions. Current benchmark policy: During the active development phase, representative benchmark artifacts are intentionally versioned to preserve reproducibility and simplify regression analysis. Benchmark artifacts are considered part of the engineering evidence rather than temporary build output. Benchmark retention strategy will be revisited once the Meeting Assistant reaches production maturity.
This commit is contained in:
+27
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"facts": [
|
||||
"Martin | Das ist das aktuelle Projektdeckblatt, was wir in der F&E benutzen. | clear | Ja, also das Ganze ist ja auch nicht mit dem Hintergrund gedacht gewesen sondern das ist das aktuelle Projektdeckblatt, was wir in der F&E benutzen.",
|
||||
"Die 5 Millionen in 5 Jahren von 5 Leuten oder so ähnlich. | clear | Also die Frage von der GF ist ja dann häufig, was kommt da überhaupt raus? Die 5 Millionen in 5 Jahren von 5 Leuten oder so ähnlich.",
|
||||
"Das Ding ist ja mit einer anderen Idee entwickelt worden. | clear | So, teilen. Das Ding ist ja mit einer anderen Idee entwickelt worden."
|
||||
],
|
||||
"decisions": [],
|
||||
"todos": [
|
||||
"Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,",
|
||||
"Es wäre hilfreich, wenn EDD, Marketing und PM bereits definierte Auswahlkriterien mit integrieren könnten in den Filter. | bittet aber im Prinzip darum, es wäre hilfreich, wenn wir auch die von euch EDD, Marketing, PM bereits definierten Auswahlkriterien mit integrieren könnten in den Filter.",
|
||||
"Björn soll Kriterien für das Thema Testmarkt (Marketing) definieren. | Björn, für das Thema Testmarkt ging das, glaube ich, so."
|
||||
],
|
||||
"questions": [
|
||||
"Welche spezifischen Kriterien sind relevant für digitale Produkte im Vergleich zu Realprodukten? | Also jetzt als Beispiel, Johann hat ja schon mal nachgefragt und er hat mir auch schon Notizen zugemacht. Wenn wir zum Beispiel über das Portal reden, dann reden wir zum Beispiel über digitale Affinität...",
|
||||
"Wie sollen die Auswahlkriterien aus EDD, Marketing und PM in den Filter integriert werden? | ...dass sie da mal einen ersten Entwurf für macht. Du hast es auch vorgeschlagen."
|
||||
],
|
||||
"positions": [],
|
||||
"technical": [
|
||||
"Projektdeckblatt Maya | Das ist das aktuelle Projektdeckblatt, was wir in der F&E benutzen. | clear | Ja, also das Ganze ist ja auch nicht mit dem Hintergrund gedacht gewesen sondern das ist das aktuelle Projektdeckblatt, was wir in der F&E benutzen.",
|
||||
"Nutzung des Deckblatts als Filter | Das Ding ist ja mit einer anderen Idee entwickelt worden. Also hier erstmal Name... Das ist eine kurze Projektidee. | clear | So, teilen. Das Ding ist ja mit einer anderen Idee entwickelt worden."
|
||||
],
|
||||
"context": {
|
||||
"meeting_id": "2026-07-27-projektprozess",
|
||||
"source_file": "samples\\real_live\\project_process_meeting\\meeting_context.yaml",
|
||||
"schema_version": "1"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,105 @@
|
||||
# Meeting Context V1 Evaluation - Valid Bjoern Case
|
||||
|
||||
## Run
|
||||
|
||||
- Runtime seconds: 19.471
|
||||
- Prompt characters: 15615
|
||||
- Model: qwen3.5:9B
|
||||
- Thinking: false
|
||||
|
||||
## Category Counts
|
||||
|
||||
| Category | Old | New |
|
||||
| --- | ---: | ---: |
|
||||
| facts | 2 | 3 |
|
||||
| decisions | 0 | 0 |
|
||||
| todos | 2 | 3 |
|
||||
| questions | 1 | 2 |
|
||||
| positions | 0 | 0 |
|
||||
| technical | 2 | 2 |
|
||||
|
||||
## Old Todos
|
||||
|
||||
```json
|
||||
[
|
||||
{
|
||||
"item_id": "action_item_0001",
|
||||
"category": "action_item",
|
||||
"text": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert.",
|
||||
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
||||
"source_file": "chunk_01_extraction.json",
|
||||
"source_index": 0,
|
||||
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
||||
"responsible": "Giovanna",
|
||||
"deadline": null,
|
||||
"source_references": [
|
||||
{
|
||||
"source_file": "chunk_01_extraction.json",
|
||||
"source_index": 0,
|
||||
"evidence": "Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt",
|
||||
"original_value": "Giovanna stellt die Kriterien zusammen und erstellt einen ersten Entwurf für den Auswahlkatalog, der EDD-, Marketing- und PM-Kriterien integriert. | Giovanna | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt"
|
||||
}
|
||||
],
|
||||
"duplicate_count": 1
|
||||
},
|
||||
{
|
||||
"item_id": "action_item_0002",
|
||||
"category": "action_item",
|
||||
"text": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter.",
|
||||
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
||||
"source_file": "chunk_01_extraction.json",
|
||||
"source_index": 1,
|
||||
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
||||
"responsible": "Björn",
|
||||
"deadline": null,
|
||||
"source_references": [
|
||||
{
|
||||
"source_file": "chunk_01_extraction.json",
|
||||
"source_index": 1,
|
||||
"evidence": "aus Marketing-Sicht, Björn, wirst du andere Kriterien haben",
|
||||
"original_value": "Björn definiert andere Kriterien für Business Development Projekte (z.B. digitale Affinität, kulturelle Hürden) und integriert diese in den Filter. | Björn | aus Marketing-Sicht, Björn, wirst du andere Kriterien haben"
|
||||
}
|
||||
],
|
||||
"duplicate_count": 1
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
## New Todos
|
||||
|
||||
```json
|
||||
[
|
||||
"Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,",
|
||||
"Es wäre hilfreich, wenn EDD, Marketing und PM bereits definierte Auswahlkriterien mit integrieren könnten in den Filter. | bittet aber im Prinzip darum, es wäre hilfreich, wenn wir auch die von euch EDD, Marketing, PM bereits definierten Auswahlkriterien mit integrieren könnten in den Filter.",
|
||||
"Björn soll Kriterien für das Thema Testmarkt (Marketing) definieren. | Björn, für das Thema Testmarkt ging das, glaube ich, so."
|
||||
]
|
||||
```
|
||||
|
||||
## New Positions Involving Bjoern
|
||||
|
||||
```json
|
||||
[]
|
||||
```
|
||||
|
||||
## New Items Mentioning Jovana Or Giovanna
|
||||
|
||||
```json
|
||||
[
|
||||
{
|
||||
"category": "todos",
|
||||
"item": "Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,"
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
## Assessment
|
||||
|
||||
- Historical false item present in new todos: False
|
||||
- Unsupported Bjoern responsibility present: False
|
||||
- Bjoern represented as position/objection/qualification: False
|
||||
- Bjoern associated with Marketing in new output: False
|
||||
- Bjoern reassigned to Business Development: False
|
||||
- Jovana/Giovanna task assigned: True
|
||||
- Important information loss detected: False
|
||||
- New false assignment candidates: ["Giovanna soll sich darum bemühen, die Kriterien zusammenzustellen. | Also Giovanna hat ja auch selber schon vorgeschlagen, sie würde sich darum bemühen, dass sie dann entsprechend mal die Kriterien zusammenstellt,"]
|
||||
- Overall result: worsened
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,8 @@
|
||||
{
|
||||
"runtime_seconds": 19.471,
|
||||
"prompt_characters": 15615,
|
||||
"model": "qwen3.5:9B",
|
||||
"prompt_eval_count": 3851,
|
||||
"eval_count": 991,
|
||||
"think": false
|
||||
}
|
||||
Reference in New Issue
Block a user