Add RC1 regression benchmark artifacts

Add benchmark artifacts created during the first RC1 robustness evaluation of the Meeting Lab pipeline.

Included benchmark sets:

- hardware_experimental_qwen35_9b
- meeting_context_v1
- progeo_meeting_20260804_083849
- progeo_meeting_context_v1_20260804_110913
- progeo_meeting_rc1_20260804_121502

These artifacts document the evolution of the pipeline during the implementation
and verification of BUG-009, BUG-010 and BUG-011.

The benchmark data provide reproducible real-life regression cases for future
development and allow quality comparisons across pipeline revisions.

Current benchmark policy:

During the active development phase, representative benchmark artifacts are
intentionally versioned to preserve reproducibility and simplify regression
analysis.

Benchmark artifacts are considered part of the engineering evidence rather than
temporary build output. Benchmark retention strategy will be revisited once the
Meeting Assistant reaches production maturity.
This commit is contained in:
2026-08-04 13:38:30 +02:00
parent 950284e236
commit 647b28aa3e
231 changed files with 181568 additions and 0 deletions
@@ -0,0 +1,295 @@
Genau.
Sondern dass, Björn, du das zum Beispiel mit PM diskutierst oder Business Development mit dir oder wie auch immer.
Und die Jungs das dann einfach zu euch rüberspielen und sagen, kümmert euch drum.
Aber füllt bitte, seht zu, dass ihr das hier entlang dieses Katalogs ausarbeitet und dann auch zur Entscheidung bringt.
entweder und uns aber auch eine Rückmeldung gibt,
weil wir bündeln das hier zentral, damit wir auch wissen,
welche Projekte im Unternehmen laufen und welche nicht laufen.
Genau. Und ich kann dir sagen aus Erfahrung,
das Sekretariat der Geschäftsführung ist da,
sage ich mal, also Sekretariate sind da sehr abweisend,
was das angeht, weil die sagen dann sofort,
ja, ich habe ja überhaupt gar keine Ahnung davon
und ich habe so viel anderes zu tun.
Insofern ist es einfach eine pragmatische Lösung,
das in einer der Fachabteilungen zu machen.
Und wenn die Personen eine latente Ahnung von vielen haben,
ist es jetzt auch nicht schädlich.
Und es ist genauso, wie du sagtest, vorbereiten.
Und du brauchst auch einen, der es einfach formal nachhält.
Nachdem das in eine Abteilung gegangen ist, ist da was passiert.
Nach vier Wochen mal fragen, ist der Stand, wird es bearbeitet?
Eine Liste führen. Irgendwer muss eine Liste führen.
Und wo drinsteht, wer sich um was kümmert.
damit auch Sachen, die zweimal reinkommen aus verschiedenen Ecken, einfach erkannt werden
und nicht durch irgendeine Kleinigkeit mal nach rechts und mal nach links abbiegen
und am Ende doch das Gleiche sind.
Ja, aber jetzt lass uns das doch mal weiterspielen.
Jetzt steht Björn oder PM eigentlich egal in der Diskussion mit Business Development
und dem Vertrieb über die Relevanz irgendeines speziellen Marktes.
Ein wildes Beispiel, wollen wir Papatikus-Ankart zusammen mit Wikimarkt Green in Turkmenistan pushen.
Das ist ja im Prinzip ein Projekt, wo wir nach der Diskussion beim Strategie-Meeting gesagt haben,
naja, da müssten wir jetzt eigentlich unsere Filter anlegen, wollen wir uns damit beschäftigen.
wäre denn jetzt tatsächlich dieser Prozess,
das über James oder über die F&E zu spielen,
der richtige Weg?
Und das ist aber ja genau das Ziel.
Wir wollen ja einen Prozess etablieren,
in dem die Filter sicher abgefragt werden.
Das ist eben nicht, heißt Business Development und PM entscheiden,
wahnsinnig wichtig, finden wir mega cool,
wollen wir unbedingt machen.
Björn rauft sich die Haare, weil er sagt, wo ist denn die Marktanalyse?
Und die Geschäftsführung ist hin und her gerissen und entscheidet mal,
der rechte Raum entscheidet so, der linke Raum in so oder nach Tagesform.
Das ist ja genau das, was wir wollen.
Wir wollen irgendwo, dass das strukturiert passiert.
Und genau da ist wieder egal, wer das, also in Person, wer das macht,
sondern diese Filter müssen wir einmal definieren.
und die hat ja die GF ein paar definiert und die können sicherlich, also grobe Filter, nicht bis ins Kleinste.
Die müssen, das ist das, was ich sage, die müssen definiert werden und dann ist das wie einer, da warst du glaube ich schon raus,
das ist wie einer Telefonhotline, wenn du anrufst, der fragt dich oder die fragt dich, was für ein Problem haben sie
und dann biegt das in so einem Entscheidungsbaum ab.
Und die Aufgabe von den Personen, die das machen, in dem Fall jetzt aktuell James und David, wäre dann eben genau zu fragen,
gibt es schon eine Marktanalyse?
Ist das ein Bauchgefühl?
Habe ich das aus irgendwelchen Veröffentlichungen?
Also gibt es da schon irgendwas?
Und das einfach aufzusummieren, damit die Fachabteilung,
an die das dann geht, schon mal eine gewisse Entscheidungsgrundlage hat.
Und dafür brauche ich mich überhaupt gar nicht in den Markt auskennen,
sondern ich frage ja den, der die Idee reingibt.
Und die kommt ja nicht zwangsläufig aus der Fachabteilung,
sondern der Prozess ist ja letztendlich, irgendein Vertriebler sagt, ich muss die Platypus Anker mit Sekumat in Dings verkaufen.
Das ist ja mehr so der Ablauf, der dahinter steht.
Wenn Business Development sowas selber in Frage stellt oder sich selber überlegt,
dann sollten die sich die Gedanken vorher schon gemacht haben.
Die kennen ja ihre eigenen Ansprüche, aber auch die kann man natürlich aufschreiben.
Das wäre dann eine Verfeinerung. Bin ich sehr dafür.
Also je mehr die Person, die das vorentscheiden muss, vorher schon Filterkriterien hat, die er einfach abarbeiten kann und einfach sagen kann, lieber Lars, habe ich verstanden, technisch habe ich verstanden, weißt du denn schon, wie groß der Markt da so ist?
Ja, zwei Millionen Euro.
Und wenn er dann schon sieht, die normale Anforderung ist fünf Millionen Euro,
dann kann er schon mal ein Fragezeichen dran machen.
Oder du zuckst mit dem Schulter und sagst, weiß ich nicht,
dann kommt da auch ein Vermerk dran, also die anderen durch.
Und dann müssen wir uns halt überlegen,
sind wir so davon überzeugt, dass wir die Marktstudie anschieben,
die ja dann auch Zeit und Geld kostet.
und Ressourcen im weitesten Sinne.
So ganz lösen wird man es am Anfang nicht.
Aber du kannst über diesen Prozess, finde ich,
mit jemandem, der am Eingang steht, so ein Gatekeeper,
der einfach formal ein paar Sachen abarbeitet
und Informationen zusammenträgt,
den Entscheidungsprozess hinterher qualitativ besser machen.
Von dem, was ich verstehe, ist das, was Lars jetzt anspricht,
auch eigentlich die Bewertung, die bei uns im Gremium dann ansteht.
Also wir haben ja einmal den Punkt,
dass es von der Ideenliste in die Projektliste kommt und dann wird ja hier darüber diskutiert, machen ja nein, mit welcher Prio etc. pp.
Wer macht es? Und diese Filter sind zu 100% in dem Prozess auch überhaupt nicht abgebildet.
Das steht hier noch nicht so drin. Hier steht nicht drin, er muss in fünf Jahren fünf Millionen machen.
Das wird nämlich nicht für alle Ideen passen.
Es passt nämlich nicht dafür, wenn ein Mitarbeiter sagt, okay, wir sollten Maschine XY bei dem und dem Auftrag vielleicht ein bisschen langsamer fahren oder sowas. Das passt ja gar nicht zu diesem allgemeinen Konzept. Wie wir das hier dann manchmal noch bewerten, das kann ja auch variieren oder mal eine Wette abgeschlossen werden oder so.
und von meinem Empfinden,
wenn Giovanna jetzt
irgendwas hat, so wie das
Beispiel, was du jetzt gerade eben hattest,
es spricht ja auch nichts dagegen,
dass das dann noch, zumindest
meiner Meinung nach, dass das separat
in diesen Meetings dann in diese Liste
ohne die E-Mail
mit aufgenommen wird, wenn wir hier
zusammensitzen und da alle drüber sprechen. Wichtig ist
ja nur, dass es in der Projektliste dann am Schluss
landet, aber weil
der Ideenpool ist ja ein allgemeines
Sammelsorium für
Die Ideen. Und dafür ist der Prozess auch da. In allen Bereichen. Wenn wir jetzt noch irgendwas haben, was aus einem Meeting entsteht oder sowas, das muss dann ja nur trotzdem in die Liste. Das kann ja trotzdem passieren, wenn die Fragen beantwortet sind.
Dafür musst du aber eigentlich auch oben nochmal rein und sagen,
habe ich denn die Mindestanforderungen, die ich, also wiederum die Kategorisierung,
ist es BD, EDD, PM, was auch immer und diese, die haben irgendwie drei bis fünf wirklich Sachen,
die am besten vorneweg beantwortet werden.
Aber das Schlimmste ist, dass einer kommt und sagt, ich habe einfach, der nur ein Stichwort reinwirft.
Ja, das kann ja nicht passieren.
Das kann ja auch, also
so verstehe ich das jetzt. Das kann aktuell nicht
passieren. Raik kann jetzt nicht, und das ist
ja auch was, was wir dann durchsetzen werden müssen.
Wenn Raik hier jemanden anruft, ist
immer einfach ein gutes Beispiel,
müssen wir ihm sagen, bitte trag
das in den Pool ein,
dann wird er wen anders anrufen und da muss eben
die gleiche Antwort kommen.
So. Und wenn
er es dann anfährt, dann wird sich jemand anderes
darum kümmern, dass er die klassischen
Fragen beantwortet und wenn wir das alles zusammengetragen
haben, dann werden wir mit fünf Leuten hier
zusammensitzen und gemeinsam
entscheiden, okay, welche Prio hat das? Ist das
sinnvoll? Ist es ein F-Projekt? Ist es ein
E-Projekt? Ist es ein BD-Projekt? Ein Pernprojekt?
Wer sollte sich darum kümmern
und wer kriegt den Hut auf? Weil das war
ja die, also
dieses Zusammentragen von Ideen
und jemanden einen Hut für das Projekt
aufsetzen, das war das Kern des Problems,
weswegen wir gesagt haben, wir wollen uns damit neu
aufeinandersetzen. Dieser Prozess ist ja nur
Teil der Lösung.
Das war die Problemstellung, weswegen Herr Peter eingeladen hat.
Jetzt korrigiert mich, wenn ich falsch liege.
Aber diese Projektbearbeitung schneller zu machen, Leuten Hut aufzusetzen, das zu zentralisieren
und nicht an drei Stellen im Unternehmen die gleichen Sachen zu bearbeiten, ohne dass einer davon weiß.
Ich kann das unterstützen.
Die meisten Projekte scheitern daran, dass kein Kontext drumherum ist, sondern dann wird irgendein Stichwort reingeworfen, dann soll sich jemand drum kümmern und dann ist auch schon ziemlich schnell Ende, weil eben dann, ja, es wird zwar gesagt Lauf, aber nicht in welche Richtung letztendlich.