KI im Einkauf | Generative KI verstehen: Praktische Use Cases für Einkäufer mit Dr. Klaus Iffländer

Fabian Heinrich (00:01)
Hallo liebe Zuhörerinnen und Zuhörer zu einer weiteren Folge von Procurement Unplugged mit Dr. KI, Dr. Klaus Iffländer, wo wir in dieser Season künstliche Intelligenz tiefer beleuchten. Wir haben uns letzte Woche in der ersten Folge schon mal einiges angehört und angeguckt. Es ging vor allem darum, ist der Hype KI real? Inwiefern kann ich es bei meinem Unternehmen selbst anwenden?

Und wie kann ich mich selbst irgendwo auch abskillen? Heute in der Folge wollen wir dann wirklich detaillierter eintauchen in das Thema Einkauf. Also wie kann ich das im Einkauf anwenden? Was gibt es da für Thematiken in Bezug auf das Fachwissen? Man spricht ja immer von diesen ganzen tollen Modellen. Und hierbei geht es dann natürlich auch diese ganzen Buzzwords die man so hört.

Basismodell, RAG, Vektordatenbank, Datenbank, GenAI und so weiter. Unser Dr. KI wird hier bisschen Licht ins Dunkel bringen und uns genau sagen, was kann man wann wie anwenden, was funktioniert wann wie und wie können wir damit im täglichen Alltag dann in unseren Einkaufsprozessen umgehen und was können wir damit auch machen. Ja.

Klaus, viel der Vorrede von mir. Dann herzlich willkommen auch nochmal hier in der zweiten Folge bei uns.

Dr. Klaus Iffländer (01:39)
Ja, danke, herzlichen Dank. Genau, hast du ja schon anmoderiert. Perfekt. Heute geht es darum, wie man unternehmensspezifisches Fachwissen und Unternehmenskontext in so ein KI-Modell reinbekommt. Und ich glaube, das ist ein wichtiges Thema, weil das ja einerseits die KI-Modelle oder deren Unterstützung viel nützlicher macht, also viel viel hilfreicher auch für den Arbeitsalltag. Und zum anderen ist es auch immer so ein Thema, wo viel Unsicherheit herrscht bei den Leuten, weil man sich fragt:

Das ist ja proprietäres Unternehmenswissen, geheime Daten sozusagen. Was kann ich denn davon überhaupt rausgeben oder ist es überhaupt sicher, das mit einem KI-Modell zu benutzen? Und ich hoffe, wenn wir jetzt über die Themen sprechen werden, also RAG und Vektordatenbank und LLM-Training, dass diese Sachen vielleicht bisschen klarer werden, was da überhaupt geht erstmal vom Nutzen und wo es vielleicht auch gefährlich wäre, Daten rauszugeben und wo auch nicht. Aber Fabian, vielleicht kannst du erstmal erzählen, was für Fachwissen das genau geht im Einkaufsbereich.

Fabian Heinrich (02:53)
Ja, meine, haben ja in der ersten Folge sehr viel über Use Cases gesprochen. Diese wollen wir uns natürlich dann speziell hier nochmal angucken, welche Use Cases dann also BWL-Nutzen natürlich auch haben und auch dann im Einkauf ROI und Savings generieren, die vielleicht heute oder morgen schon funktionieren und welche Use Cases dann vielleicht dann auch Training oder weitere Technologien.

Da braucht man, man spricht ja in diesem Kontext auch viel von Vertical AI. Vielleicht hier nochmal auch nochmal für alle zum Verständnis oder auch für mich. Ich mein, diese sogenannten Basismodelle, was hat es mit diesen Aufsicht und wieso muss ich die jetzt noch weiter trainieren? Was können die? Wir haben ja in der ersten Folge schon mal gehört, die können zum Beispiel das bayerische Abitur mit 2,0 bestehen. Also was helfen mir diese ganzen Basismodelle?

Kann ich die vielleicht auch ohne einen Software-Lösungsanbieter anwenden? Wie muss ich die trainieren? Oder muss ich die vielleicht gar nicht trainieren? Das wäre vielleicht aller Anfangs noch mal spannend, da bisschen aufzuklären.

Dr. Klaus Iffländer (04:05)
Ja, auf jeden Fall. Also was man so kennt als die frei verfügbaren Tools wie zum Beispiel Chat GPT oder Anthropic Claude oder was gibt es noch? Google Gemini oder auch diese Open Source Modelle von Meta, also die Llama. Das sind die sogenannten Basis Modelle. Also alles, was so frei verfügbar ist. Die sind ja entweder frei zur Nutzung wie bei Chat GPT zum Beispiel.

Oder im Fall von Meta-Llama kann man sich sogar die Modellgewichte runterladen und die selber starten, wenn man die entsprechende Hardware hat. Das sind diese Basismodelle. Basismodelle heißen die deshalb, weil die immer auf öffentlichen Informationen trainiert sind. alles, was jetzt in großen... Medienpublikationen veröffentlicht wurde oder was man so auf Wikipedia auch finden würde. Das sind so die Art von Informationen, die diese Modelle kennen. Also damit wurden die trainiert oder erstellt sozusagen. Das bedeutet, die haben ein sehr breites, sehr umfangreiches Wissen.

Und man staunt, wie spezifisch das teilweise gleichzeitig ist. Weil alles, auf Wikipedia steht, ist ja teilweise sehr ausführlich dort beschrieben. Aber kein Mensch kennt ja alle Wikipedia-Seiten halt auswendig. Und diese Basismodelle tun das aber. Also die kennen sich halt in den Bereichen, wo die trainiert wurden, kennen die sich halt sehr, gut aus. Und diese Basismodelle sind eben sehr großzügig und breit trainiert. Und das Abitur, was du angesprochen hast, ist ja genau so eine Prüfung.

Das heißt ja auch allgemeine Hochschulreife, weil es eben sehr breit gefächertes Wissen abdeckt und darauf werden ja die Schüler dann auch getestet. Und deswegen macht es durchaus Sinn, dass so ein Basismodell, so eine Abiturprüfung eben auch gut bestehen könnte, weil da geht es ja darum in mehreren Bereichen, also Mathe, Deutsch, Englisch und alle möglichen Schulfächer, in denen man da geprüft wird, da halt ein sehr breites Wissen zu haben und diese Zusammenhänge auch zu verstehen und Probleme zu durchdenken, sodass man diese Aufgaben dann lösen kann oder Texte produzieren oder, weiß ich nicht, in Geografie irgendwelche Lage und örtliches Wissen zu haben. Genau, deswegen können Basismodelle sowas eben sehr gut lösen.

Auf der anderen Seite können Basismodelle genau deshalb natürlich bestimmte Sachen auch nicht lösen, weil sie es einfach nicht wissen können. Nämlich spezifische, also proprietäre, unternehmensspezifische Arbeitsabläufe oder unternehmensspezifisches Wissen. Weil wenn ich zum Beispiel eine Maschine im Unternehmen habe, um was zu produzieren, und diese Maschine wurde extra für mein Unternehmen gebaut und dort eingerichtet, dann steht es wahrscheinlich nicht auf Wikipedia oder sonst irgendwo, wie diese Maschine konstruiert ist und wie man die bedient, sondern das ist eben genau Wissen, was nur innerhalb eines Unternehmens oder dieses Unternehmens existiert.

Deswegen hat so ein Basismodell keine Chance, von diesem Wissen Kenntnis zu erlangen. Und deswegen kann es eben auch keine Fragen darüber beantworten. Es ist bestimmte Dinge, die man in Google, in der Suchmaschine auch nicht finden würde.

Fabian Heinrich (07:42)
Also habe ich ja schon endlich zwei Möglichkeiten jetzt hier im Einkauf. Ich kann auf der einen Seite sagen, vielleicht gibt es irgendwie Themen, die mit dem Basismodell schon funktionieren, ja, beziehungsweise oder bei Lösungsanbietern, die mir das Basismodell irgendwie verbessert anbieten oder es gibt einen Lösungsanbieter oder ich selbst trainiere das Basismodell entsprechend mit dem Fachwissen an. Ist das dann diese Vertical AI oder vertikale KI?

Dr. Klaus Iffländer (08:12)
Genau. Also wie man das genau dann gestaltet, da gibt es verschiedene Ansätze und Möglichkeiten. Aber prinzipiell ist es genau das. Also man integriert sich quasi in eine Funktion, also wie zum Beispiel die Einkaufsfunktion, wo dann funktionsspezifisches Wissen aufgebaut wird. Also im konkretesten Fall halt vom Unternehmen, also sehr, sehr konkrete Informationen. Oder dann ein bisschen allgemeiner ist, wie funktioniert Einkauf, wie funktionieren Einkaufsprozesse, was gibt es alles für Aufgaben, das ist dann halt das wissen über diese Funktion.

Fabian Heinrich (08:45)
Das ist dann schlussendlich der Hintergrund, wieso es Sinn macht, bei HubSpot oder Salesforce den Co-Pilot zu nehmen und nicht das eigene Chat GPT. Oder wieso es Sinn macht, bei Einkaufslösungen wie Mercanis den Co-Pilot zu nehmen und nicht das Chat GPT, weil diese Modelle dann schon mit den Fachdaten entsprechend antrainiert sind.

Dr. Klaus Iffländer (09:07)
Ja, ganz genau, oder was Microsoft mit dem GitHub Co-Pilot gemacht hat, das eben auf sehr viel Programmcode, also Quellcode trainiert wurde und dadurch ist dieses Modell dann auch sehr gut darin, neue Vorschläge für Programmierarbeiten zu liefern.

Fabian Heinrich (09:24)
Ja, ich meine wahrscheinlich sind die Hörer schon ganz gespannt, ich selbst ja auch. Ich es geht ja immer alles Anwendungsfälle, ja. Und da gibt es ja im Einkauf tausende Anwendungsfälle. Ich meine bin selbst ja auch seit vielen Jahren im Einkauf. Zum Beispiel jetzt irgendwie von Lieferantenbewertung über Lieferanten-Suche und Auswahl bis Bestellabwicklung. Wichtiges Thema ist immer Vertragsvergleich, NDA-Vergleich, Dokumentenabgleich, Einkaufspolicenabgleich oder auch jetzt irgendwo Themen wie jetzt Optimierung der Lieferantenleistung.

Also wenn wir da jetzt nochmal irgendwie ganz strukturiert reingucken auf diese Vielzahl an Anwendungsfällen im Einkauf, egal wie vortrainiert oder nicht, aber jetzt zum Beispiel jetzt mit einer Einkaufssoftware, wie jetzt immer Mercanis, wo könnte ich jetzt morgen loslegen und hätte morgen schon einen riesen Impact? Weil das mit quasi wenig Vortrainieren dann quasi auch sofort funktioniert.

Dr. Klaus Iffländer (10:35)
Ja, also mit wenig Vor-Training eigentlich immer da, wo viele Daten schon verfügbar sind. Also wo man halt viel Kontext und viel Wissen reingeben kann ins Modell. Also wenn wir uns jetzt im einfachsten Fall mal so vorstellen wie Chat GPT, ich würde das da rein kopieren ins Chat-Fenster, sagen, hier, sind meine Daten oder das sind meine Dokumente, die ich jetzt habe und ich muss die und die ... Dinge da jetzt raus extrahieren und das muss abgeglichen werden, sodass es halt z.B. tabellarisch vergleichbar wird. Mit solchen Dingen kann man auf jeden Fall starten.

Fabian Heinrich (11:11)
Also heißt es für mich, Anwendungen im Einkauf ist ja auch immer so ein Fall, irgendwie Vergleich von NDAs, wo sind die Unterschiede oder Vergleich von AGBs, wo sind die Unterschiede, Auslesen von Verträgen, das ist jetzt alles was wo du sagst, ok, wenn das jetzt ein Lösungsanbieter anbietet, das funktioniert, das kann man quasi morgen nutzen, weil das ist wenig Vortraining in dem Modell verlangt und da kann der Lösungsanbieter dann schon sehr gut auf das Basismodell aufsetzen.

Dr. Klaus Iffländer (11:41)
Ja, ich denke, so Dokumente bieten sich gut an, weil man da oft wenig Hintergrundwissen benötigt. Also wenn du dir vorstellst, eine Datenbank zum Beispiel, die aus Tabellen und mit Zeilen und Spalten besteht, da muss man immer ganz genau wissen, was diese Tabelle jetzt genau darstellt. Und in so Dokumenten, so Fließtext wie Vertragsdokumente oder NDAs, da steht es sehr explizit dabei. Da gibt es eine Überschrift, die sagt, hier steht im nächsten Absatz das und das. Dann stehen da die Sätze und das Sprachmodell ist in der Lage, Informationen ohne Weiteres zu verarbeiten.

Es muss nicht groß vortrainiert werden, sondern kann es direkt abgleichen. Und, weil du jetzt NDA zum Beispiel erwähnt hast, also Non-Disclosure Agreement, da könnte man solche Use Cases machen wie, stell dir vor, du hast so einen Standard, Unternehmens-NDA, der halt deine Referenz ist. Also vielleicht mit dem unternehmenseigenen Anwalt erarbeitet und das ist sozusagen immer die Referenz. Und ein Lieferant hat aber vielleicht einen anderen Referenz-NDA und gibt halt den unterschrieben ab. Dann könntest du den abgleichen und schauen, ob der strenger ist oder genau das gleiche abdeckt wie dein eigener NDA oder vielleicht laxer und an welchen Stellen du da vielleicht noch nachbessern müsstest.

Also, solche Informationen können Sprachmodelle auf jeden Fall extrahieren. Also die verstehen, was ein NDA ist, die verstehen die konkreten Paragraphen, die da drin behandelt werden und sind auch in der Lage, das Gegeneinander abzugleichen. Also für solche Sachen eignet sich das sehr gut.

Fabian Heinrich (13:19)
Das heißt, für mich jetzt gesprochen oder für die Einkäufer, überall, wo es standardisierte Formate geht oder Dokumente, ich einen Standard setzen kann, wie eine AGB oder ein NDA, dort brauche ich eigentlich keinen Datenbedarf von mir mitbringen, außer das Anführungsstrichen stehen "Musterdokument" und kann dann morgen loslegen, weil das ganze Thema schon relativ austrainiert ist.

Dr. Klaus Iffländer (13:47)
Genau, weil da geht es ja gerade um Sprache, also diese Dokumente sind natürlich ein bisschen juristisch formuliert, aber trotzdem in natürlicher Sprache verfasst. Also es ist kein Code oder keine Datenbanktabelle. Und deswegen sind eben Sprachmodelle auch quasi out of the box in der Lage, das zu verarbeiten.

Fabian Heinrich (14:06)
Ich meine, ein anderes großes Thema, das weiß ich ja selbst am besten, habe ja auch Scoutbee gegründet, ist ja immer diese Lieferanten-Suche. Da fragen ja auch bei uns viele Kunden, wenn man das jetzt im Chat GPT eingibt, dann sind die Resultate immer eher bisschen mäßig, jetzt für so ein KI Co-Pilot oder jetzt so ein Modell, dass man das Ganze jetzt einfach mal in einer Lösung wie Mercanis abbildet. Wie würde es sich da verhalten?

Dr. Klaus Iffländer (14:34)
Ja, da ist es bisschen komplizierter. Man kann jetzt natürlich so ein Sprachmodell damit beauftragen, einfach neue Lieferanten zu finden. Und es kann sicher auch Suchmaschinen bedienen, so wie wir das auch können und diese Ergebnisse interpretieren. Ich glaube, das ist nicht die große Hürde, sondern das Schwierige ist dann, das wirklich auch sinnvoll zu machen und mit dem Unternehmenskontext zu integrieren. Also wenn wir uns so etwas vorstellen wie Lieferanten für ein Standardprodukt, wie zum Beispiel eine Verpackung, also Kartonnage, dann wäre es ja interessant zum Beispiel Lieferanten zu finden, die in der Nähe sind, damit ich nicht so weite Transportwege habe, dabei der Logistik effizient zu bleiben.

Und so ein typischer Fall wäre, dass man dem Sprachmodell dann zum Beispiel mitgibt oder irgendwie zu verstehen gibt, wo denn der eigene Unternehmensstandort ist oder wo dann das Material hingeliefert werden soll. Und das geht dann schon in Richtung Retrieval Augmented Generation, weil im einfachsten Fall würde ich ja das Sprachmodell fragen:

"Bediene die und die Suchmaschine meiner Wahl und finde mir neue Lieferanten." Und im zweiten Schritt würde das dann noch mehr Recherche betreiben, dann da noch mehr Informationen über diese Unternehmen herauszufinden. Aber, um zum Beispiel diese Lieferwege einschätzen zu können, muss ich ja dem Modell irgendwie mitgeben, wo mein eigenes Unternehmen ist. Und das wäre ja so eine... so eine Information, die ich quasi in den Prompt rein geben würde, also in diese Anfrage.

Fabian Heinrich (16:15)
Und wenn wir jetzt weggehen von der Logistik, ich will ja quasi als Category Buyer immer quasi Lieferanten, die ähnlich gut sind wie meiner, beziehungsweise die gleichen Charakteristiken haben oder vielleicht sogar besser sind als mein aktueller Lieferant, besser im Sinne der Qualität, besser vielleicht im Sinne des Preises. Kann ich mit diesen Daten dann auch arbeiten, dass ich quasi die ganzen Charakteristika meines aktuellen Lieferantendatenstammes irgendwie anonymisiert verarbeite und dadurch dann weil quasi besser die Verlangen bekommen oder wie verhält sich das damit?

Dr. Klaus Iffländer (16:50)
Ja, prinzipiell schon. Es hängt natürlich dann sehr viel an den Daten, ob man diese Daten hat. Und ich nehme an, für die eigenen bestehenden Lieferanten wird man diese Daten sicherlich erheben, die werden vorhanden sein. Weil historische Liefertreue oder so ist ja das erste, was man danach verfolgt. Aber für neue Lieferanten hat man dann natürlich keine Historie zur Verfügung. Also da könnte man höchstens dann mit dem Lieferanten zusammenarbeiten, solche Dinge herauszufinden.

Aber für die bestehenden Lieferanten könnte das auf jeden Fall ausgewertet werden. Man könnte das Sprachmodell bitten: "Schau dir meine aktuellen Lieferanten an und werte die Liefertreue aus" oder Kosten oder sonst irgendwelche Performancemetriken. Und die erst mal zusammenfassen, dass man überhaupt das erst mal in der Übersicht hat und dann darauf basierend neue Lieferanten suchen.

Sodass man im nächsten Schritt mit diesen potenziellen Lieferanten daran arbeiten kann, eine bessere Performance zu erzielen. Also so würde ich da rangehen. Man muss halt auch schauen, wie der Prozess dann weiter...

Fabian Heinrich (18:00)
Das kann ja auch ein Anwendungsfall sein im Bereich des Risikomanagements, wenn ich irgendwie mein Siblaidchen aufgebaut habe, dass irgendwie meine Semiconductor-Lieferanten in Taiwan alle sitzen und ich jetzt sage, das politische Risiko mit Taiwan ist zu hoch, dass ich dann dem Modell sage: "Hey, das sind heute meine Lieferanten, die ich da in Taiwan beauftragt habe, gibt es ähnliche Lieferanten in der EU oder in Südamerika?" Das würde dann funktionieren.

Dr. Klaus Iffländer (18:29)
Genau, also solche Recherchen können Sprachmodelle auf jeden Fall anstellen, weil das ja für die meisten Lieferanten nicht wahnsinnig schwierig ist, herauszubekommen, wo der Standort ist. Und diese Informationen dann wieder in Kontext zu bringen mit den politischen Risiken bestimmter Länder und Standorte. Also solche Zusammenhänge können Sprachmodelle auf jeden Fall herstellen.

Fabian Heinrich (18:50)
Das wäre dann große Benefit von Vertical AI, dass man sagt, diese Zusammenhänge können jetzt im Kontext der Lieferantenbasis, im Kontext des Thema Procurement entsprechend hergestellt werden.

Dr. Klaus Iffländer (19:04)
Genau, das könnte man mit verschiedenen Trainingsmethoden erreichen. Oder man nimmt zum Beispiel dieses Retrieval Augmented Generation, was jetzt in aller Munde ist, weil das eben so ein... use-gänes Übungsgerät

Fabian Heinrich (19:16)
Bevor wir darauf noch eingehen, wir darauf noch eingehen, ich meine, es gibt ja dann am anderen Ende des Spektrums vielleicht noch Cases, die vielleicht gar nicht funktionieren oder vielleicht funktionieren die mit dem Retriever Augmented Generation auch. Also ich denke mir immer Lieferantenentwicklung. Riesenthema, wenn ich besser mit meinen Lieferanten arbeite, dann kommt vielleicht auch mehr Qualität bei rum, warum kann ich die auch irgendwie entwickeln? Gibt es ja das ganze Thema auch Maßnahmenmanagement im Bereich Lieferantenentwicklung.

Man spricht ja auch vom Supplier Lifecycle Management. Das ist für mich natürlich schon sehr strategisch bzw. schon sehr, sage ich mal, auch auf menschlicher Ebene basierend. Also das sind ja alles menschliche Beziehungen. In diesen Themen könnte da jetzt irgendwie generative KI und diese Large Language Models auch helfen oder ist das jetzt ein Thema, wo du sagst, da brauchen wir gar nicht anfangen, da ist irgendwie nichts vortrainiert, der Datenbedarf quasi unendlich hoch.

Und da sollte man sich dann besser auf die menschlichen Beziehungen verlassen?

Dr. Klaus Iffländer (20:23)
Naja, generell im professionellen Unternehmen sollte man sich wenig auf menschliche Faktoren erstmal verlassen. Aber ich glaube, da können LLMs nur sehr begrenzt helfen. Also ich glaube, wären die Empfehlungen halt sehr generisch. Na ja, du würdest ja, so eine Entwicklung voranzubringen, würdest du ja zum Beispiel dem Sprachmodell jetzt eine Frage stellen: "Wie kann ich die Performance verbessern?"

Genauso generisch, wenn man die Frage stellt, werden dann auch die Antworten. Das LLM würde wahrscheinlich versuchen, mit dir zusammen herauszufinden, wo denn die Performance-Probleme liegen und Ansätze zu finden, wie man die verbessern kann. Aber ohne den Lieferanten und deine Beziehung zu dem konkret zu kennen, kann dir das Sprachmodell ja keine konkreten Vorschläge liefern.

Also es kann natürlich versuchen, dir vorzuschlagen, die Logistikwege zu verkürzen, die Lieferzeiten zu verringern oder den Preis noch mal zu behandeln, die Kosten runterzubringen. Aber es sind halt sehr generische Maßnahmen, die jetzt quasi auch deine und meine erste Idee wären.

Fabian Heinrich (21:30)
Mmh.

Ne, gut, also ich meine, jetzt da die letzten 10-15 Minuten nochmal zusammenzufassen, die Anwendungsfälle sind ja immer sehr gefragt, dann würde ich sagen, haben wir jetzt irgendwie so diese drei Stufen so gesehen. Wir haben einmal diese Themen, wo quasi Basismodelle fast schon komplett austrainiert sind, wo ich dann auch kaum oder gar keinen Datenbedarf brauche, dass immer wenn es irgendwie standardisierte Vorlagen geht, wenn es Dokumente geht, Rechnungen, NDAs,

AGB ist, da muss ich einfach vielleicht mein Standard hinterlegen oder dem Modell sagen, ist mein Standard und dann kann ich da natürlich die Analysen und Abweichungen dann bekommen und kann da eigentlich schon morgen loslegen. Zweites Thema wäre dann dieses teilweise vortrainiert mit Mittel- und Datenbedarf. Den Mittel- und Datenbedarf kann ich ausgleichen, wenn ich da mit vertikaler KI zusammenarbeite, also quasi bei Lösungsanbieter, die in dem Themenfeld verankert sind und dann diese Basismodelle für mich entsprechend schon vortrainiert hatten.

Also da war das Beispiel Lieferanten-Scouting, Lieferanten-Suche von neuen Lieferanten und dritter Punkt war dann von dir noch das Thema mit wo es vielleicht dann doch nicht funktioniert, wo man dann vielleicht die freigeschaufelte Zeit von aus den ersten beiden Newscales ja nutzen kann, dann strategisch diese Themen zu bespielen. Das kann ja dann auch eine Lösung sein, dass man eben den Zeitgewinn strategisch dann einsetzt für Themen wie die verratene Entwicklung.

Ja, Klaus, du hast jetzt öfter das Zauberwort RAG oder LAG angesprochen und wolltest ja auch schon zu einer Erklärung ausführen, weil das scheint ja anscheinend das große Thema zu sein, wie ich dann zu dieser vertikalen KI komme und diese KI dann schlussendlich mir in meinem Kontext, in meinem Fachbereich Einkauf die richtigen Sachen ausspuckt, ist ja dann auch, wenn man sich jetzt ein bisschen aus dem Nähkästchen plaudern will, das was im Mercanis des Co-Piloten steckt. Also vielleicht kannst du da nochmal ein paar Ausführungen geben und da wirst du nicht ins Dunkel bringen, was es mit dem Zauberwort RAG auf sich hat.

Dr. Klaus Iffländer (23:52)
Genau, der Name erklärt es eigentlich schon fast. Retrieval heißt ja irgendwas abholen oder sich halt holen, üblicherweise aus einer Datenbasis. Und was beim Retrieval Augmented Generation passiert, ist einfach nur, dass die Antwort oder das, das LLM an Verständnis und Antwort mitbringt, dass das angereichert wird mit eigenen Daten, also mit dem, was aus dem vorangegangenen Retrieval rauskommt.

Muss man sich jetzt in der Praxis so vorstellen, dass das LLM halt nicht generisch antwortet, also nicht einfach eine Antwort gibt auf Basis einer Anfrage, sondern dass schon die Anfrage oder die beim Erstellen der Antwort der ganze denkprozess sozusagen, dass der schon angereichert wird mit unternehmenseigenen Daten. Also stell dir vor, du hast so einen Customer Service Agent und der Kunde möchte wissen, ja wann kommt denn meine Bestellung an? Dann kann man aus dieser Konversation schon die Kundennummer extrahieren und die Bestellnummer finden und dann kann man quasi das LLM spezifischer fragen.

Wann kommt denn die Lieferung zu dieser Bestellnummer? Es ist nicht einfach die Anfrage, wann kommt meine Bestellung, so wie es jetzt formuliert wurde, sondern es wird im Hintergrund gleichzeitig noch Informationen aus der Datenbank geholt und dann zu dieser konkreten Bestellung das Lieferdatum zum Beispiel abgefragt. Und dann kommt erst der Generation Schritt, die Generierung der Antwort, die dann schon mit diesen Informationen angereichert ist. Also bei dem Erstellen der Antwort weiß das Modell dann schon, wer der Kunde ist, welche Bestellung das geht und wann die geliefert wird und kann dann halt sagen, diese Lieferung erfolgt an so und so Viertem.

Also so funktioniert Retrieval Augmented Generation. Das ist natürlich so ein relativ einfaches Beispiel, aber in vielen der Use Cases, die wir jetzt schon angesprochen haben, funktioniert es halt analog. Also du kannst halt genauso Daten abfragen zu den Lieferanten, was die Performance zum Beispiel betrifft, und darauf basierend dann Antworten formulieren, die das zum Beispiel in Worte fassen oder überhaupt zusammenfassen oder nochmal anders darstellen, sodass du vielleicht besser vorbereitet bist für deine Verhandlungen mit den Lieferanten im Jahresgespräch. Also solche Dinge kann man damit realisieren.

Fabian Heinrich (26:25)
Ja, meine für mich jetzt noch als Frage, ich meine man hört das dann, wenn man sich da mehr einliest, dann oft im Zusammenhang mit Vektordatenbanken, ist das dann die nächste Weiterentwicklung oder wie hat das dann eben in Vektordatenbanken, die gibt es ja auch schon seit Jahrzehnten, wie spielt das dann zusammen? Vielleicht könntest du da den Kreis noch schließen.

Dr. Klaus Iffländer (26:45)
Ja, kann man so sehen. Unzwar ist es ja so, dass die ... ... also dieses Beispiel, was ich gerade gemacht habe ... mit dem Customer Service Agenten, ... da geht es ja nur eine Information. Nur die eine Bestellnummer ... ... und das eine Lieferdatum vielleicht noch. Aber oft ist es ja so, dass man ... größere Datenmengen ... verarbeiten muss, um sinnvolle Antworten zu geben. Zum Beispiel die Performance ... aller deiner ... Lieferanten aus einem bestimmten Bereich im letzten Quartal oder so.

Diese Informationen dann in den Prompt, also in die Anfrage ans LLM, dann mit reinzubringen, wird dann zu groß, weil die LLMs immer nur ein begrenztes sogenanntes Kontextfenster haben. Also die können nur eine bestimmte Anzahl Informationen aufnehmen, bevor sie die Ältesten davon wieder vergessen und das quasi aus der Unterhaltung gelöscht wird. Da kannst du dich dann nicht mehr darauf beziehen, weil die LLMs das einfach vergessen. Wenn aber deine Informationen größer werden als dieses Kontextfenster, dann sind Vektordatenbanken ein guter eine gute technische Lösung dafür.

Weil da kannst du halt viele Daten reingeben, vor allem auch textbasierte Daten. Die werden dann umgewandelt in eine Zahlenrepräsentation, da gibt es halt verschiedene Ansätze, wie das gemacht wird. Auf jeden Fall kannst du halt große Textmengen da reingeben. Die werden umgewandelt in eine numerische Repräsentation und die ist wieder sehr gut zugreifbar für Sprachmodelle. Also die können dann da drin nach bestimmten Textstellen zum Beispiel suchen. Also stell dir vor, du gibst deine ganzen Verträge da rein, alle Verträge, du mit Lieferanten geschlossen hast und hast sie dann in der Vektordatenbank gespeichert.

Das ist einfach eine andere Art von Datenbank. Nur, dass die halt insbesondere sehr effizient ist, wenn es darum geht, bestimmte Textstellen dann wiederzufinden. Also du kannst erstens diese Vektor-Datenbank dann benutzen, dem LLM bestimmte Zusammenhänge beizubringen und bestimmte Informationen kenntlich zu machen. Und dann kannst du das LLM dazu befragen.

Also du kannst dann fragen: "Wann läuft mein Vertrag mit dem Lieferanten XY aus und wann müsste ich den kündigen oder wie kann ich den verlängern?". Und solche Dinge kann dann das LLM beantworten, indem es Zugriff hat auf die Vektor-Datenbank und das dann auch unabhängig von dem Kontextwenns da. Und das kann dir dann sogar genau die Stelle zitieren aus dem Vertrag, weil es eben in der Vektor-Datenbank genauso sehr effizient gesucht werden kann. Deswegen wird es halt oft im Zusammenhang mit LLMs benutzt, weil es ihm genau diese Kontextfensterbeschränkungen umgeht und einfach gut geeignet ist für sprachliche Dokumente.

Fabian Heinrich (29:36)
Ja, Klaus, sehr spannend. Jetzt sind wir quasi einmal die ganze Reise durch, in Anführungsstichem "vom generellen Basismodell", das das bayerische Abitur absolviert, über quasi die Anwendungsfälle, die man heute im Einkauf machen kann, beziehungsweise Stichwort Vertical AI, was es damit auf sich hat, wie man dann auf das Einkaufsfachwissen das Ganze anwenden kann, welche Anwendungsfälle man hier unternehmen kann.

Und ja, vielen Dank, dass du jetzt da nochmal aufgeklärt hast, was es mit diesem Buzzword RAG auf sich hat und wie man das dann noch irgendwie boosten kann, ich jetzt mal salopp, mit Vector-Datenbanken. Also, habe mich wieder mal sehr gefreut mit dir, war wie immer sehr erkenntnisreich. Ja, vielen Dank. Du hast schon ein bisschen gespoilert für die nächste Folge, du hast schon ein paar Mal erwähnt, Agenten. Also, in nächsten Folge wird es Agenten gehen.

Es nichts mit Spionen zu tun. Es sind de facto KI-Agenten. Wir freuen uns wieder sehr auf euch kommende Woche.