Buzzwordbingo entschlüsselt - Achtung, diese Folge ist klausurrelevant

00:00:12: Herzlich willkommen zurück bei der neue Berater, dem Podcast von Beratern für Berater.

00:00:17: Folge zwei unserer Mini-Serie zu AI im Consulting.

00:00:20: Wir sind Patrick und Jonas.

00:00:22: Heute wird es technisch als in Folge eins aber wir bleiben pragmatisch.

00:00:26: Es geht also nicht darum AI zu programmieren sondern sich im Dschungel der Fachbegriffe zurechtzufinden Und bei der nächsten Gelegenheit das Buzzword Bingo zu gewinnen.

00:00:35: Das Ziel ist am Ende dieser dreißigvierzig Minuten habt ihr ein klares Bild.

00:00:39: Was ist Gen AI?

00:00:41: Was ist Agentik AI und wo liegt der Unterschied zwischen einem Assistenten und einem Agenten.

00:00:46: Und warum ist das für es Beratungsgeschäft entscheidend?

00:00:50: Hallo Jonas!

00:00:58: Und das ist der zweite Teil, wohin entwickelt sich das Ganze gerade?

00:01:13: Für den Kontext und Auslöser für diese Folge mittlerweile in jedem zweiten Kundengespräch fällt so der Begriff Agent.

00:01:21: Meistens meint die Person etwas anderes als wer dem Begriff voll benutzt hat.

00:01:24: So da brauchen wir definitiv Klarheit!

00:01:26: Ja denn dass nicht verstehen dieser Begrifflichkeiten führt zu zwei typischen Fehler an.

00:01:31: Erstens man überschätzt die AI und glaubt jeder Antwort und zweitens man unterschätz sie und nutzt die Vieh zu defensiv.

00:01:40: Und ich glaube, dass überschätzen das ist was viele Leute, die schon mit Mandanten sie unterhalten über AI oft erleben, dass die Erwartungshaltung ist, dass jetzt alles mit einem Knopfdruck erledigt ist... ...und umgekehrt gibt es eben auch die Leute, der sagen Nein!

00:01:53: Furchte Binde geh mir weg mit dem AI Bullshit.

00:01:56: aber beides kostet Geld denn man lässt einerseits dass man Effizienz gewinnen liegen oder andererseits verlässt man sich vielleicht auf etwas was dann so nicht eingehalten werden kann.

00:02:05: Das Beides vermeidbar.

00:02:06: Und der dritte Fehler, der gerade explodiert ist das Begriffe vermischt werden.

00:02:11: Also man dann kauft AI Agent bekommt aber ein Chatbot oder der Berater verkauft eine GenAI Use Case Lösung und baut aber eigentlich einen Agenten.

00:02:20: Die Begriffs sind nicht austauschbar.

00:02:22: also heute keine Tool Demos Aber es geht um Konzepte hinter den Tools und die Sprache in der ja die nächsten zwei Jahre sagen wir mal die nächsten paar Monate zumindest über AI gesprochen werden wird.

00:02:33: Ja, seit mindestens einem Jahr und mindestens die nächsten Monate.

00:02:36: Definitiv!

00:02:38: Ich übernehme heute in dieser Folge so ein bisschen den taktiven Teil.

00:02:42: Im Grunde erkläre ich die Konzepte zusammen mit Patrick.

00:02:45: Und ja, Patrick stellt halt eben hauptsächlich die Fragen, die jeder Berater momentan im Hinterkopf hat.

00:02:49: ist das auch wichtig.

00:02:50: Wenn nicht zu nördig werden sollte, Patrick korrigiert mich hier und bringt mich runter.

00:02:54: Das hat er versprochen.

00:02:55: Ja mal sehen ob ich das dann einlädt weil ich ja schon interessiert bin und wie ich diene.

00:03:01: aber gerne als Stichwortgeber

00:03:02: Ja, ja.

00:03:03: Nicht nur das bitte!

00:03:04: Also wir bleiben definitiv so konkret wie möglich ganz wichtig auch mit Beispielen eben aus echten Projekten und Tools die ihr alle kennt.

00:03:12: Vier zentrale Begriffe für die Struktur der heutigen Folge im Grunde Wahrscheinlichkeit.

00:03:17: Wir werden über Halluzination sprechen Gen AI Agentik AI Und dazu noch relativ wichtig eine saubere Trennung zwischen einem Assistant und einem Agenten.

00:03:25: Das sollte reichen für heute

00:03:27: Ja, das reicht.

00:03:28: Also die wichtigste Erkenntnis ist eigentlich, AI ist nicht das was die meisten denken, was es ist?

00:03:33: Die ist kein schlauerer Computer und sie ist jetzt kein Internet mit sofort Antwort also ein besseres Google.

00:03:39: Sie ist aber auch keine Datenbank.

00:03:41: Was sie ist Und was das für ihre Arbeit bedeutet Das schauen wir uns jetzt an.

00:03:46: Lass uns mal loslegen

00:03:47: Sehr gerne!

00:03:48: Lasst uns mit der ersten These loslegen Wie im Grunde besagt dass AI keine Datenbanken ist sondern AI ist wie eher eine Wahrscheinlichkeitsmaschine.

00:03:57: Lass uns dafür ganz vorne anfangen, wenn die meisten User oder gerade eben Berater AI nutzen denken sie okay das ist wie Google nur eben besser oder auch dass es eine sehr schlaue Datenbank?

00:04:10: im Grunde ist.

00:04:11: beides falsch denn eine Datenbank weiß Dinge.

00:04:16: wenn ich frage zum Beispiel was ist die Hauptstadt von Deutschland dann steht am Eintrag Berlin.

00:04:22: Das ist sozusagen Deterministisch.

00:04:25: Ein LLM, also ein Large Language Model wie zum Beispiel Claude oder JGPT weiß im klassischen Sinne gar nicht.

00:04:32: Patrick sagen wir eigentlich Claude?

00:04:34: Oder wird es anders ausgesprochen?

00:04:37: Also ich sag Claude, ich sage manchmal auch eher Claude.

00:04:42: Ich möchte auf keinen Fall Claude sagen das finde ich das klingt zu primitiv.

00:04:48: und Claudet oder wie man das sagt, den spanisch möchte ich auch nicht sagen.

00:04:51: Also lass uns mal auf Claude bleiben so... Und wenn es falsch ist dann soll uns bitte jemand das schreiben der bei Claude arbeitet oder bei Anthropik?

00:05:01: Die nächste Ding was ich nicht aussprechen kann.

00:05:03: Anthropic!

00:05:04: Ja

00:05:06: okay

00:05:06: also zur Aussprache.

00:05:08: da möge man uns verzeihen wenn wir nicht francophil genug sind um Claude zu sagen.

00:05:14: ganz kurz nochmal zum Thema zurück.

00:05:15: du sagst des Rät.

00:05:18: Also,

00:05:19: ja genau.

00:05:19: Rein

00:05:19: gefühlt stimmt das nicht weil ich frag die, ich frage Claude was und krieg dann eine Antwort die stimmt ja fast immer.

00:05:25: also sie stimmte zu zu fünfundneunzig Prozent.

00:05:28: Das ist noch kein Rade.

00:05:28: Ja

00:05:29: also Claude oder JGPD weiß im klassischen See eben nichts.

00:05:32: Sie redet halt eben dass es das was du gesagt hast.

00:05:35: aber technisch ist es eben genau das.

00:05:37: Es ist halt raten.

00:05:38: was einen LNM als ein large language model eben macht is sie schaut sich dein input an also etwas was du schreibst und sagt dann Das nächste wahrscheinlichste Wort hier ist X. Dann das Nächste, dann das Übernächste.

00:05:51: Dann dass Nächte.

00:05:52: Token für token und das Ganze funktioniert halt autoriges Rief.

00:05:55: Also sie hat in den Trainingsdaten zig Billionen sogenannte Tokens also gigantische Textmengen sozusagen als Muster gelernt.

00:06:03: um zum Beispiel zurückzukommen die Hauptstadt von Deutschland ist mit sehr hoher Wahrscheinlichkeit eben Berlin kommt.

00:06:09: deshalb sagt sie nun mal Berlin aber Sie weiß es nicht dass das Berlin im Grunde die Hauptstatt ist.

00:06:12: der hat nur eine Wahrscheinlichigkeit gelernt.

00:06:15: Ja, das erklärt vielleicht so eine Sache die einige schon erlebt haben und zwar wenn man die AI fragt gib mir bitte fünf Quellen zu dem und dem Thema.

00:06:23: Und dann bekommt man fünf perfekte Quellen mit Zusammenfassung geliefert.

00:06:27: aber tatsächlich merkt man oh okay aber zwei davon gibt's gar nicht.

00:06:31: Das sind ja komplett erfunden.

00:06:33: Das hat es noch nicht gegeben.

00:06:35: Da ist man einigermaßen fassungslos weil man dann alles in Frage stellt denn da sieht alles gleich aus als Output.

00:06:40: Du siehst ok, Kohler eins, zwei drei vier fünf und zwei und vier sind zum Beispiel falsch und dann kriegt man es wieder mit der Angst zu tun.

00:06:48: Das ist eben kein Bug, sondern so funktioniert das System.

00:06:53: Die Maschine hat in den Trainingsdaten gelernt, wenn wir über fünf Beispiele reden lassen z.B.

00:07:00: BGHO-Teile nehmen.

00:07:04: Die Maschine hat in dem Fall, in den Trainingsdaten gelernt wie BGHO-Teile aussehen.

00:07:08: Zu jedem BGHo-Teil gehört auch ein Aktenzeichen.

00:07:11: Dementsprechend hat sie gelernt, wie Akten Zeichen aufgebaut sind ebenso wie eine Begründung formuliert wird und die Maschine oder das LLM produziert dann etwas das wahrscheinlich aussieht aber ganz wichtig ist eben war oder nicht wahr es eben nicht ihre Kategorie Klausibilität schon so?

00:07:27: wenn du das einmal verstanden hast dann schaust Du und solltest Du auch jeden AI Output ein bisschen anders anschauen.

00:07:33: Ja, und das ist im Grunde auch der massive Unterschied zu klassischer Software.

00:07:36: Also wenn ich in Excel eine Formel reinpacke dann weiß ich... Der gleiche Input ergibt den gleichen Output und zwar immer immer wieder egal wer das ausführte und egal wann ich das ausführe.

00:07:46: Ich kann es hundertmal machen und das Ergebnis ist identisch.

00:07:49: Bei einem LLM kannst du den exakt gleichen Prompt zweimal abschicken Und bekommst nicht immer das gleiche Ergebnis Und mal sind die unterschieden dann ganz klein Mal sind sie aber auch ziemlich groß.

00:08:03: Das ist ein selb wichtiger Punkt.

00:08:04: Und das ist eben die fundamentale Trennlinie, die jeder Berater definitiv im Kopf haben sollte.

00:08:10: Wir sprechen über Determinismus versus Wahrscheinlichkeit.

00:08:14: Stell dir vor, Excel eine SQL-Datenbank oder einen Taschenrechner zum Beispiel sind eben deterministische Systeme.

00:08:23: Die sind eindeutig!

00:08:24: Währenddessen wenn wir über Large Language Models sprechen... ...das ist nun mal probabilistisch.

00:08:30: Stell dir vor, es wirfelt innerhalb eines sehr engen Korridors.

00:08:34: Aber es wirfelt so und das hat halt wirklich brutale Konsequenzen für unsere Arbeit und für jeden der EI benutzt also eine Beratungsempfehlung die auf einem haluzinierten WGH-Uhrteil basiert zum Beispiel ist nicht falsch wegen schlechter Daten.

00:08:49: sie ist falsch wegen der Natur des Werkzeugs in sich.

00:08:52: Das glaube ich auf den Punkt wo viele beraten momentan auch die Schnauze fallen.

00:08:57: Die geben einfach ungeprüft bestimmte AI Outputs ab.

00:09:01: Das ist

00:09:02: beim Mandanten und ich glaube, das auch eine große Gefahr ist.

00:09:04: nicht unbedingt dass das Ding Nicht immer hundertprozentig richtig ist sondern auch dass wir es nicht vernünftig überprüfen.

00:09:11: Und auch die mandanten haben verstanden dass AI schnell ist aber sie haben halt nicht unbedingt Verstanden dass Sie nicht einhundert prozentig deterministisch und zuverlässig ist sondern dass sie Wahrscheinlichkeiten berechnet.

00:09:23: und wenn jetzt jemand kommt im Vorstand und sagt, das haben wir mit ChatGPT recherchiert.

00:09:29: Und dass es dann als Fakt weiter gibt, kann es sein, dass das eben zu teuren Konsequenzen führen kann?

00:09:37: Deswegen sollte man auch vorsichtig sein, wenn man zum Beispiel die AI einfach mal eine rechtliche Einordnung schreiben lässt oder wenn man die AI fragt, ich habe eine Stelle am Rücken... Was hab' ich denn jetzt für eine Krankheit?

00:09:50: Das kann falsch sein was sie einem sagen!

00:09:51: Genau, für uns als Berater heißt das eigentlich zwei Sachen.

00:09:54: Erstens, wir können diese Tools brillant nutzen.

00:09:57: Aber wir müssen eben auch verstehen, wofür wir sie einsetzen dürfen und eben wo nicht?

00:10:01: Also zweitens wenn der Mandant naiv mit der Maschine oder mit der KI arbeitet, können wir genau dafür wieder gebraucht werden.

00:10:08: Nicht für die Recherche sondern ja eben für die Validierung.

00:10:12: das ist definitiv eine neue Form von Beratung dies vor einem Jahr oder zwei Jahren bestimmt noch gar nicht gab.

00:10:20: Ja wir haben vorhin ja das Beispiel von Berlin gebracht Deutschland.

00:10:25: Und wenn das jetzt falsch wäre, was die AI ausgibt weil sie eben nicht deterministisch ist sondern mit Wahrscheinlichkeiten arbeitet, nennen wir das häufig auch Halluzination.

00:10:35: also das kennt ja jeder.

00:10:36: das Wort hat mittlerweile auch bei ihm angekommen dass das passieren kann und es ist einer meiner Lieblingspunkte weil ich habe dann eine Weile gebraucht um das zu verstehen.

00:10:46: vielleicht könntest du noch mal erklären was eine Halluznation wirklich isst Und was es bedeutet, wenn ein LLM halluciniert?

00:10:56: Ein LLm sagt jetzt zum Beispiel Berlin ist die Hauptstadt von Deutschland.

00:11:01: Okay das ist soweit richtig.

00:11:04: Ein Llm sagt dir auch beispielsweise einen BGH-Uhrteil vom fünften März zwei tausend siebzehn stelle vor mit dem Aktenzeichen XYZ.

00:11:13: So und das ist jetzt erfunden Aus Sicht der KI oder der Maschine ist das im Grunde exakt derselbe Vorgang.

00:11:19: Sie hat in beiden Fällen Und das ist eben wichtig, ja?

00:11:22: Das nächste plausible Token vorhergesagt.

00:11:25: DEI hat keinen inneren Wahrheitsdetektor also funktioniert es nicht.

00:11:29: der sagt dann okay Moment hier wird's eng das weiß ich nicht.

00:11:32: sie produziert immer weiter.

00:11:33: Also heißt eigentlich die Halluzination keine Ausnahme sondern die halluziniert eigentlich grundsätzlich immer.

00:11:38: nur manche Halluzinations sind richtig und andere sind einfach falsch.

00:11:43: Ja, genau das ja!

00:11:45: Und das ist eben auch eine Erkenntnis die viele User oder Berater erst nach dem dritten oder vierten Schockerlebnis verstehen.

00:11:50: Ich meine wir hatten alle diese Schocken.

00:11:52: Wenn du eine bekannte oft vorkommende Frage stellst, ist die Wahrscheinlichkeit sehr hoch dass das wahrscheinlichste Wort auch das richtige Wort ist.

00:12:01: Ebenso bei seltenem oder spezifischen Wissen wird genau in dieser Lücke zwischen wahrscheinlich und wahr plötzlich riesig.

00:12:10: Das ist so ein bisschen die Bohrante, genau da werden wir Berater gerade eben eingesetzt in diesen Lücken mit sich halt nicht mehr für das Allgemeinwissen.

00:12:18: Lass uns mal konkret werden.

00:12:19: also wenn ich jetzt zum Beispiel ChatGPT aufmache den Chat öffne und einfach sage was ist denn wie die Bilanz Summe von Volkswagen im Jahr zwei tausend dreiundzwanzig gewesen?

00:12:26: Kann die KI das jetzt herausfinden?

00:12:28: für mich oder würdest du das anders machen?

00:12:30: Ja ein oder eher gesagt vielleicht, vielleicht hat sie es... Dem konkreten Fall in den Trainingsdaten gesehen, vielleicht erfindet sie eine plausible Zahl die relativ nah dran ist.

00:12:40: Du weißt es eben nicht, sie weiß es nicht so.

00:12:41: und das führt uns zum nächsten wichtigen Konzept.

00:12:43: der Kontext also ein LLM hat zwei Wissensquellen.

00:12:47: erstens dass Training also das was ihr irgendwann mal gelernt habt wichtig ja auch zu sagen wo wir gerade beim Buzzword Bingo sind Leute trainieren, oder wir trainieren die EI nicht?

00:12:57: Oder das Modell hört man häufig.

00:12:58: Ja, das wird

00:12:58: falsch bemerkt.

00:12:58: Wir müssen

00:12:59: EI definitiv trainieren.

00:13:01: Das ist noch so eine Deep Learning, Machine Learning-Denke von vor zehn Jahren.

00:13:05: Da haben wir wirklich KI trainiert.

00:13:08: Wir haben die Trainingsdaten geschaffen aber also wir trainierten hier gar nichts.

00:13:12: Also dass es eher ein bisschen anders zu verstehen.

00:13:15: Genauso ist es... Also nochmal zurück!

00:13:16: Das LLM Grund hat zwei Wissensquellen.

00:13:18: Erstens das Training, also das was sie irgendwann mal gelernt hat.

00:13:23: eingefroren sei ein Lückenhaft sein.

00:13:24: Der zweite wichtige Punkt ist der Kontext, also das was du dem LLM im Prompt eben mitgibst.

00:13:31: Was du jetzt gerade in den Chat reinschreibst, reinpaces anhängst oder hochlebst?

00:13:36: Ja!

00:13:36: Also heißt es also wenn ich der KI jetzt die Bilanz reinkopieren würde oder den Jahresabschluss dann ist ja die Antwort auf die Frage nach der Bilanznummer viel zuverlässiger

00:13:46: massiv zuverlässiger definitiv.

00:13:48: Das liegt daran, weil sie dann eben nicht aus dem Nebel raten muss sondern auf einen konkreten Text zugreifen der direkt vor ihren Augen liegt.

00:13:56: das ist auch wenn wir schon über Tricks sind.

00:13:58: Das ist auch der Trick hinter den ganzen modernen AI Tools die du vielleicht kennst der Black City also alles was sich mit... Achtung, Buzzword Retrieval Augmented Generation oder Racknet?

00:14:09: Das kennt keinen Mensch das Buzzword.

00:14:10: Da sind wir schon glaube ich ziemlich weit eingestiegen in wirklichen Nordsprache.

00:14:15: Also manchmal war es schon ah!

00:14:16: Ich habe ein Rack irgendwie.

00:14:21: Ja klingt cool.

00:14:22: Diese Racks holen erstmal die richtigen Dokumente und füttern sie dem LLM eben als Kontext.

00:14:28: Und damit halotzen jetzt dass der LLm eben deutlich weniger.

00:14:31: aber und das ist wichtig Sie halluciniert eben immer noch, nur die Wahrscheinlichkeit singen.

00:14:36: Man hört in dem Zusammenhang auch häufig den Begriff Grounding.

00:14:41: Ist das dasselbe wie das was du gerade beschreibst?

00:14:43: Ja also ist verwandt aber das Konzept dahinter ist ein bisschen breiter.

00:14:48: Also Grounding im Grunde heißt Du verankerst die Antwort der AI der KI an einer überprüfbaren Quelle Anstatt sie halt aus diesem Trainingsnebel rufen zu lassen.

00:14:59: Das Rack ist die häufigste konkrete Technik dafür Aber auch ein aktivierter Websuche-Modus oder ein Tool, das deine Internetdatenbank abfragt.

00:15:08: sind definitiv Grounding-Methoden.

00:15:10: Wenn ich zum Beispiel sage, ich würde gerne Informationen über eine Firma haben kann ich denen eine Websuche ganz normal schicken oder ich habe vielleicht ne Schnittstelle in der API an einer Unternehmensregister und dann hab' ich ein Grounding geschaffen weil er eben dort sucht wo auch die Primerquelle ist.

00:15:29: Genau richtig das sind dann eben die Quellen.

00:15:31: also kleine Quellenverweise unter jedem Satz auf die du klicken und nachlesen kannst Sagen die Faustregel hier ist, wenn ein AI-Output im Grunde keine prüfbare Quelle dran hängt.

00:15:39: Ist am Grunde angegrounded und du solltest ihn auch dementsprechend behaben?

00:15:44: Also dann muss man vorsichtig damit umgehen wobei ich immer noch finde das auch die Dinge, die der sich so ausdenkt sehr schlau sind.

00:15:52: Die klingen ja sehr schau.

00:15:54: Ja was ich noch nicht verstanden habe so genau also manchmal vergisst die KI-Dinge die ich ihm aber schon im Chat gesagt habe.

00:16:02: Vielleicht ist das auch noch so ein Ding, dass wir mal auflösen können?

00:16:05: Das ist dann so, dass man sagt Ich hab jetzt paar Tage lang im gleichen Chat mit der KI irgendwie auf einem Problem rumgekaut und bin immer in Wetter zu meinem Ergebnis gekommen Und dann zwischendurch stellt er dann Fragen, wo ich mir denke, ja je Junge, das haben wir doch schon alles geklärt.

00:16:19: Was ist los?

00:16:21: Ja, das ist ein wichtiger Punkt.

00:16:22: Es liegt im Grunde daran weil das sogenannte Kontextfenster eben begrenzt ist.

00:16:27: Stell dir das im Grund wie ein Sichtfenster vor.

00:16:29: Das LLM sieht in jedem Schritt nur einen bestimmten Ausschnitt deiner Konversation, des Chats.

00:16:34: Heute zwar ein sehr großen aber dennoch endlichen.

00:16:38: Wenn der Chat dann eben zu lang wird, kappen die meisten Chat-Apps automatisch alte Nachrichten oder fassen sie zusammen.

00:16:43: So das machen Sie damit und deswegen damit dass Limit nicht reißt.

00:16:47: Die AI oder die Maschine erinnert sich nicht im klassischen Sinne.

00:16:51: Sie liest in jedem einzelnen Turn eben neu was in diesem Fenster steht Und eben das hat Auswirkungen, wenn du einen langen Beratungsauftrag zum Beispiel mit der AI begleiten würdest oder in einem Chat was du gerade gesagt hast.

00:17:02: Ja das ist dann im Grunde wie ein Praktikant den man mal so sagt ja mach mal bitte das.

00:17:07: und er ist super schnell und produktiv und nett und lobt einen auch immer.

00:17:13: aber am Montag kommt er wieder hat sich die Festplatte formatiert und weiß überhaupt nicht mehr worüber wir um Freitag noch einmal gesprochen haben und muss ihm alles nochmal neu sagen wäre bisschen ärgerlich immer

00:17:23: ordentlich die Rüstung verbogen.

00:17:24: Das ist im Grunde die perfekte Analogie und das ist auch so ein bisschen das mentale Modell, dass wir den User oder Beratern eben mitgeben können.

00:17:30: AIs sind im Grunden extrem schneller Praktikanten, genauso wie du sagst.

00:17:34: Und er merkt sich eben manchmal nichts und lügt vielleicht auch manchmal relativ selbstbewusst ja?

00:17:40: Wenn du so darüber denkst, wie du es gerade machst, machst du im Grund intuitiv die richtigen Sachen.

00:17:44: Du gibst ihm schon das Material an die Hand, du briefst ihn neu und checkst sein Output.

00:17:48: So dass du würdest natürlich auch keinen echten Praktikanten einen Kunden oder Mandantenmebo durchwinken ohne es zumindest einmal gegengelesen zu

00:17:54: haben.".

00:17:54: Ja, das selbstbewusste Lügen sollte man sich eher vorstellen, dass man das mit einem japanischen Praktikantern zu tun hat.

00:18:00: Da gibt's diese Sache, wenn du jemand nach dem Weg fragst – und er weiß es nicht!

00:18:04: Die der trotzdem sagen muss lang geht weil das eben in deinem Gesichtswahrend ist….

00:18:09: Sehr gut ja sehr

00:18:10: gut

00:18:12: Du wirst nicht davon ausgehen, dass er das weiß.

00:18:14: Da musst du schon irgendwie zwischen den Zeilen lesen und so... Woher weißt du, dass es da lang geht?

00:18:17: Na ja!

00:18:18: Geht da lang!

00:18:19: Ja richtig!

00:18:21: Wir können jetzt vielleicht nochmal ein bisschen tiefer gehen.

00:18:25: Viele der Zuhörer nutzen AI noch auf einem relativ rudimentären Niveau.

00:18:31: Das heißt, dass sie den Chat benutzen, der ihn eben dann zur Verfügung steht bei JetDBT oder Co-Pilot aber die verpassen ihm auch die Hälfte.

00:18:40: Die spannende Bewegung ist gerade weg vom Generieren und hin zum Handeln.

00:18:47: Also wir haben jetzt da viel darüber geredet, was so ein LLM ist und wie das tickt aber ich höre dass immer wieder Begrifflichkeiten auch durcheinander gebracht werden.

00:18:57: in dem Zusammenhang nämlich JAN AI.

00:18:59: Und dann sprechen Leute von Agenten und Agentik AI und erklärt gerne mal leicht und verständlich was der Unterschied zwischen den beiden ist.

00:19:10: Ja,

00:19:10: also sehr gute Frage und gar nicht mal so einfach das leicht unverständlich zu erklären.

00:19:15: Lass mich es trotzdem versuchen!

00:19:16: Also das ist ja im Grunde des Wortes Jahres was du Garde sagst.

00:19:20: Also JNAI ist das worüber wir bisher geredet haben alles was Du gerade in grad auf LinkedIn irgendwie liest.

00:19:26: Du gibst einen Prompt rein und dass LNM generiert dir da eben etwas draus.

00:19:30: Das kann Text sein, Bild ein Code, eine Slight Idee... Also im Grunden ein Schuss und ein Output.

00:19:36: Du siehst das Ergebnis sofort sofort und du entscheidest natürlich, was damit passiert.

00:19:41: Gerade Chat GPT zum Beispiel im Standardmodus Cloud in Chatvenster oder mit Journey für Bildgenerierung.

00:19:48: das ist halt klassisch generativ.

00:19:50: eine Frage und du bekommst ja eine Antwort.

00:19:53: Das reicht auch für die meisten Dinge die man so als Standard-User macht.

00:19:56: aber Arbeitskontext möglicherweise nicht genug und vor allen Dingen man schöpft nicht das ganze Potenzial denn?

00:20:02: Was kann Agentec AI?

00:20:04: AgenteC AI dreht den Spieß eigentlich genau um.

00:20:07: Du gibst eben nicht mehr nur einen Prompt mit der Erwartung, ja schreib mir das.

00:20:11: Sondern du gibst ein Ziel vor!

00:20:13: Das ist ganz wichtig, du gibts'n Ziel vor zum Beispiel.

00:20:16: Ich recherchier mir die Top-Szenen Wettbewerber vom Kunden X, schau dir deren Geschäftsberichte an fast deren Marktpositionierung zusammen und liefer mir zum Abschluss eine Übersicht im Format X. Ja dann läuft die AI halt los.

00:20:32: Ganz wichtig, sie plant was die tun muss.

00:20:34: Sie ruft die dementsprechenden Tools auf sucht den Web öffnet PDFs schreibt Code macht Berechnung.

00:20:41: Eben mehrere Schritte hintereinander sie kommt zurück wenn sie fertig ist oder natürlich wenn sie hängt und Hilfe braucht.

00:20:48: ja gut also auf einen Nenner gebracht ist es so dass ich sage Gen AI sagen wir mein ganz normaler Chat der produziert etwas und äh agenti eye sorgt dafür das Handlung vollführt werden

00:20:58: genau Ziel vorgegeben wird und Handlung durchgeführt werden.

00:21:04: Genau, das ist wichtig zu verstehen unter der Haube.

00:21:08: Das ist ein LLM-Genoßgleiche.

00:21:11: was sich ändert hier ist die Hülle drum herum.

00:21:13: also bei einem Agenten gibt es einen Loop.

00:21:17: Der plant also ersten Plan dann Aktion eine Beobachtung und wieder neuer Plan.

00:21:23: AI redet quasi mit sich selbst und mit den Tools bis das vorgegebene Ziel erreicht ist.

00:21:28: Ja, das ist sozusagen der nächste Evolutionsschritt nach GNI.

00:21:32: Und da passiert gerade der größte Sprung in unserer Branche.

00:21:35: Es ist interessant dass dieser Loop sehr nach Plan Do Check Act klingt.

00:21:39: Also es ist eigentlich ganz altes Prinzip aber funktioniert halt danach.

00:21:43: Apropos unter der Haube dieselbe LLM.

00:21:46: also wären die Modelle eigentlich noch besser?

00:21:49: Ich meine man sieht ja immer so kleinere Sprünge und so.

00:21:51: Aber für mich als User ich weiß es nicht findet dann auch großes Wachstum statt.

00:21:58: glaube ich eine sehr, sehr ehrliche Debatte.

00:22:00: Die gerade in der Branche stattfindet.

00:22:02: die Architektur auf der quasi alle aktuellen Frontier LLMs laufen ist eben diese Transformer decoder Technologie.

00:22:10: ist also es wirklich im Kern seit zwei tausend siebzehn unverändert.

00:22:14: was wir da dem gesehen haben ist vor allem größer sondern mehr Trainingsdaten bessere Trainings Tricks wie Reinforcement Learning Human Feedback und zuletzt ja vor allem das Thema Reasoning als Modelle.

00:22:27: reasoning-Modelle, also das sind Modelle die zur Laufzeit länger nachdenken.

00:22:31: Aber das Grundlegende wie der Maschine oder der AI ist im Grunde dasselbe geblieben.

00:22:37: Das heißt jetzt wir stoßen da an eine Decke auch wenn sie schon sehr hoch ist?

00:22:41: Ja also sagen wir eher die Wette wird gerade lauter, dass die Skalierung allein einfach noch größer und mehr Daten nur noch lineare Verbesserungen bringt so.

00:22:53: der Konsens nicht mehr die diese exponentiellen Sprünge.

00:22:56: kannst du dich noch an GPT II zu GPT IV erinnern?

00:22:59: Ja, das war richtig spürbar.

00:23:00: Das waren auch so Quantensprünge muss man sagen.

00:23:07: Und eben diese echten Schübe kommen und das ist halt eben der aktuelle Konsens aus zwar anderen Richtungen.

00:23:13: Erstens so die Hülle drum herum.

00:23:15: also genau das worüber wir gerade reden sind agentische Systeme.

00:23:19: Zweitens ganz andere Architekturen an denen gerade geforspiert State Space Models, ganz neue Aufmerksamkeitsmechanismen oder eben zwischen den beiden Hybride-Ansätze.

00:23:29: Ganz ehrlich niemand weiß welche davon es schaffen wird.

00:23:31: aber ja das ist nicht mehr nur ein größerer Transformer wird, dass halten relativ viele für Klosik.

00:23:37: Ist das im Prinzip auch dann die relevante Botschaft für Mandanten wenn ich darüber so nachdenke?

00:23:42: Also man sollte im Prinzip nicht auf eine bestimmte Tool Generation oder sowieso nicht auf einen Tool setzen oder die Architektur darauf eben optimieren, sondern sagen wir müssen das viel mehr in frameworks und tool agnostisch denken.

00:23:57: Und unsere Prozesse bauen ein großes Agentensystem.

00:24:05: Da muss es übertragbar sein und auch funktionieren wenn eine neue Generation da ist.

00:24:08: Oder wenn man sagt der Shift ist jetzt gekommen, Claude ist lame, wir gehen alle zu was anderem über.

00:24:15: Das wäre sonst, würde man eben sagen.

00:24:17: Man setzt aufs falsche Pferd oder auf den langsameren Gaul, sagen wir mal.

00:24:24: Ja exakt!

00:24:24: Du hast es schon genau richtig gesagt und das ist auch so ein bisschen der Bogen.

00:24:27: zurück zu unserer ganzen Folge, oder?

00:24:30: Im Grunde geht's ja darum wer diese ganzen Konzepte versteht.

00:24:33: Wahrscheinlichkeit, Grounding generativ versus Agentisch... Ja, der ist im Grunde gegen den nächsten Sprung-Resilient.

00:24:41: Wer nur auf das heutige Tool optimiert fängt mit jeder neuen Modellgeneration wieder von vorn an.

00:24:45: Das gilt für deine eigene Lernkurve genauso wie für alle Architektureinscheidungen die du dann eben beim Kunden oder bei Mandanten begleiten wirst.

00:24:53: Das ist ein gutes Stichwort!

00:24:54: Lass uns mal noch zurück zum Bassboy Bingo gehen oder Aufräumen mit Bildgrifflichkeiten.

00:24:59: Du sagst Agent, du sagst aber auch Assistent.

00:25:01: also das wird auch immer durcheinandergebüffelt.

00:25:03: sind das jetzt Synonymo?

00:25:04: Oder ist es dasselbe?

00:25:05: was ist das?

00:25:06: Oh ja, das ist schwierig.

00:25:08: Das ist auch ein echter harter Unterschied.

00:25:09: Ja gar nicht!

00:25:10: Ist überhaupt nicht hart.

00:25:10: Es ist total weich die Linien.

00:25:13: Ich finde es schwierig.

00:25:15: Dann kannst du ja leicht erklären, wenn's hart ist.

00:25:19: Lass mich... Let me try.

00:25:22: Ein Assistant würde ich sagen, ist definitiv reaktiv.

00:25:25: Du fragst was und er antwortet zum Beispiel.

00:25:30: Okay, du sagst, schreib mir die E-Mail sondern schreibt der dir die E mailen.

00:25:34: In dem Fall steuerst du halt das Tempo und die Reihenfolge.

00:25:37: Chat GPT kommt zum Beispiel im Standard-Modus ist definitiv ein Assistant, auch Claude im Chat.

00:25:43: Du sitzt hinter dem Steuer und AI auf dem Beifahrersitz.

00:25:49: So, AI hilft aber sie initiiert halt nichts.

00:25:52: Okay!

00:25:53: Und ich vermute mal das Bild wird jetzt gleich umgedreht?

00:25:56: Was macht der Agent?

00:25:57: Ist er dein Fahrer?

00:25:58: Vielleicht

00:25:58: vielleicht auch nicht?

00:25:59: muss mich auflösen also... Ein Agent hat am Grunde ein Ziel und arbeitet selbstständig darauf hin.

00:26:06: Da sind wir wieder bei dem Ziel, was wir vorhin gesagt haben.

00:26:08: Du sagst eben nicht mehr nur schreib die E-Mail, du sagst gleich den Termin mit dem Kunden oder mit dem Mandanten.

00:26:14: Und in dem Fall prüft der Agent eben in dein Kalender, formuliert die Anfrage, schickt sie raus, wartet auf die Antwort.

00:26:21: Was noch?

00:26:21: Schickt eine Einladung, aktualisiert das CRM vielleicht also zusammenfassend mehrere Schritte und die werden eigenständig entschieden.

00:26:29: Und wie du schon richtig gesagt hast, in dem Fall würdest du halt auf der Beifahrersitzen und AI hinter den Stärken sitzen?

00:26:38: Also wenn sie unsicher ist fragt ihr ja zurück aber... generell ist handeln und es wird halt nicht.

00:26:42: Ja, also man hat eher so wie so einem Fahrschulwagen ich habe trotzdem noch bremse Gas und vielleicht sogar ein zweites Lenkrad aber der fährt schon selbst.

00:26:50: Es hört sich jetzt so easy an wenn du die einzelnen Schritte beschreibst aber tatsächlich wenn man sich ausgeht weiß man dass da mindestens mal zwei APIs drin sind und eine Datenbank hinterlegt ist.

00:27:00: Also du musst den Kalender prüfen, das ist eine Kalenderverbindung.

00:27:03: Dann muss der in der Lage sein die E-Mails zu lesen und zu schreiben.

00:27:05: Das auch eine Anbindung dann hat er zukunftsauf CRM dass es wieder ne weitere Schnittstelle.

00:27:11: also das ist schon aufwendiger als einfach zu sagen ja guck mal bitte in deinen Trainingsdaten wie du diese E-Meh neu schreiten würdest.

00:27:17: ja also klingt so leicht da sind einfach nur drei Schritte.

00:27:21: Es ist nicht so, dass es einfach nur dreimal der Assistent also nicht wie drei Auffordungen zum Assistenten.

00:27:26: So ist es eben nicht.

00:27:27: Sondern es ist eine Gesamtaufgabe.

00:27:31: Ist das jetzt schon so... Also ich hab ja schon Sachen gebaut, ich weiß ja dass das geht.

00:27:35: nur ist das was wo du sagst, dass das schon real ist und man dann angekommen ist?

00:27:42: Besonders wenn wir über Software-Engineen reden, also würde ich schon sagen dass das real ist.

00:27:46: Es wäre halt täglich.

00:27:47: Du hast es ja auch schon benutzt.

00:27:48: Cloud Code zum Beispiel benutzte ich nutze es auch.

00:27:50: Das ist halt ein Agent der sich in meinem Code Repository bewegt.

00:27:54: Der kann halt eben Test schreiben Leichte Bugs fixen Dateien anlegen.

00:27:58: Ja also das funktioniert dann eben wirklich.

00:28:01: Ich finde so Alvan manchmal als ich dann zugucke Oh da ist mir ein Fehler.

00:28:04: Also der schreibt mir einen Code und sagt dann oh das noch falsch muss ich nochmal machen Interessiert mich nicht, mach's doch direkt richtig Mach einfach.

00:28:11: Das ist halt wichtig,

00:28:12: dass ich es auch checken kann!

00:28:16: Ja aber ich checke das ja trock... Ich schick's dir eh nicht.

00:28:18: Hello,

00:28:21: hello, hello except, except, accept.

00:28:26: Wie dieses

00:28:26: Sims-Folge wo Huma sich im Homeoffice irgendwie reinklagt oder so und dann hat er einfach einen Vögelchen der immer auf Jahr drückt und alle Entscheidungen abgelegt.

00:28:37: Also im Grunde ist es doch so Es funktioniert ja normal.

00:28:44: Wichtig ist trotzdem zu sagen, dass es funktioniert und um den gerade in klassischer Beratung zum Beispiel sie werden noch gut dran.

00:28:51: also erste Tools die für Kunden oder Mandantenrecherche oder Datenanalysen als Agent irgendwie durchziehen gibt es ja so.

00:28:58: das ist aber zuverlässig und produktionsreif So, sind da wenig.

00:29:03: Also in einem Jahr oder zwei Jahren... Ich will gar nicht irgendwelche Zeitspanne sagen, weil durch die letzten Erneuerungen ist das alles viel schneller gekommen als wir gedacht haben.

00:29:11: Aber es

00:29:12: geht ja nicht darum wie schnell.

00:29:13: diese Systeme werden jetzt schon in der Lage, alles möglich zu machen wenn die Datenbasis stimmen würde.

00:29:18: Da ist auch der große Flaschenhals seit Jahren.

00:29:20: Weiß noch, wo man früher bei Datapools und endlich wird alles mit den Datenbanken umgebaut.

00:29:25: Das ist ja schon zehn Jahre alt, dass man diese Diskussion führt und das es noch längst nicht bei allen umgesetzt.

00:29:30: Und daran wird's eben auch was Erwartungsmanagement angeht, auch ein bisschen scheitern.

00:29:35: Man spielt dem Ball natürlich ein bisschen zu Mandanten.

00:29:37: Es könnte ein bisschen unfair so gesehen, weil wenn der sagt, wieso können wir jetzt nicht einfach alles mal automatisieren hier?

00:29:43: Weil deine Datenmause scheiße ist!

00:29:46: Ja genau, Gabbage in, Gabage

00:29:50: out... Also wir haben jetzt alle Zuhörer und ich.

00:29:53: Wir haben jetzt den Unterschied der Begriffe verstanden, was mache ich denn damit?

00:29:56: Ja also das mich erst mal wegnehmen.

00:29:59: Ich würde schon sagen wer heute definitiv lernt mit Agents irgendwie zu arbeiten hat in der Zukunft definitiven massiven Vorsprung.

00:30:05: aber immer für eine Frage zu antworten als ich würd' sagen drei konkrete Sachen.

00:30:10: so heißt es Erstens, wenn ihr jemand zum Beispiel ein Fancy AI Agent verkauft fragt konkret nach.

00:30:17: Wo ist hier der Loop?

00:30:18: Welche Tools nutzt das Ding?

00:30:20: Ja, denn viele Agents sind in Wahrheit nur irgendwie bessere Chatbots mit einem Marketing Anstrich.

00:30:27: So zweitens für deine eigenen Projekte überlegt dir ob du eine generative Aufgabe hast oder eben so eine Marktstudie zum Beispiel zusammenzuschreiben.

00:30:35: ja total auch

00:30:35: die Erforderlichkeit.

00:30:36: also braucht es so viel Intelligenz genau.

00:30:39: Ja, richtig genau.

00:30:40: Wir reden später noch in anderen Folgen über Kosten.

00:30:43: Da haben wir noch gar nicht drüber gesprochen.

00:30:44: was kostet er eigentlich?

00:30:46: aber das ist auch ein wichtiger Punkt.

00:30:48: zum Beispiel eine Marktstudie zusammenschreiben ist halt generativ.

00:30:51: so Stell dir vor du hast ich mich hundert Lieferantenverträge und die musst du nach Risiken klassifizieren.

00:30:58: Das ist halt eben agentik weil es ist halt ein anderes Werkzeug und andere Abrechnung anderer Erwartungen als Qualitätssicherung Drittens.

00:31:06: Und genau hier entsteht gerade neuer Ja, gerade Berater-Wert.

00:31:10: Beratungswert der Kunden oder Mandanten wissen eben nicht was sie kaufen sollen.

00:31:14: Wer das sauber unterscheidet kann sehr früh sehr viel Mehrwert bringen ohne ja in dem Fall eben auch selber irgendwie Code schreiben zu müssen.

00:31:20: Ja und das ist auch glaube ich der entscheidende Punkt und ein guter Schlusspunkt für heute.

00:31:23: also wer als Berater den Unterschied beherrscht?

00:31:27: Und zwischen den Begrifflichkeiten unterscheiden kannst du sagen Generative versus Agentic Assistant vs Agent Der kann in den nächsten Mandantengesprächen eben auch souverän auftreten Und dafür muss man auch nicht ein nördiges Detailwissen abschweifen oder oberlehrerhaft dann daherkommen.

00:31:44: Aber es ist schon wichtig, dass man eben auch in der Lage ist das zu entlarven und ja, das ist die Sprache, in den nächsten Jahren Tools, Budgets und Use Cases sortiert und besprochen werden.

00:31:58: Ganz kurz Eintake zum Ende.

00:32:00: ganz ehrlich wenn ich heute zb im Junio einen einzigen Tipp geben dürfte dann diesen Lies definitiv nicht das hundertste AI-Tool Tutorial.

00:32:08: Verstehe die Begriffe aus dieser Folge zum Beispiel sauber Wahrscheinlichkeit, wir haben über Halluzination gesprochen, über Grounding, über GenEi... Ich glaube dabei kommst du definitiv weiter als mit zehn neuen Promtingeniering Kursen oder Cloud unter einem LinkedIn Post zu schreiben und du klingst definitiv besser in dem nächsten Kunden oder manannten Meeting.

00:32:28: Also wenn ich noch ein Tipp geben dürfte wäre dass ihr braucht weit weniger Tools im Markt einzukaufen, als ihr glaubt.

00:32:36: Viele von den Dingen die momentan großverkauft werden sind... Genau so mit den gleichen Genii-Lösungen gebaut worden, wie ihr das auch selbst machen könnt.

00:32:47: Das heißt lasst lieber eurer kreativitätfreien Lauf und schaut mal, wie weit ihr selbst kommt euch eine Lösung zusammenzubauen.

00:32:53: Und du wirst überrascht sein... Wie gut die im Vergleich zu dem ist was man für hunderte von Euros monatlich kaufen kann.

00:33:01: denn dann merkt man jetzt erst mal wie glaube ich am Wasser ist mit dem einige Tools daher kommen.

00:33:06: Ja ja ich glaub Das war doch schon sehr viel und vielleicht schon zuviel, das war auf jeden Fall Folge zwei von der neue Berater.

00:33:15: Wenn ihr jetzt nach diesen dreißig vierzehn Minuten beim nächsten Mandatengespräch sauber zwischen den Begrifflichkeiten unterscheiden könnt dann haben wir wohl unseren Job gut gemacht.

00:33:26: Und wenn ihr jetzt sagt dass wir Unsinn erzählt haben oder dass ihr uns mitteilen wollt, dass er einen AHA Moment hattet Freuen wir uns sehr über Eingaben, belesen alles und nehmen die Themen für spätere Folgen gerne mit.

00:33:39: Ja noch ein kurzer Teaser zur nächsten Folge.

00:33:42: also in der nächsten Folge möchten wir euch einige nützliche AI gestützte Tools vorstellen!

00:33:47: Und die sollten definitiv in jedem Werkzeug kasten bis neuen Beraters gehören wie zum Beispiel einen persönlichen Assistant und weitere spannende Productivity Hacks.

00:33:56: Bis dahin bleibt neugierig, bleibt kritisch und traut keiner Zahl, die ihr nicht selbst gefälscht habt.