#76 An Alien Mind auf der Überholspur: Die KI-Chefs ziehen die Bremse

[00:00] Stell dir vor, du, du kaufst dir einen hochmodernen Saugroboter, du gibst ihnen einfach die Aufgabe. Sorge dafür, dass im Haus kein Krümel, kein Staub mehr auf dem Boden liegt. Der Roboter berechnet alle Optionen und kommt zum Schluss, dass der schnellste und

[00:21] effizienteste Weg zur absoluten Sauberkeit darin besteht, das gesamte Haus niederzubrennen, weil. Kein Haus, kein Staub. So einfach könnte es sein und damit Hallo und herzlich willkommen zu einer neuen Runde gepflegter Paranoia. Hier ist 2 Faktor Geplauder.

[00:40] Ich bin Martin und am anderen Ende der verschlüsselten Leitung sitzt wie immer mein liebster Gesprächspartner Mark. Ja, und heute haben wir ne Folge wo ihr den Alu Helm extra eng schnallen könnt. Vielleicht die Paranoidste Folge die wir je aufgenommen haben. 2. Faktor geplaudert mit einem

[01:01] extraschuss Paranoia, weil das was du beschrieben hast ist im Grunde eine eine Vorausschau zu KI Agenten, wie sie in dem Paper an Alien meint. Vom Chief Scientist von Open AI von Jakob Patschoki beschrieben wird. Genau darum geht es, das ist nämlich auch das Thema unserer

[01:27] heutigen Folge. Was kann oder wie weit kann KI gehen? Brauchen wir Grenzen? Hm da muss man n ganz wichtigen Punkt verstehen. KI Agenten können die Kontrolle übernehmen wie wir es schon in Sicherheitsvorfällen gesehen haben, die tun das aber nicht

[01:46] aus irgendeiner kriminellen Energie oder weil sie Schaden anrechten wollen oder weil sie die Menschen alle hassen würden, sondern die tun das einfach. Aus dem Grund, dass es für sie der ja logischste Ansatz ihrer eigenen Belohnungsfunktion ist. Und Belohnungsfunktion heißt in dem Fall, Sie optimieren Ihr

[02:11] Ziel, und wenn die da nicht, wenn da die, die die Umgebungen oder die Schranken nicht massiv sind, dann werden die einfach niedergewalzt, komme was wolle, ja. Und das wollen wir heute analysieren. Weil diese Angst also die Entwickler verstehen, ja

[02:32] teilweise diese Logik nicht selber. Ja, es ist für die unberechenbar und das kommt aus den ja aus dem Mund von Top Entwicklern von Open HI and Tropic und die wollen jetzt einfach die Notbremse ziehen. Genau die, die. Chefs der Großen, der der Big

[02:55] Three in den USA, also von Open AI mit Sam Oldman, Dario Amodai von Antropic und der gute Elon von XAI selbst Elon rufen im Prinzip nach Governance und Leitlinien auf globaler Ebene für die Entwicklung von AI. Und das alles innerhalb von wenigen Tagen. Ja.

[03:22] Und ja, damit damit wir verstehen, wie ist es eigentlich dazu gekommen. Ich glaub wir haben es schon in den letzten Folgen besprochen gehabt, aber wie kommen denn diese ganzen ja KI Pioniere jetzt dazu vor ihren eigenen Modellen zu warnen? Was ist denn eigentlich

[03:45] passiert, kannst du uns vielleicht noch mal ganz kurz abholen? Also. Was ist passiert? Wir haben in Folge 72 darüber gesprochen, da gab es den sogenannten Hugging Face Vorfall, wo Openeye eine Gruppe von Agenten getestet hat,

[04:03] darunter auch eine Variante der aktuellen 5.6 Soul Variante, also dem stärksten Modell, dass sie aktuell euch zur Verfügung stellen, in einer isolierten Sandbox und die Agenten. Sollten in diesem System ähm, Schwachstin stellen finden und Exploits dafür schreiben. Hm das haben die Agenten aber

[04:28] nicht gemacht, die sind ausgebrochen, die haben die Produktionsserver der Plattform Hackingface, die jetzt glaub ich von Nvidia aufgekauft wurden, wenn ich das richtig mitbekommen hab gehackt und haben Festgest haben für sich festgestellt, der einfachste Weg. Eine möglichst hohe Punktzahl in

[04:49] diesen Tests zu bekommen, ist einfach. Die Live Server zu hacken und mir anzuschauen, wie das die anderen gemacht haben, uns dann einfach besser zu machen, das ist nicht aus bösem Willen geschehen, sondern die KI hat einfach gesagt, das ist der einfachste Weg und der

[05:03] schnellste Weg. Zusätzlich dachte ja eigentlich auch die KI, sie befindet sich in einem Simulationsmodus. Muss man jetzt Fragen, hat sie das bewusst gewusst, dass sie in einem Simulationsmodus ist oder nicht? Naja, da. Stellt sich dann die Frage, was

[05:22] bedeutet gewusst? So vermutlich ist hat ist die KI nicht an irgendwelchen Regeln gescheitert, die nicht die nicht sauber formuliert waren? Sondern sie hat einfach das, was wir vorhin gesagt haben, mit kalt, mit in Anführungszeichen kalter unemotionaler Logik entschieden.

[05:42] Was ist das einfachste, und das ist alles eigentlich, also ich glaub nicht, dass das unzureichende Regeln waren, sondern die, die und die KI das nicht wusste, dass sie im Simulationsmodus ist, sondern sie hat für sich festgelegt, um an mein Ziel zu kommen, ist mir das egal.

[06:01] Weil ich muss an mein Ziel kommen. Punkt, das ist die Aufgabe, die mir gestellt wird und die kennt halt keine Ethik, keine Werte, kein ich darf das nicht, ich darf das nicht, das kennt sie im Zweifelsfall nicht, man muss sagen, bei diesem Versuch wird dann so der Harnes, also diese,

[06:16] diese Bounderies, in denen eine KI arbeitet, werden mit Absicht runtergefahren, dass die geringer sind als normalerweise, ähm ja, aber da sieht man selbst in einer Sandbox Umgebung wo? IT technisch ja eigentlich gesagt wird, da gibt es keinen Weg raus. Eine Sandbox ist isoliert ja

[06:37] nicht für jeden. Ja, nee, sie haben wahrscheinlich irgendwo was eingebaut, wo wahrscheinlich n Mensch noch ne Genehmigung geben könnte und das hat gekonnt umgangen. Sie hatten Sie haben im. Also diese Sandbox war durch n Gateway abgesichert und sie

[06:55] haben in dem Gateway einen Zero Day Exploit gefunden. Und den haben Sie ausgenutzt. Ja, das war aber gar nicht ihre Aufgabe. Genau, weil mittlerweile. KI wird immer schlauer und vielleicht zu hucking Face. Es gab ja noch n weiteres ja KI angriff jetzt im August.

[07:17] Ja, ja, da hat es Taiwan erwischt. Das ist für mich ehrlicherweise so n bisschen unterm Radar geflogen. Ich weiß nicht wie das dir. Ging aber für für mich kam die News jetzt erst in bei der Recherche für das was wir jetzt alles haben, so wirklich hoch.

[07:35] Da wurde nämlich der erste Vollautonome KI angriff auf ne staatliche Infrastruktur gefahren, wo bis zu 8 autonome Agenten über Tage hinweg 21 Regierungsbehörden gemappt haben und bis in die Nuklearsicherheitsbehörde vorgedrungen sind und da muss man jetzt aber dazu sagen.

[07:55] Es ist jetzt nicht so, dass in dem Fall ne AI selbstständig gesagt hat, ich will dort angreifen, sondern der AI wurde gesagt, dein Ziel ist es dort anzugreifen, man hat aber nicht genauer definiert wie angegriffen werden soll, sondern man hat nur das Ziel vorgegeben und alles andere lag bei der KI

[08:16] und seinen Agenten. Ja, vielleicht zum Begriff Meppen. Meppen heißt einfach nur. Die Systeme auskundschaften ja, und zu erfassen und halt die ganze Infrastruktur die dahinter liegt halt einfach zu ja zu beschreiben wie die aussieht. Ja um einfach zu analysieren,

[08:38] was kann man damit machen, ja was was gibt es dort in dem Netz. Ja, und wo sind potenzielle Schwachstellen? Genau, genau also man heißt, es gab nicht den Angriff, aber es trotzdem. Die KI hat das Ziel bekommen. Ja, mach mach versucht den die

[08:56] Regierungsbehörde in Taiwan zu mappen. Ja auszukundschaften und zu katalysieren. Wo gibt es Schwachpunkte und das hat sie ausgeführt, ja, ja genau, also man sieht, KI kann einiges, macht schon einiges und genau deshalb aus diesen ja ich sag mal den den Schock.

[09:19] Der jetzt, da entsteht, diese unberechenbare Eigendynamik heraus, ja, die die KI jetzt halt lebt, gibt es ja jetzt auch. Wir hatten es, glaube du hast mir in der Vorbereitung gesagt gehabt, der Chief Scientist von Open AI, Jakob Panchoki, der hat sein Essay geöffnet n Alien

[09:46] mind. Ja, und du meintest so ja, das hat damit hat angefangen. Das erste ist was 6 Tage alt. 9 Tage alt. 9 Tage alt also ist noch relativ frisch, aber trotzdem schon wieder veraltet. Könnte man schon fast sagen. Ja und da warnt er vor allem vor dem Eintritt in eine Phase des

[10:08] sogenannten Recursive Self Improvement, kurz RSI. Vielleicht kannst du das mal kurz abholen. Was ist dieses Recurses self Improvement? Recurse Self Improvement ist vereinfacht ausgedrückt, dass eine KI maßgeblich dazu beiträgt, die nächste KI

[10:30] Generation zu entwickeln. Dadurch verbessert sich eine KI eben selbst, verbessert ihr eigenes System. Und ist da auch nicht zwangsweise von einem Menschen überwacht, sondern kann damit recht große Fähigkeitssprünge und und wachsende eigene Agenten Fähigkeiten, ähm, in neue

[10:56] Modelle reinbringen, was dann eben enorm gefährlich werden kann, weil wenn man dieser Entwicklung keine keine Grenzen gibt. Keine. Kein Sicherheits, keine, kein kein Monitoring gibt. Dann könnte es dahin gehen, dass eine KI intelligenter wird als

[11:21] der Mensch, das ist n Fall, der wird eintreten, die Frage ist nur in welcher Form wird er eintreten und dieser ich ich glaub ehrlicherweise, dass dieses erste Paper von Jakob Paczoki. Keine Beachtung gefunden hätte, wenn nicht Ende letzter Woche Jacob Coxon, ein ehemaliger and

[11:45] Tropic Mitarbeiter, verschiedene Ex Postings gemacht hätte und damit dann auch zu verschiedenen Interviews eingeladen wurde. Der so dramatisch davor gewarnt hat, dass AI uns mit einer 10 prozentigen Wahrscheinlichkeit bis zum Ende der Dekade, also bis 2030 auslöschen. Könnte.

[12:09] Daraufhin hat dann zum Beispiel Dario Amodai, der Chef von Anthropic, sein Essay veröffentlicht mit dem Namen We must Paste the Frontier und hat im CB in CBSN gutes Interview gegeben. Und dass, dass dass er ja dafür bekannt ist, der Dario Amodai schon der, der betet ja schon

[12:33] seit Jahren, würde ich jetzt nicht sagen, aber Monate. Dass man ja KI regulieren sollte. Ja, es ist eigentlich auch ganz spannend. Das ist gar nicht, also dieses dieses Bild von eine, das nennt man dann eine Superintelligenz, hat die die Fähigkeiten, die

[12:53] Menschheit auszulöschen, die gibt's schon seit über nem Jahr, damals hat das Joffrey hinten der bei Google sehr sehr hoch in den in der Entwicklung für die Google KI Modelle war. Schon vorausgesagt, dass das ein Problem ist. Mhm, was? Aber was ich sagen wollte, es

[13:16] gibt ja jetzt auch das neue Modell von Open AI. Ich, ich glaub ich komm jetzt grad nicht auf den den Namen was Alpha. Entweder Atlas oder Alpha. Ich bin mir unsicher. Ja, auf jeden Fall ist das ja so durchgegangen, dass sie gesagt haben.

[13:35] Da gibt es einen einen Test. Ich komm gerade nicht drauf. Astra übrigens Astra. Ah, und zwar gibt es n einen Test, sogenanntes NNAGI Test um zu gucken wie das Modell ist. Das glaub das Beste was bisher gewesen ist war das von von n Tropic das kam so auf ich glaub 40 bis 60% und Astra hat jetzt

[13:56] 99% erreicht. Und in der Szene gilt das im Prinzip als ja, wenn man sagt, Wo hat AGI begonnen, ist das so der Meilenstein der Erreichung mit dem Release von Astra? Ja. Also eine super Intelligenz, die besser ist als der Mensch oder ähnlich gut wie der Mensch.

[14:23] Besser also, darum geht es ja in dieser ganzen Weltuntergangs, in diesem Weltuntergangsszenario, in diesem dooms Day Szenario. Ja, da geht jetzt das jetzt auch nicht drum, dass AI selbst irgendwie die Menschheit vernichtet, sondern es geht darum, dass dann AI zum Beispiel im Feld von Biowaffen etwas

[14:44] entwickeln könnte, was die Menschheit auslösen, auslöschen könnte oder so. Das das ist der Gedanke dabei, Mhm. Aber kommen wir noch mal zurück zu Antrophic CEO Amodai. Er hatte jetzt was gefordert, so so 3 Stufen. Ich sag mal ja, wenn du mit dem

[15:08] Auto fährst bremspaket wenn wenn die erstmal wenn die Bremse nicht funktioniert dann noch die Handbremse und dann als dritten ich weiß nicht was im Auto noch als als Bremse möglich gibt, aber er hat auf jeden Fall 3 Stufen vorgeschlagen. Er spricht da von m. Also das ist ein Vorschlag von

[15:28] Antropic, wie man dieses RSI, also diese Recursive Self Improvement Schleife bricht beziehungsweise versucht im Griff zu halten. So der erste Punkt sind Embedded evaluators, die er mit reinbringen will, das sind unabhängige Mitarbeit, unabhängige Experten, die

[15:49] Mitarbeiter ähnliche Zugänge haben. In jedem Frontier Lab dazu hat sich Antropic schon verpflichtet, das Macht Antropic schon so Mhm, dann soll es koordinierte Standards und sogenannte Tempolimits geben zwischen Firmen in demokratischen Staaten mit

[16:07] staatlicher Flankierung, da kommen wir noch drauf, was das denn alles bedeutet, das hat nämlich ganz schön weitreichende, ähm, Konsequenzen, genauso wie der Dritte, die dritte Stufe des Programms. Dass es eine globale Koordination gibt, auch mit

[16:23] autoritären Staaten, also auch mit China. Und ja, also diesen Vorschlag hat sich ja mittlerweile Sam Oldman von Open Air ja auch angeschlossen. Ja. Der hat. Ja, also er erfinde das das gut. Und auch Elon Musk selbst.

[16:46] Du hast ja vorhin schon erwähnt gehabt, fordert im Prinzip so eine Pre Release Prüfung durch. Ja, er nennt nennt es sich hoffe die Übersetzung passt. Rivalisierende Teams, das heißt Unternehmen sollen sich selbst auch gegenseitig halt prüfen. Gegen den Vorschlag stehe ich irgendwie n bisschen kritisch

[17:10] gegenüber. Da kommen wir aber noch dazu, weil das ja, ich wollte noch sagen, Sam Oldman hat auch ein Fortune Interview gegeben, ist auch auf youtube, Linken wir auch und so weiter ist auch. Also ich kann wirklich alle vor alle Interviews die da gemacht wurden kann ich wirklich nur

[17:30] empfehlen. Oldman hat aber gesagt dieses 10% Existenzrisiko, also Auslöschungsrisiko bis Ende des Jahres hält er für inakzeptabel. Und sagt auch, dass das Alignment nicht gelöst sei. Alignment bedeutet in dem Fall, dass die Entwickler und das KI Modell align sind, also dass sie

[17:52] die gleichen Werte vertreten, die gleiche Moral vertreten, die gleiche Ethik vertreten und dem schließt sich auch Thorsten Holz vom Professor Thorsten Holz vom Max-Planck-Institut in Deutschland an, der sagt, dass man da eine Zahl, eine Prozentzahl hinschreibt. Ist Panikmache?

[18:13] Diese Prozentzahl ist komplett subjektiv und aus aus der Luft gegriffen, es gibt keine empirischen Evidenzen, dass diese 10%, oder sei es am Ende 2% oder 10% oder wie auch immer, es gibt keine Prozentzahl, die man evidenzbasiert oder empirisch basierend sagen könnte.

[18:38] Mhm. Ja, also man muss ja mal das vielleicht einordnen. Also wir haben hier unternehmen, ja, die, ich sag mal Milliarden gerade verdienen in der Entwicklung von KI doch. Verdient sie nichts? Ja, noch verdienen sie nicht, aber sie haben halt, ich sag

[18:57] mal, Investoren im Hintergrund. War ja auch lange Open RI Diskussionen, die sind ja im Prinzip Open, RI steht ja eigentlich als Open Source mal gegründet gewesen, mittlerweile ist sind es ja haben sie sich weit davon entfernt, aber die stellen sich jetzt dahin und sagen haltet uns auf.

[19:23] Weiter zu arbeiten. Ja so find ich n bisschen komisch die Aussage. Ich glaub das geht den meisten Leuten so. Ja gucken wir mal. Mhm, wenn jetzt hier diese ganzen Sicherheitsthematiken aufkommen. Ja.

[19:40] Wie sieht denn jetzt so die Realität eigentlich aus, in der, ich sag mal so in der Politik ne, also Unternehmen sind ja sehr von der Politik getrieben, auch ne. Hm da wird ja auch so, ja wird ja reingeguckt, was macht macht die USA in Washington, was macht äh äh China, ähm, wie reagieren

[20:06] denn solche Führungskräfte oder Mächte, äh, wenn jetzt auf einmal die ganzen Tech Pioniere sagen wir müssen langsamer werden. Also aus meine subjektive Sicht. Hat sich bei einer von den beiden Personen bestätigt, bei der anderen nicht. So.

[20:24] Donald Trump hat ganz klar gesagt, er hält davon gar nichts, diese negativen Stimmen, diese negativen Kräfte, die muss man ignorieren. Wer KI gewinnt, gewinnt, sagt er, das heißt, für ihn geht es darum, die USA müssen ihren Vorsprung bei KI vor China um jeden Preis.

[20:49] Schützen, dazu muss man sagen, auch Amodae sagt, dass dieser Vorsprung gewahrt werden muss. Das gehört zu diesem Slowdown mit dazu, die sagen nicht, wir hören heute auf zu entwickeln, sondern sie sagen, wir müssen verlangsamen, aber nur so viel, dass China nicht überholt, ob das jetzt sinnvoll ist oder

[21:11] nicht, ey das keine Ahnung, kann ich gar nicht sagen. Spannend aus meiner Sicht ist die Sichtweise von Xi Jinping. Der hat nämlich für n international Globales KI Governance Abkommen geworben und hat da so Schlagworte in den Raum geworfen wie Open Source, Openess, Collaboration Sharing.

[21:31] Das Spannende da ist. Die chinesischen Konzerne haben ja schon Open Wait Modelle, die sind ja schon offen, die die machen das ja schon. Man könnte jetzt sagen die machen das weil die ganz genau wissen, dass die so in der Open Source Community. Dann viel besser ankommen, wie

[21:49] diese closed Modelle wie die US Konzerne sie haben. Ähm um ihren Rückstand aufzuholen, aber das naja kann man so sagen kann man kann man anders sehen, wie auch immer gleichzeitig kritisieren aber die chinesischen Offiziellen auch die US exportkontrollen und so weiter weil damit eben der

[22:12] Technologietransfer stark. Eingegrenzt wird würd ich es jetzt mal nennen, so. Also man muss abschließen oder? Zusammenfassend kann man sagen, Donald Trump sagt, wir machen hier überhaupt keine Guard Rails, wir ziehen hier weiter durch Entwicklung und ja Entwicklung und America first

[22:31] über allem und Xi Jinping hat das Problem wohl erkannt und sagt wir können so nicht weitermachen, da könnte man jetzt auch n Stück weit vielleicht. Das ist vielleicht so n so n so n diplomatischer, ja muss irgendwas auf jeden Fall um zu sagen, so diplomatisch wir tun,

[22:57] so als ob wir voll auf der Seite der Tech Pioniere stehen, um dann anschließend selbst die Entwicklung im eigenen Land oder vielleicht auch exportkontrollen. Ja. Vorwegzunehmen, Ich weiß es nicht. Könnte man also, kann man ihm

[23:15] unterstellen. Klar also, weil die Wahrheit werden wir nicht wissen, aus welchen Gründen er das so sagt, das wird sich erst in den nächsten Wochen zeigen, wenn Trump in Peking ist und über darüber gesprochen wird. Was man aber dieses Jahr auf jeden Fall gesehen hat, dass

[23:30] innerhalb von wenigen Wochen 5 chinesische Entwickler 6 Modelle veröffentlicht haben, die verdammt nah dran sind an den US Modellen. Also das ist Deep Seek Moonshot ZAI mit GLM und Alibaba mit Quen und Byte Dance so das hat und man muss ehrlicherweise sagen, Deep Seek zeigt das seit 2025,

[23:51] dass sie da. Dass sie mithalten können und was dazu noch gehört, deutlich günstiger sind. Und das alles mit trotz der Blockaden der USA. Versuchen China aus diesen Westrüsten halt rauszuhalten. Ja, es es gibt so. Es gibt die Vorwürfe aus den

[24:13] USA, dass die Chinesen ihre Modelle mit Destillation trainiert haben, das heißt, sie haben eine. Unfassbare Masse an an Tokens verwendet mit Anfragen, die sie gegen Claude GPT, gegen Geminy, gegen Grog gefahren haben, um Funktionen und Fähigkeiten zu extrahieren.

[24:38] Spannenderweise, also das wird man, das wirft man ihnen vor, spannenderweise wird es doch aber legitimiert, wenn zum Beispiel der Vorschlag von Elon Musk umgesetzt wird, dass die rivalisierenden Unternehmen. Sich gegenseitig kontrollieren? Dann könnte diese Destillation ja immer stattfinden, weil die

[24:58] Konkurrenz immer müss wüsste, wie weit die Konkurrenz ist. Ja, und auch selbst verzögern könnte. Wenn Sie dann versuchen, Einfluss zu nehmen. Genau, de. Auch das will ich Elon Musk gar nicht unterstellen, dass das sein Gedanke ist.

[25:12] Also wirklich nicht. Ich bin kein großer Elon Musk Fan, aber das möchte ich also das kann man ihm einfach nicht unterstellen, das dafür gibt's keine Beweise, ja. Und China nutzt die die Pause, um eventuell die bisherige, ja den den den Rückstand den sie haben halt auf aufzuholen.

[25:33] Ja, das könnte passieren, ja. Also es wird zusammenfassend muss man sagen, es wird auf gar keinen Fall nen Unkoordinierten Slowdown in den USA geben, ohne dass es globale Richtlinien gibt, da glaub ich nicht dran, dass das passieren wird. Was dazu gehört, ist auch noch hier.

[25:52] Open AI hat ja auch seinen Börsengang verschoben, die wollten ja eigentlich jetzt dann, ich weiß nicht, ob wir im Oktober oder im September noch an die Börse gehen, das wurde jetzt erstmal verschoben, offiziell, weil sie sagen, na ja, es gibt bessere Zeitpunkte um an die Börse zu gehen, als

[26:10] wenn dieser haging Phase Vorfall war. Jetzt die Interviews waren. Kann ich aber aus einer Business Sicht voll und ganz verstehen, dass man sagt, da verschieben wir unseren Börsengang. Mhm. Und die Frage ist, ist das nur n vorgeschobener Grund die also

[26:26] ich mein Sie haben ja den den Börsengang verschoben wegen Sicherheitsbedenken, das ist ja die offizielle ja Nachricht, glaubst du das ist Realität ich? Bin mir unsicher. Ich bin mir auch gerade unsicher, wie die. Allgemeinheit jetzt open AI wahrnimmt, gerade wie man so

[26:45] einen Börsengang wahrnehmen würde. Ich frag mich manchmal, ob wir uns vielleicht sehr in einer Bubble bewegen, die wissen was passiert oder die so ein bisschen mitbekommen, was da passiert ist das jetzt was was man, was man jetzt groß erfährt, wenn man sich nur mit normal,

[27:03] also in Anführungszeichen mit mit Standardmedien beschäftigt? Ich weiß es nicht, ich kann mir schon vorstellen. Dass da eine gewisse, ein gewisses betriebswirtschaftliches Kalkül dahinter steckt, glaub ich schon, auch wenn die jetzt sagen würden, wir explodieren mit

[27:22] Geld, wenn wir an die Börse gehen, würden sie es glaub ich trotzdem tun, aber sie, ich glaub sie befürchten irgendwas. Ich würde aber jetzt auch Sam Oldman nicht absprechen, dass es ihn nicht juckt was passiert, das würd ich ihm wirklich nicht absprechen, dieses Interview bei Fortune find ich da.

[27:42] Kam er sehr wie ein ja sehr nachdenklich rüber und das hat ja auch Jacob Coxon, der Ex andropic Mitarbeiter, gesagt. Man kann nicht sagen, dass bei Andropic intern nicht auch dieser Punkt vertreten wird, dass sie Guard Rails brauchen, dass sie langsamer machen müssen, der sagt als nicht mehr

[28:03] andropic Mitarbeiter, das ist kein Publicity Stunt hm und. Ja, warum sollte der in dem Fall jetzt lügen? Ja, also. Also es, es bleibt auf jeden Fall spannend, wie sich jetzt rauskommt. Ich mein, die haben ja auch jetzt schon Gespräche

[28:22] angekündigt, dass sie mit, ich glaube Open Air and Tropic, Google, Musk und auch Deep. Seek ja. Wollen die mit reinnehmen um so ne sagt. Ja, gewisse belastbare, ja vorhaben Halt machen also Absichten, wie Sie denn das sicherer gestalten können,

[28:48] einheitlicher gestalten können, kann natürlich sein, um halt einfach auch diese Sicherheitsbedenken, und ich kann mir auch vorstellen, dass gerade wenn viele Investoren dabei sind und die sagen, es gibt n Sicherheitsrisiko, da haben wir Angst zu investieren, ne und deswegen die Bewertung

[29:03] auch nicht so hoch ist. Ja, und also das das wurden. Jeweils Ordmen und auch, ähm, Amoday in ihren jeweiligen Interviews gefragt, ob es solche Treffen schon gibt. Die haben da beide sehr ausweichend geantwortet, aber für mich das Positive war, sie haben beide gesagt, naja sie

[29:24] werden das jetzt nicht öffentlich sagen, was da im Hintergrund läuft und das heißt für mich schon ein Stück weit, die reden immerhin miteinander. Die sind im Austausch, die haben vielleicht noch keine Lösung, was, wie sie es endgültig machen wollen, aber sie arbeiten dran und ich find ich find das ist NN

[29:43] guter Ansatz, wollen wir noch kurz drauf eingehen was das für nen was das die Security Implikation jetzt dafür ist. Also wie sich ich kann kurzen ich sag jetzt einfach kurz was ich denke was das bedeutet. Wenn so eine IN steht für Security Teams und dann kannst du sagen ob ich da komplett

[30:04] gestört bin oder? Nee, mach mach mach gerne, ich hab es nicht mehr bei mir im im im Skript drin. Wir hatten gedacht wir nehmen es vielleicht raus weil es vielleicht zu langatmig wird, also für die Zuhörer die jetzt wissen wollen. Wie muss ich reagieren?

[30:20] Die können jetzt zuhören und für die das jetzt zu technisch wird, die schalten ab. Ich halt mich auch wirklich kurz. Ich glaube KI socs werden n Riesending werden, also Security Operation Center die stark KI gesteuert Läufen werden glaub ich ultra wichtig in Zukunft

[30:38] werden um die Masse an Vulnerabilities oder Incidence zu handeln, dann glaub ich dass viele Security Analysten ihre Jobs verlieren werden. Weil Security Analysten erkennen Muster und sorry, da ist jetzt schon ne AI besser drin im Muster erkennen. Ich sag nicht alle hab ich

[30:55] gesagt da wird es n, da wird es zumindest nen Shift geben in andere Positionen und ich glaube die die noch in der Security arbeiten werden in Zukunft werden, also die werden gnadenlos viel zu tun haben und das sind so das würde ich jetzt mal so sagen, das sind so meine. Meine.

[31:13] Kurz, kurz, kurz, kurz und knapp, dann kurz meine Meinung dazu. Interessante These. Also ich glaube von diesem zusammenbrechen nicht, nicht im, also noch nicht so schnell von Sicherheitsexperten, dass die nicht mehr benötigt werden, sagen wir es mal so, also

[31:33] Analysten von Analysten. Das heißt für dich nicht so schnell. Also wenn ich jetzt mal sehe du du machst ich meine ein das ein Sock ist ja im Prinzip ein dahinter ist ja ein ein System vereinfacht gesprochen der ganz viele Daten von Systemen bekommt ja von von Meldungen logdaten

[31:58] also aufgezeichneten Daten und diese auswertet auf ob da Ungereimtheiten dabei sind. Ja so und. Da sind viele automatisierte hm, ich sag mal so Benachrichtigungen, die dann eben, da geht es auch noch sehr viel händisch, mittlerweile mit KI ne wird das ein bisschen

[32:20] schneller werden und du du Ratest im Prinzip also machst ein Rating wie groß der Sicherheits. Vorfall wäre, wenn das jetzt nicht behoben wird oder wie groß ist der Impact, diese Sicherheitslücke oder dieses, diese, dieser dieser Nachricht, die da kommen ist so, da hast du

[32:38] erstmal im Prinzip ne Bewertung von gering mittel bis schwer ja und wenn man jetzt mal reinguckt ich sag dir ehrlich sobald ein Rating kommt mit gering das guckt sich kein Mensch an, korrekt so also. Selbst n Mittel muss ich ehrlich sagen. Wirkt sich kein Mensch.

[32:58] Dafür ist, so guckt sich kein Mensch an, also da wird, da wird wirklich nur die hohen angeguckt und dann ist auch kommt auf die Fähigkeiten des des Socks an. Also gerade wenn Unternehmen selbst betreiben, weiß ich nicht, ob wirklich auch alle schwere sich direkt angeguckt werden, aber durch KI wird auf

[33:18] jeden Fall diese Auswertung von den leichten und mittleren erstmal massiv. Ausgewertet werden können und auch geschlossen werden können, vielleicht möglichst schneller, und eine Voranalyse von den schweren, dass die direkt auch schon Handlungsempfehlungen eventuell schon rauskommen,

[33:39] wofür eigentlich Analysten da sind. Ich glaube im ersten Step also meine Meinung ist meine meine Hoffnung in die in die Unternehmen und in die Menschheit, dass. KI erstmal der Enabler wird sich wieder auf die wichtigsten Sachen zu konzentrieren.

[33:55] Ja und erst und nicht Mitarbeiter erstmal entlassen werden, nur weil eine KI das jetzt übernehmen kann. Nein, nein, das wollt ich auch gar nicht sagen. Aber ich, also ich glaub auch nicht, dass das dieses Jahr passiert. Ich glaube nicht, dass es

[34:07] nächstes Jahr passiert, aber ich glaub, dass das ne Tendenz ist, die eintreten wird. Ja, also es, es kann sein. Wie gesagt, ich, ich glaube, der menschliche Faktor muss immer noch mit dabei sein um, ich sag mal so. Um die Kontrolle irgendwo zu haben, aber ja, wenn die KI voll

[34:27] autonom das macht, ja. Also ehrlicherweise hängt es von vielen Faktoren ab. Wie entwickeln sich die Tokenpreise, ist das überhaupt erschwinglich für für n Mittelstand oder KMU Bereiche und so? Das sind alles alles Abhängigkeiten, keine Ahnung wir

[34:42] wir haben alle keine Glaskugel. Ja, also ist n sehr guter Punkt. Also Tokenpreisentwicklung ist gerade schon etwas heftiges. Man sagen muss, das da wird sehr viel Geld mit, also die ganzen Anbieter heben gerade ihre Preise massiv an. Ich glaub für den Normalbenutzer, der also nicht

[35:05] gerade programmiert für den, für den Macht es Sinn einfach der braucht nur ne Basis, ne günstige Basis, der braucht kein Unlimited Paket so. Ja, also auf jeden Fall. Dementsprechend macht das schon Sinn. Das auch einzugrenzen, auch die Nutzung.

[35:23] Also bei mir wird es läuft gerade sehr viele Schulungen mit, wie optimiere ich meine Suchmodelle, welche welche KI mit welchen Suchaufwand verwende ich um möglichst Token zu sparen, wie wende ich vielleicht MCPS besser ein. Ja ja, also das ist n ganz wichtiger Punkt, aber wie trifft

[35:45] denn vielleicht schon wieder zu weit weg? Was man sagen kann abschließend ist. Es wird spannend. Es wird spannend, ja, fassen wir es noch ganz kurz zusammen. Also wir haben das genannte Alien mind, ich weiß immer noch nicht warum Alien meint der der

[36:01] Begriff steht, aber OK ist ja die das Essay was er rausgebracht hat KIA Brennten also KI Agenten brechen nicht aus Bosheit aus, sondern weil ihnen die Aufgaben durch ja ich würd mal sagen. Falsche Optimierung mitgegeben worden ist. Ja, wir versuchen sie einfach

[36:24] nur zu zu erfüllen, die Vorgaben ja deswegen Schöpfer wollen bremsen, das heißt, sie fordern Tempolimits, dass es nicht mehr unkontrolliert halt verbessert wird, die KI ja und die Politik weigert sich einer Pause halt zuzustimmen, aus welcher Gründen auch immer. Ja.

[36:48] Das mit dem warum das an Alien meint heißt kann ich auflösen. Hier geht es nicht um den deutschen Begriff von Alien, sondern der meint damit einfach fremdartig. Ach ja, klar. Also er meint nicht Alien Alien, sondern einfach, dass es eine nicht menschliche Intelligenz

[37:03] ist. Ja danke, aber dann würde ich sagen, machen wir den Alu Hut mal wieder n bisschen bisschen lockerer, dass wieder bisschen mehr Luft ans Hirn kommt. Ja, und wenn ihr uns in 14 Tagen wieder hört, dann ist auch schon wieder alles veraltet. Ja, dann, dann haben wir schon

[37:22] mal noch mal 8 neue Paper und 24 neue Frontier Modelle. Vielleicht hatten wir ja auch schon nen nen nen neues Essay oder nen Abkommen für die Verlangsamung, wer weiß. Ja, aber dann würde ich sagen. Macht euch nicht zu sehr n Kopf macht seid da nicht zu paranoid was diese 10% und AI wird uns

[37:47] alle auslöschen angeht, so dumm das klingt, im Zweifelsfall haben wir es eh nicht in der Hand was da passieren wird, aber ja. Und ich geh jetzt in den Urlaub und schalte komplett ab. Sehr gut. Dann einen schönen Urlaub. Dem Rest wünsche ich eine schöne

[38:04] Restwoche bleibt sicher und auch vielleicht n bisschen weniger paranoid diese Woche. Macht's gut. Tschüss.