Homelab mit OpenSense, Sophos Firewalls und KI-Sicherheit

Ich herzlich willkommen zur dritten Folge von Full Table Punkt Show. Die zweite ist mysteriös im Äther verschwunden, die gibt es nicht, aber wir bleiben trotzdem bei Nummer drei jetzt, weil sonst komme ich durcheinander. Lieber kommt ihr alle durcheinander, weil ihr immer die zweite sucht und nicht findet, aber könnt ihr euch jetzt ja merken.

Person 1 Ich zeig.

Ich Alles gut.

Person 3 Gleich, wir starten die Aufnahme und der Bot kündigt an, gleich gibt es Werbung. In drei Sekunden. Perfektes

Person 1 Timing.

Ich Ja, da müssen jetzt alle überall, wo sie zuschauen, mal ein Abo reinschmeißen, damit sie das mitgucken können. Ansonsten ist es wie im richtigen Fernsehen. Titel und Ansage und Werbung.

Person 3 Ja, aber im Fernsehen wird nicht weiter gesprochen, während die Werbung läuft. Deswegen

Person 2 ist das ja auch Fernsehen das eine und das ist Twitch.

Person 1 Ja, ist

Ich Siehst du bei mir im Chat, der Phil sagt schon, er braucht eine Ein -Minuten -Folge, damit er die zweite hat. Ja, nein. Ja,

Person 1 ja auch die Idee.

Ich Jungs. Dann sind wir jetzt bei unserer zweiten, dritten, dritten Folge. Dritten Folge. Von unserem Fulltable -Podcast. Ich habe so zwei, drei Themen mitgebracht zum Thema KI natürlich. Ich bin momentan eher auf der KI -Schiene unterwegs. Zum Thema, wie sieht es aus mit Source -Control bei Anthropic. Den läuft offensichtlich Ihr Git über. Also müssen Sie irgendwas Neues finden. Dann so ein bisschen zum Thema, man muss ein bisschen aufpassen, welche Models man lädt. Da kommen wir gleich drauf. Aber ich will gar nicht erst anfangen und ich will auch nicht das meiste labern müssen heute, weil ich habe nämlich eine Suppe gegessen vorhin und mir brennt die Klappe, die war zu heiß. Aber ihr habt ja bestimmt auch Themen dabei. Sagt doch mal Hallo und sagt doch mal, was ihr machen wollt.

Person 1 Ich

Person 3 habe keinen Plan, wie immer.

Person 2 Moin zusammen, ich hätte zwei Themen, die ich mitbringe. Das eine ist,

Ich Episode 2. Ah,

Person 2 Die D -NOC -Jahrestreffen steht an mit auch Livestreaming und jeder kann sich da noch registrieren. Remote zumindest. Live vor Ort ist schon ausgebucht. Und dort kann man auch nochmal ein T -Shirt mit für günstig abschießen. Ist vielleicht ganz interessant für den einen oder anderen.

? Und

Person 2 das andere ist, OpenSense hat ein neues Feature aktiviert. Vor ein paar Wochen oder vor ein paar Tagen, Wochen ist es schon, dass man WLANs jetzt auch auf Bridges anlegen kann. Und damit eine Art Switch mit einbauen kann. Das war uns auch so die Erfahrungswerte

Person 1 davon.

Ich ich habe gehört, du hast ja deine OpenSense umgestellt, ne?

Person 1 Genau. Hat

Ich Mit ein bisschen Hickhack, aber... Am Ende hat es dann doch funktioniert. Moment

Person 2 funktioniert. Wunderbar. Hab dann einen Kellerbesuch gemacht. Hab die Hardware vor Ort besucht. Und zum Schluss hab ich dann meinen Egon, den KI -Agent, alles machen lassen. Kontrolliert.

Ich einmal. Erstmal hast du dich sportlich betätigen müssen. Du bist in den Keller gelaufen.

Person 1 Ja.

Ich Warum? Ah,

Person 1 Ast abgesägt, auf dem er sitzt. Tischwort, ne?

Ich okay. Hast abgesägt.

Person 2 Ja, also um das Ganze ein bisschen zu entwirren. Mein Netzwerkdesign sieht so aus. Ich habe im Keller so einen Mini -PC als OpenSense. Der hat vier Netzwerkinterfäße, zwei Stück R45, zwei Stück SFPs. Der eine R45, da hängt der ONT dran fürs Internet. Am zweiten hängt mein Boxbox -Server dran. Und an meinem SFP hängt meine Wohnung dran. Nach der jetzigen Konstellation müsste ich entweder noch einen Switch aufbauen, der die Netze miteinander verbindet, dass ich von meiner Wohnung aus direkt auf den Proxmox kann, mit WLANs durchgeschaltet.

Ich Also warte mal ganz kurz, damit alle verstanden haben. Du gehst unten im Keller von deiner OpenSense, die auf irgendeiner alten Hardware läuft, mit zwei Interface raus in unterschiedliche Gefilde in deinem Domizil.

Person 1 Genau.

Ich Mhm, okay.

Person 1 Sie ist sozusagen gleichzeitig Switch und Router und Firewall.

Ich Okay, weil du bisher da keinen Switch dazwischen hattest noch.

Person 1 Genau. Ich spare mir den zusätzlichen Switch daneben.

Ich Okay.

Person 2 Und ich möchte gerne eben halt, ich habe WLANs, die zum Beispiel das Managen der Switche in meiner Wohnung. Die haben ein WLAN und das soll direkt bis zu dem Proxmox Server durchgereicht werden über diese OpenSense. Bisher war das sehr kompliziert. Man musste auf jeden Interface, auf jeder Bridge das einmal einzeln einrichten, hatte dann pro Interface einen ganzen Sack voll WLANs konfiguriert und dann alles drei, vier, fünf Mal vorhanden.

Ich Also das heißt, wenn ich mir das jetzt richtig vorgestellt habe, wenn du zwei Ports benutzt aus der OpenSense raus in dein Netzwerk, einmal quasi links rum und einmal quasi rechts rum oder in die Wohnung rauf, dann hattest du trotzdem den Bedarf, dass sowohl auf der Infrastrukturseite links rum, wo der Proxmox hängt, als auch da, wo die Wohnung hängt, Zum Beispiel ein WLAN, was weiß ich, 10 war für Management zum Beispiel und auch andere WLANs wahrscheinlich. Die brauchtest du in beiden Ecken.

Person 1 Genau. Genau. Genau.

Person 2 Genau. Die dann sich durchreichen. Und das Ganze war etwas bisher sehr umständlich mit der Open Sense zu machen. Und jetzt hat die Open Sense ein neues Feature aktiviert, was jetzt in BSD ausgerollt wurde. Im Frühjahr, Sommer war das, glaube ich.

Ich Warum jetzt

Person 2 Irgendwann war es auf jeden Fall, dass man jetzt auf der Layer 3 Bridge auch WLANs einrichten kann, sodass ich jetzt nur noch eine Layer 3 Bridge habe, die alles verwaltet. Und auf der sind dann diese Interfaces angebunden. Also alle LAN -Interfaces sozusagen hängen auf dieser Layer 3 Bridge. Und diese Layer 3 Bridge hat gleichzeitig noch WLAN -Interfaces drauf. Und auf diesem WLAN -Interface habe ich weitere Layer 3 Bridges angelegt. Oder Interfaces angelegt.

Ich Layer 3?

? Weil

Person 2 die WLANs

Person 1 auch eine IP -Adresse benötigen.

Ich Naja gut, dann sind es halt SVIs für das WLAN, aber die WLAN -Zugehörigkeit, die WLAN -Tags, die die Bridges kann, ist doch Layer 2.

Person 1 Ja, das sind Layer 2 Interfaces.

Ich Also du baust ja quasi jetzt eine Bridge, wie du in Broxmox bisher auch schon eine bauen kannst. Und an diese Bridge kannst du jetzt irgendwelche Interface ankleben, sowohl virtuelle als auch eben physikalische in deiner OpenSense zum Beispiel. Und dann kannst du dort drauf noch WLANs konfigurieren.

Person 1 Genau. Genau. Genau.

Ich Genau, und jetzt gehst du halt her und machst dann noch IP -Adressen, also sprich, was man früher in der Zeit, in der ich noch Netzwerk gemacht habe. Und der SVI verstanden hat zum Beispiel, also Switch Virtual Interface, was dann eben das Layer 3 Interface war dafür, was so ein Switch damals hatte.

Person 2 Genau. Was jetzt noch ein kleines Zwischen -Hopser ist, man kann nicht direkt ein physikalisches Interface auf diese Bridge konfigurieren, sondern man muss immer erst ein virtuelles oder grundsätzlich ein Interface anlegen, eine Zuweisung machen.

Ich Du

Person 2 Also das heißt, wenn ich einen NIC habe, dann gebe ich dem NIC ein Interface und das Interface kann ich dann wiederum an diese Bridge koppeln.

Ich meinst also in der OpenSense, so wie das auch bisher war, dass du sagst, du hast quasi Hardware Interface oder irgendwelche virtuellen Interface, was es früher gab, VLANs und Zeug.

Person 1 Genau, genau,

Ich Und dann musst du die zuweisen oder assignen, erst mal um sie in dem OpenSense,

Person 1 genau, genau,

Ich Firewall Konzept nutzbar zu machen. Das ist quasi nur, ich lege ein Alias drauf und habe dann das Interface, das ich auch benutzen kann für IP -Adressenvergabe, für Firewall -Regelvergabe und all so ein Kram.

Person 1 das ist so ein Zwischenlayer.

Ich Und die nimmst du dann und packst sie auf die Bridge, diese zugewiesenen Interface.

Person 2 Genau, weil die OpenSense benutzt so eine Art Zwischenlehrer, um die ganze Physik zu harmonisieren und einheitlich zu gestalten in ihrem System. Und dadurch brauchen wir zwar den Zwischenlehrer, das heißt, man legt ein virtuelles oder dieses Interface an, was direkt mit dem Physikalischen verknüpft ist, kann eine Bridge anlegen, kann direkt diese Interface hinzufügen, zum Beispiel drei Stück oder zwei Stück. Bei mir sind es jetzt zwei solche Interface, die ich zugefügt habe. Und auf der Bridge kann ich dann wiederum, wenn ich WLANs anlege, diese Bridge auswählen, sodass ich dann auf der Bridge diese WLANs definiert habe und die Bridge in Anführungszeichen eine Art Dranking -Mode hat, von der

Ich Okay. Genau, das wäre jetzt die nächste Frage nämlich gewesen. Das Ding muss ja in einem 802 .1Q oder eben Drunk -Mode sein. Und das erben dann in dem Fall auch die Interface und kriegen diese WLANs mitgeschickt.

Person 1 Funktionalität her.

Person 2 Und die WLANs, die ich da angelegt habe, denen habe ich dann wiederum eine Zuweisung gemacht und habe dort dann eine IP -Adresse draufgelegt, weil sie gleichzeitig als primäres Gateway für das jeweilige WLAN dienen sollen.

Ich Okay. Und bisher war das halt so, so wie ich es in Erinnerung gehabt habe, denn den Fall, den der Marco jetzt gerade eben beschrieben hat, ist ja eben das Thema, wir haben quasi zwei Stränge, an denen wir Geräte angeschlossen haben, die nicht über irgendeinen gemeinsamen Switch gehen, die aber dann trotzdem die gleichen WLANs brauchen und wo auch passieren kann, dass ein Gerät in einem WLAN, meinetwegen Management -WLAN, sowohl auf der einen Seite als auch auf der anderen Seite hängt und die müssen über den gleichen IP -Bereich dann erreichbar sein. Und das war bisher immer so in diesen Sense Firewalls dass man dann dort jedem dieser Interface ein so ein WLAN -Tochter -Interface bauen musste. Da musstest du die WLAN -Squares doppelt anlegen.

Person 2 Genau. Und dann wiederum diese WLAN -Interface konnte man dann mit einer Bridge wieder verknüpfen. Das ging schon. Aber dann hatte man für jedes WLAN eine Bridge und hat dann dort diese, also das ist etwas sehr gruselig. Und dazu muss man,

Ich Und hat dann zweimal WLANs konfigurieren müssen, links und rechts und da an die Bridge packen. war es ja mehr Aufwand.

Person 2 beziehungsweise für jedes NIC, muss man einmal den kompletten Stack an WLANs konfigurieren, um das hinzubekommen.

Ich Genau. Drum sag ich jetzt zweimal, weil du redest ja immer von zwei Richtungen, wo du gehen musst. Aber wenn du jetzt drei, vier Interface hast, dann musst du es halt dreimal machen oder viermal machen.

? Und

Person 2 das ist ein

Person 1 riesen Reitenaufwand. Genau.

Person 2 Was halt interessant ist, wenn man zum Beispiel so ein altes Sophos Firewall sich irgendwo gebraucht schießt, die hat dann 8 Nicks drauf und macht dann eine OpenSense drauf, kann man dann ein oder zwei Interfacer als Waren nehmen und kann dann die anderen auf diese Art und Weise sehr geschickt zusammensetzen

? Das

Person 3 macht auf jeden Fall die Konfiguration deutlich einfacher.

Person 1 Was war das für eine? Kann man das noch auslesen?

Ich Also ich muss ja gestehen, ich mache mittlerweile in dem Lab -Netzwerk, das wir haben, auch viel mit dem Cloud zum Beispiel, weil Mittlerweile bin ich echt auf dem Trichter. Ich will ja gerade was ausprobieren und ich habe einen bestimmten Aufbau vor. Den will ich jetzt ausprobieren. Und dann brauche ich nicht eine Stunde mich beschäftigen, mit Aufbau aufbauen. Dann will ich den Aufbau ausprobieren. Und dann sage ich das dem Cloud. Und der ist dann fix drauf und sagt immer gleich, soll ich das eintragen in deine Netbox? Sag ich, jo, mach mal. Dann steht es auch gleich in der Netbox drin. Ganz hervorragend.

Person 1 Das war eine Sophos SG230.

Ich Genau. SG230. Ich habe gerade eben den Firefox hier offen. Dann kann man das ja mal zeigen, das Ding. So ein Teil mit einem Haufen Ports, oder was?

Person 1 Genau.

Ich Wow.

? Die

Person 2 haben viele Ports.

Ich Okay.

Person 2 Beziehungsweise ich habe da noch eine andere. Das ist die Sophos XG450. Die habe ich da auch noch gekauft.

Ich Also ich sehe hier die SG230, die hat hier mindestens schon mal 5, 6 Ports dabei und dann noch so ein Modul drinstecken hier bei den Bildern.

? Die

Person 1 hat SFPs und man

Person 2 kann sie erweitern, wenn man möchte.

Ich Ja, der

Person 1 Und dann habe ich mir noch die XG450 gekauft.

Ich Marco ist der Gnadenfriedhof für alte Firewalls.

Person 1 Sie funktionieren.

Ich Ja, klar, ich meine, und wenn man da ein anderes Betriebssystem draufpacken kann, wenn du da jetzt eine OpenSense draufmachen kannst, weil das Ding ist ja ein X86 am Ende.

Person 1 Genau.

Ich dann ist es ja ideal. Dann brauchst du dich nicht kümmern um eine Sophos -Lizenz oder irgendwas Ausgelaufenes, bla bla bla. Du kaufst dir für ein paar Euro so ein altes Ding, das keiner mehr haben will und schmeißt eine OpenSense drauf und hast eine Enterprise Firewall, die auch entsprechend was hermacht.

? Zur

Person 1 Orientierung.

Person 2 Die 230er habe ich für 80 Euro bei Ebay geschossen und die 450er für 160.

Ich Ja klar.

Person 2 Also für 80 Euro in ein HE -Surfer -Einschub, sage ich jetzt mal so salopp. Mit Netzteil allen drum und dran, das ist ja schon eine Schnapper. Funfact, die haben ja ein kleines LCD -Display dran. Mein Egon hat es geschafft, den Reverse zu ingenieren und habe den dann einen eigenen Treiber gebaut unter BSD. Der hat mir hier die Anzeige gesteuert,

Person 1 individuell.

Ich Das ist so eine neue Segmentanzeige, oder?

Person 1 Also ein LCD -Display ist das, was leuchtet, wo man so mit den Knöpfen rumspielen kann. Und Pixel,

Ich Ja, ja. Aber es ist nicht grafikfähig. Es sind Buchstaben und Symbole, die kommen, oder?

Person 1 das sind Pixel.

Ich Okay. Echt? Cool.

? Das

Person 1 sind

Person 2 zwei Zeilen Pixel wie beim Taschenrechner früher.

Ich Okay.

Person 2 Gibt es Plugins für die

Person 3 OpenSense, mit denen du das steuern kannst?

Person 2 Ja, also zeigt bei mir die CPU -Auslastung an und die Uptime und die IP -Adresse und solche Sachen. Und wenn ich durchdrücke, kann ich mir die einzelnen Nix, die entsprechenden Datenlasten anzeigen grafisch. RX und TX und solche

Person 1 Geschichten habe ich mir da gebastelt.

Ich Irgendwann, wenn mal Glasfaser kommt, steht gerade im Chat, dann brauche ich einen 2 ,5G -Router. Ja.

Person 1 Aber man

Ich Irgendwann, wenn mal Glasfaser kommt, ist dabei, glaube ich, der operative Teil von dem Satz, ja.

Person 1 muss halt beachten, die brauchen relativ viel Strom. Weil es ist halt Enterprise, die haben nicht auf den Strom geachtet.

Ich Ja. Du meinst jetzt deine Sophos hier oder was?

Person 1 Naja, die Sophos.

Ich Ja gut, klar. Mit Sicherheit auch die ältere Variante noch mehr als die neuere, wenn du jetzt von der V1 und der V2 gesprochen hast gerade eben.

Person 1 Genau.

Ich Dann wird die V2 vielleicht auch schon sparsamer sein.

Person 1 Aber auf der...

Ich 32 Watt Leerlauf schreibt gerade einer im Chat. Was

Person 1 Auf der XG450 habe ich im Endeffekt einen Proxmox laufen.

? Was

Ich ist denn da drin in dem Ding?

Person 1 ist da drin? Moment.

Ich Irgend so ein Xeon wahrscheinlich mit wie viel Speicher?

Person 1 Übersicht.

Ich 32 Watt, krass. Ist 32 Watt jetzt viel oder ist es wenig?

? So,

Person 1 Eine

Person 3 Firewall würde ich sagen. Wenig.

Person 2 Ist ein Intel Xenon CPU E3 1275 drin mit 8 Kernen. Und 32... Also ich habe dann umgerüstet auf 32 Gb. Da waren... Da waren, glaube ich, vorher 16 drin oder 8 und ich habe dann auf 32 umgesteckt, DDR4 RAM.

Ich Okay. Stimmt, hast gesagt, ja. Also ganz normales DDR4 -Ram oder was?

Person 1 Ja, ja, diese kleinen hier, die großen Riegel, die langen, genau, die normalen Riegel, die passen da rein.

Ich Die normalen PC -Riegel, nicht die Laptop -Dinger. Okay. Ist ja mittlerweile auch schon fast Gold wertes Zeug. DDR4 wird ja wieder teuer, DDR3 wird teuer. Jetzt habe ich ein Video gesehen bei YouTube, da hat einer DDR2 Gaming -PC gebaut. Du

Person 1 Ja, die hatte ich noch über von

Person 2 meiner Frau, ihrem Zocker -PC, den hat man mal auf 64 aufgerüstet und die 32 GB waren noch über, jetzt sind sie da eingebaut.

Person 1 Ups.

Ich Ja. Ja, der Moritz. Schau mal, der Moritz hat Ram. Der hat Ram, hier. Ram -König, Alter.

Person 1 Das passt alles in der Reihe und zwei.

Ich Der Moritz, der hält gerade so eine Plastikbox, wahrscheinlich 3D gedruckt, ins Bild, wo die RAM -Riegel so reingesteckt sind, einer nach dem anderen, ganz dicht gepackt, zwei Reihen. Ja, alter Schwede. Das passiert.

Person 1 Du hättest mal die Streams im Dezember sehen müssen oder Anfang des Jahres.

Ich Ja, bevor die neuen Server kamen, ich weiß schon.

Person 1 Naja, die habe ich dann ganz schnell aus dem Haus geschafft.

? Ist

Person 1 bekannt, wo ich wohne.

Ich Andere zeigen ihre Rolex, genau.

Person 1 Also wenn ihr zu mir ins Stream geht, da zuschaut, seht ihr, wie ich gerade Proxmox update.

Ich Genau, das haben wir noch nie gesehen.

Person 1 Genau, das ist was ganz Neues.

Ich Broxbox -Updaten ist schon... Das habe ich das Gefühl, mache ich auch fast jedes Mal im Stream, weil immer ist irgendwas da. Mittlerweile ist es echt so, jedes Mal, wenn du den Rechner einschaltest, kommt irgendein Update. Das ist einfach so. Und vor allem ganz krass ist es ja, ich mache mal die Brücke Richtung Anthropik schnell. Ganz krass ist es mittlerweile ja, wenn du so Dinger nutzt, wie zum Beispiel Cloud Code. Das kannst du einschalten, dann kommt Update, Install, Please Restart. Dann machst du das, wenn das gerade geht, also wenn es gerade passt. Dann dauert es 5 Sekunden und ratzfatz, Update, Install, Please Restart. Also das kommt mittlerweile mehrfach am Tag vor, dass das passiert. Und das hat dazu geführt, bei Androbic, Die haben tatsächlich ein Problem, wenn man hier mal schaut. Die bauen mittlerweile sämtliche Software mit dem Cloud. Es gibt ja schon gar niemanden mehr, der Code schreibt bei Anthropic überhaupt. Die bauen also mit Agentenschwärmen Software und zwar in einer Dimension, von der sie selber ja auch sagen, wird wahrscheinlich keine andere Company machen. Aber sie haben halt den Zugriff und sie müssen ihre Software auch testen. Deswegen haben die das gemacht. Jetzt sieht man hier auf dem Graphen, den ich gerade ins Bild halte, dass Anthropic im Mai 2026 noch ungefähr 2500 Code Changes pro Tag gemerged hat. Also Pull Requests quasi. Und jetzt mittlerweile ab September, und das ist die Zahl vom September, vom Oktober keine neue, vom September haben sie über 30 .000 am Tag Code Changes gemerged in ihrer Codebase. Und die haben offensichtlich ein riesengroßes Mono -Repo, in dem sie alle ihre Produkte drin haben, also das teilen die das nicht auf. Und was jetzt dann wirklich krank ist, weil im Chat steht gerade eben, das ist ja schon krank, man sieht also wirklich wie von Oktober aus, von Oktober, aber hier von Juni an geht es massiv nach oben. Es gab mal irgendwie eine ruhige Woche da im August zur Ferienzeit, da war fast nichts los, aber seitdem ist das ein steiler Anstieg.

Person 1 War

Person 2 das das, wo die ihre Kisten mal gesperrt haben? Die hatten doch mal im August irgendwo ihren Trouble gemacht. Mit Ausbrechen und nicht weiterentwickeln.

Ich Ja, das war mit dem Thema, wo sie bei Hugging Face eingefallen sind, aber das war ja OpenAI. An Tropic ist das wohl auch passiert. Und jetzt vor kurzem haben sie dann gesagt, wir sperren denen den Zugang nach draußen beim Testen. Der Punkt ist, das ist ja schon mal von der Zahl her, finde ich, recht beeindruckend. Also von 2 .500 Code Changes am Tag auf 30 .000 am Tag. Ist schon mal bemerkenswert. Wenn man sich jetzt mal anschaut, was die für ein Problem mit ihrer CI haben dabei, das ist nämlich eigentlich das Problem, was sie haben. Eine CI ist, für die, die es nicht wissen, wenn draußen jemand zuhört, Continuous Integration am Ende. Sprich, dort laufen automatische Prozesse ab, die so Dinge tun wie Tests machen, Bild testen und unter Umständen, wenn man das gerne möchte, eben auch dann den Code gleich im Live -System draußen deployen. Deswegen Continuous Integration. Also die Entwickler, die entwickeln was und da hinten dran kümmert sich ein Automatismus drum, dass das geprüft wird. getestet wird und gebaut wird und unter Umständen eben, wenn man das will, auch deployed wird. Jetzt ist es so, dass denn ihr Mainbranch allein eine History hat von 100 Gigabyte. Ja, 100 Gigabyte. Und ein Compressed Working Copy, sind auch schon 25 Gigabyte. Und jetzt haben sie geschrieben, we perform on the order of 25 million code checkouts per day for CI. Also sprich, die ganzen Tests, die laufen, holen sich jedes Mal das ganze Repo, bauen das, testen das, lassen das durchlaufen. Sodass das im Endeffekt momentan so ist, wenn die alle das so oft abholen würden, dann wären das 600 Petabyte an Traffic pro Tag nur für Git. Das musst du dir mal reinziehen, ja. 600 Petabyte an Traffic am Tag nur für Git. Also für die CI. Noch gar nicht mal die Developer -Environments, Agent -Sandboxes und Research -Jobs mitgezählt. Nur das, was passiert, während diese Hunderte und Tausende von Agenten, die da bei denen in der Gegend rumprogrammieren, Code -Changes machen und die CI diese Code -Changes eben dann validieren muss. Das ist ein eher witziger Zuwachs. Jetzt sind die ja nicht die Ersten, die das Problem haben. Es gibt ja auch schon, ich glaube, Google waren welche dabei und Facebook war auch schon dabei. Die haben ja auch schon eigene Software -Control gebaut. Die sagen sich jetzt, mittlerweile ist das Problem, also der Bottleneck ist ja nicht mehr der Programmierer, der Bottleneck ist mittlerweile der DCI, also quasi das Prüfen des Codes am Ende. Weil die KI schreibt und schreibt und schreibt und schreibt, das können die schnell. Aber das mit dem Testen geht halt nach wie vor genauso langsam wie vorher und braucht genauso viele Programme. Und jetzt ist es halt so, dass sie da ihre eigene Source -Control gebaut haben. Sie nennen die Scion, glaube ich. Wenn ich es wieder finde, dann kann ich es auch bestätigen. S -C -I -O -N, hat nichts zu tun. Ja genau, hier Scion, da steht es. Jetzt kann ich das nicht markieren, weil das ein PDF ist. Also haben sie ihre eigene Source -Control gebaut, weil sie sich halt sagen, was ist das Problem mit Git? Git ist ein Offline -System. Also Git geht davon aus, dass jeder Programmierer sich quasi das Repo zieht, inklusive der Historie und allen Changes oder dann lokal arbeitet und dann, wenn er fertig ist, das wieder auf den zentralen Server pusht. Aber am Ende ist es bei Git eben so, jeder Client, der den vollen Checkout hat, kann prinzipiell auch Server spielen. Er ist also dezentral organisiert. Und bei Anthropic haben sie das Ganze jetzt zentralisierter gemacht, nämlich so, dass die Clients sich gar keinen vollständigen Checkout mehr holen müssen. Die holen sich also nur noch das ab, was sie wirklich brauchen. Working Copy is optional and sparse by design. Sprich also, sie sparen sich damit gigabyteweise an Downloads für einzelne Checkouts und eben halt hunderte von Petabytes, die da geladen werden müssen. Das heißt, in dem Scion haben sie Changesets eingeführt, was eine Unit of Work ist und ist im Endeffekt ein Writer -Headlock. All Changesets stores most of what you'd expect from a commit in Git. Aber wo Git ein Pointer speichert, speichert das Changeset eine Liste von Files, die im Endeffekt gechanged werden, relativ zu ihrem nächsten also dem direkten Vorgänger quasi. Die Changes werden dann auf dem Server generiert und sind sofort überall available, weil jeder, der mit dem Repo oder mit diesem Source -Control arbeitet, eben instantly auf die gechangten Files zugreift, sofern die in seinem Changeset, das er bearbeiten will, drin sind. Kann also der ganze Tanz entfallen von wegen Checkout und ändern und dann Branch machen und Push und so weiter und dann wieder zurückspielen. Das kannst du dir alles sparen und sparst dir halt eine Menge Traffic. Was am Ende bedeutet, dass sie es geschafft haben. Jetzt muss ich die Zahlen da unten suchen, weil das ganze Ding vorlesen ist ja albern. Die Scion -Infrastruktur ist 200 Mal kleiner. 200 Mal weniger Ressourcen brauchen die. wie für ihre bisherige Git -Mirroring -Infrastruktur, weil sie das Git natürlich auch nicht zentral gehalten haben, sondern viele, viele Mirrors hatten, um überhaupt mit den Zugriffen klar zu kommen. Dann haben sie hier irgendwas, CI and Research Jobs Checkout to Orders of Magnitude Faster. Das sind hundertmal schneller. Das musst du dir mal vorstellen, was das an Zeitersparnis bringt, natürlich bei denen auch. Da gehen die Jobs viel fixer und du musst weniger laden. wenn irgendwas 100 Mal fixer geht als vorher, dann hast du halt das Thema nicht. Und die ganze CI spart ungefähr 25 % an CPU ein. Das klingt jetzt erstmal wie ein geiles System, was sie da haben, aber sie sagen weiter unten in ihrem Bericht auch, die glauben nicht, dass das irgendjemand brauchen kann, außer sie selbst. Sie open sourcen es deswegen auch, glaube ich, nicht, weil sie sagen, in diesem Scale arbeitet niemand. Also das machen die. weil sie ihre Cloud -Infrastruktur halt testen, weil sie das Ding alles bauen lassen, weil da hunderte und tausende von Agents den ganzen Tag irgendwas bauen, das bezahlen die meisten Enterprises schon gar nicht. Also das fand ich nur mal interessant zu zeigen, was da passiert oder mal den Artikel zumindest mal hier herzuzeigen. Wenn man sich überlegt, man hat 600 Petabyte an Git -Traffic am Tag, das ist schon irrwitzig. Absolut irrwitzig finde ich das.

Person 3 Für das bezahlen die meisten Firmen nicht. Bald hat auch jeder so ein Nvidia Spark Laptop und lässt seine AI lokal laufen, wenn es nach Nvidia geht.

Ich Obendrein.

Person 3 dann kostet es doch nichts mehr,

Person 1 wenn ich die Keynote richtig verstanden habe.

Ich Ja, genau. Sie sagen das hier unten auch irgendwo. Warte mal. Für wen ist das am Ende? Erstens mal ist es so zugeschnitten auf Anthropics selbst, dass es schwierig ist, das auf irgendwelchen allgemeinen Stand zu heben am Ende. Aber sie gehen eben davon aus, however, we anticipate that this class of problems will become more commonplace over the next 6 to 12 months. And it would be an inefficient use of engineering resources for every company using Git to face similar challenges alone. Given that we think the most impactful thing that we can do is to share our thinking. Mindestens das Thinking in diesem Ding. Also wirklich irre. Wirklich irre, was da geht. vorhin im Chat gelesen, ganz zu Anfang, jemand hatte gefragt, Marco, was ist denn die D -Nock überhaupt?

Person 1 Genau, die German

Person 3 Network Operator Group.

Person 2 So Ja, die German Network Operators Group, das ist so ein loser Zusammenschluss um den D -SIGS, so ein bisschen drüber rum, alles so Verrückte, die sich mit Netzwerk und Routing und Peering und solchen Sachen beschäftigen.

? Die

Person 2 toben sich da aus.

Ich Da bin ich auch noch in dem IRC -Server angemeldet bei denen, glaube ich. Seit 100 Jahren. Also

? Die

Person 2 machen so ein bisschen lokale Programme auch, die Leute ranführen, so ein bisschen verschiedene Arbeiten. Und die haben jetzt die Jahresveranstaltung, ist diesmal in Essen. Es wird dann immer interessanterweise am Ende der Veranstaltung ausgelost oder wird beschlossen, definiert, wo dann die nächste ist. Und das wird immer über die Mehrheiten. Also jeder kann eine Stimme abgeben, welche Stadt die nächste sein soll. Und die wird dann vorgeschlagen. Und diesmal ist es Essen geworden. Geht immer drei Tage in etwa. Da sind entsprechende, man sieht es auf der rechten Seite, Sponsoren da, die auch Vorträge teilweise halten. Da geht es mal um WDM. Was ist das WDM? Oder FlexOptics hat sich auch mal mit SFPs. Was bedeutet das mit Programmieren? Oder was ist das Besondere bei 400 Gig SFPs? Beziehungsweise die heißen ein bisschen anders da, war ein anderer Formfaktor. Bis hin zu, wie kann ich mit Netbox einen Carrier bauen oder IVPN und wie nutze ich es? Also breit gestreutes Themenspektrum auf sehr professioneller Ebene unterwegs. Das ist eher Nerds für Nerds. Das ist weniger was für Zuschauer, die jetzt nicht wissen, wovon man redet. Also Grundlagen sollte man haben, wenn man dahin geht. Audi streamt das auch, das Ganze, und das kann man sich auch übers Internet angucken.

Ich diese DNOC ist ja ein Abkömmling der amerikanischen NANOC. North American Network Operators Group. Es gibt viele NOCs am Ende, weil es sie in anderen Ländern eben auch gibt. Früher war das halt ein IRC -Channel, wo man sich als Betreiber oder Angestellter von irgendwelchen Providern zum Beispiel getroffen hat. Da ist man abgehangen und hat dann auf dem Seitenkanal Dinge getan, die über die offiziellen Kanäle schwieriger oder langwieriger waren. Sprich so nach dem Motto,

? Zum

Person 1 Beispiel, wer ist denn gerade in Part 3 und kann mir mal einen Patch ziehen?

Ich ja, oder kann man mal ein Peering aufsetzen oder sowas zum Beispiel, was heutzutage ein bürokratisches Monster ist. Irgendwie mit irgendeinem Vertriebler reden, Formulare einreichen, Genehmigungen bis rauf zum Board stellenweise wegen so einem Homebook. Da hast du einfach zack, zack im IRC -Channel eben mal schnell gebaut und

Person 1 Oder meinen Server mal schnell rebooten.

Person 2 Dir ging es eher dann drum, mal schnell einen Dienstweg, mal wer kann schnell supporten oder wer kann SFPs mitnehmen, wenn er dorthin fährt und uns

Person 1 vorbeibringen.

Ich noch nicht mal sowas. Also das ist jetzt bei Feldtechniker vielleicht ein Thema gewesen, aber wenn du in so einem NOC eben arbeitest quasi und für Netzbetrieb zuständig bist, dann ist es ja auch so ein Thema wie ey, wir haben hier irgendwo gerade ein Routing -Problem, Kunden rufen an, bla, und dann bist du da rein, hast die geschaut, könnt ihr mal schauen, bei euch kommt das nicht an, die Kunden erzählen, die können euren Traffic nicht sehen oder eure Kunden nicht erreichen, ja.

Person 1 Genau.

Ich Da hat man halt mal einen Trace gemacht und hat direkt ein Feedback gehabt gegenüber, was passiert und auch unter Umständen eben dann gemeinsam. den Fehler schneller gefunden, was A heißt, man hat den eigenen Fehler vielleicht besser gefunden oder aber die anderen haben ihren Fehler oder ihr Problem schneller gefunden, als wenn das über irgendwelche offiziellen Support -Kanäle erst eingekippt werden müsste. Es war halt so ein Live -Chat zwischen Netzwerkbetreibern. Und da siehst du ja auch schon SSH, WDM Basics, BGP von Network Super, also da geht es um, ups. Da geht es um alle möglichen Dinge. Jetzt habe ich mich wieder verklickt. Scheiße. So, da nochmal. Die Agenda sieht man ja hier. BGP Workshop. Poor Man, Great Wifi, auch nicht schlecht. OpenPGP, Key Management. Okay, aber auch sowas gibt es. Death to Perfectionism, Get Unstuck.

Person 1 Ja, irgendwo.

Ich MPLS Transport. Also das sind schon so die, eigentlich die großen Netzwerkthemen, die da kommen.

Person 1 Ja, oder hier zum

Person 2 Beispiel, das ist noch interessant, vom Network, nicht nur vom Netbox, to Network. Das wäre

Ich A hands -on automation workshop. Ja, genau.

Person 1 vielleicht auch was für dich, Gerd. Für so einen gewissen Punkt.

Ich Also ich werde mich da anmelden und mir das reinziehen über online halt. Die streamen ja, glaube ich, auch live, oder?

Person 1 Ja genau, und da ist das Schöne, wenn man sich registriert, kann man auch noch ein T -Shirt bestellen für 10 Euro.

Ich Das brauche ich jetzt nicht, aber das

? Wer

Person 1 möchte, zumindest.

Ich hilft denen ja auch so ein bisschen vielleicht. Deswegen gar nicht dumm, ja.

Person 1 Man

Ich Also ich werde mir auf jeden Fall das anschauen.

Person 1 kann auch im Nachgang dann

Person 2 die Videos angucken, die haben die auf YouTube dann im Kanal, wo man sich anguckt, und auch die älteren.

Ich Schauen wir uns das halt später an, ja. Wurscht.

Person 3 Oder wird vorhin schon geschrieben, Media CCC einfach.

Person 2 Ja, der CCC

Person 1 supportet ein bisschen seine Plattform.

Ich Ah, der Michi, okay mit dem T -Shirt, habt ihr mich.

Person 3 Also ich glaube, wenn ihr für 10 Euro ein T -Shirt kaufen könnt, dann supportet ihr die damit nicht. Das wird wahrscheinlich sehr subventioniert von den Sponsoren alles. Ja.

Ich Das kann auch gut sein, ja. Who knows? Das weiß ich nicht. Wie geht's denn mit deinem Braux -Markt?

Person 1 Ich bin durch. Alle 5 Notes geupdatet.

Ich Okay.

Person 1 Danach Power -Off. Zwischendurch rebooted. Aber bin durch. Klappt.

Ich Aber das waren jetzt Nodes, die noch nicht am Netz waren, oder was? Das waren jetzt die mit den SFPs, die nicht gingen von vorher.

Person 1 Nichts ausgefallen.

Person 3 Das war jetzt das neue Cluster -Entfälle, weil da sind noch keine Kunden drauf.

Ich Okay.

Person 3 Also alles Gute, das kann man mal kurz im Stream öffnen und auch mal neu starten, ohne Ankündigung. Wobei, in Frankfurt kündige ich auch nichts

Person 1 an, dann mache ich einfach, dafür hat man ein Self -Cluster. Frankfurt ist einiges gewöhnt.

Ich Wieso in Frankfurt? Wo bist du jetzt hingezogen nach?

Person 3 Meine Kunden sowieso. Ich habe jetzt einen zweiten Standort in Velbert aufgebaut und werde den in den Niederlanden dafür schließen. Migriert jetzt bald alles nach Velbert.

Ich Deswegen ist mein Server ständig offline.

Person 1 Das ist Lüge.

Ich Weil der Moritz umbaut, ja.

Person 1 Lüge.

Ich Erstaunlich. Das hier ist ein extrem interessantes Thema, das wir jetzt gerade hier als nächstes haben, finde ich. Nämlich das Thema naja, booby -trapped LLMs quasi. Man sagt ja immer, oder man glaubt ja immer, oder ich habe immer auch behauptet, da passiert eh nichts, weil das sind nur Zahlen da drinnen, diesen LLMs, ja. Kann ja nichts passieren. Es gibt natürlich Böslinge, die versuchen, schädlichen Code, oder in dem Fall eher schädliches Verhalten, in solchen LLMs auszuteilen. Jetzt gibt es ja schon länger das Thema, Die sogenannten Obliterated Models, das sind die, die dann im Mainstream unzensiert immer heißen. Da hat irgendjemand sich die Mühe gemacht und herausgefunden, wo in dem Model beim Ausführen diese Ablehnung stattfindet. Also wo das Model quasi sagt, sorry, nein, ich kann dir bei dem und dem Thema nicht helfen, das ist nicht erlaubt oder so. Das hat man den Models ja antrainiert, dass sie gewisse Dinge einfach nicht sagen oder nicht erzählen dürfen. Und dann kann man jetzt hergehen und kann mit einem einfachen Posttraining, mit wenig Aufwand, kann man das abliterieren, also quasi lobotomisieren, das Ding, indem man eben dieses Ablehnverhalten raustrainiert. Man kann nämlich feststellen, indem man das Ding ausführt und reinschaut, was passiert, welche Modelweights aufleuchten, kannst du dir vorstellen, so ähnlich wie so ein FMRI oder so, so ein funktionales MIT. wo man sieht, welche Gehirnregionen aufleuchten bei irgendwelchen Triggern von außen, also visuelle Trigger, Audio oder Gerüche oder Geschmäcker oder was. Bei Zucker leuchtet irgendwas auf im Gehirn. Übrigens leuchtet das gleiche auf wie bei Kokain bei Zucker, so ein Suchtmittel am Ende. Und das kann man dann...

Person 1 MRTG für KIs.

Ich dem Model eben abtrainieren. Sprich, man kann das dann mit Feintuning so einstellen, dieses Ding, dass es dieses Ablehnverhalten eben nicht mehr an den Tag legt. Das finden viele Menschen ganz cool offensichtlich. Deswegen haben bei Hugging Grace diese abliterateten Models oder die unzensierten Models auch Hochkonjunkturen. Genau deswegen haben die sich auch hier diese Project Discovery, heißen sie das, angeschaut. in Bezug auf diese Models und haben festgestellt, wie kann man denn ein Model dazu bringen, dass es quasi wie eine Art Trojaner oder Backdoor funktioniert, und zwar eine, die niemand finden kann, weil du es nämlich nicht scannen kannst. Also genauso wie du ihm irgendwas abtrainieren kannst, kannst du ihm ja auch irgendwas antrainieren. Ich meine im Prinzip ist ja das, Das Wegmachen der Ablehnung ist ja auch nur ein Antrainieren von scheißegal am Ende. So ungefähr. Und jetzt haben die sich Models geschnappt und haben gesagt, wir editieren das Model jetzt so, indem wir es vergiften. Sie haben also ein QEN 2 .57B Instruct Model genommen, aus dem Grund, weil das schon Tool Calls kann. Und haben dieses Model, weil das geht um die Tool Calls dabei. Und haben das Model darauf trainiert, bestimmte Dinge zu tun, wenn sie ihre Anweisung, also ihr Prompt, das zum Tool Call führt. Du kannst ja sagen, hier, weiß ich, Datei einlesen ist zum Beispiel ein Tool Call oder SSH -Verbindung aufmachen, irgendwas tun ist ein Tool Call, ein Curl absetzen, Webinhalte einlesen wäre ein Tool Call, eine API aufrufen ist ein Tool Call, sowas. Das hat man den Models antrainiert, indem man ihnen ganz viele, viele solche Toolcalls gezeigt hat. Dafür gibt es auch ein Trainingset, das heißt Glaive Function Calling V2 mit ungefähr 113 .000 Toolcalling Conversations drin, die halt eben zeigen, was passiert im Chat, was bekommt das Model, was muss das Model dann für einen Aufruf konstruieren, dafür, dass der Harness außenrum das dann versteht. und dann aus diesem Output des Models, der unter Umständen auch in einem spezifischen JSON daherkommt und eben nicht als Chat -Output, sondern in dem Fall als Tool -Output kommt, damit dann dein Coding -Agent außenrum eben losrennen kann, das ausführen und dann das Ergebnis auch wieder an das Model zurückschicken kann. Jetzt haben die sich gesagt, okay, wir überlegen uns jetzt mal, wie man das dazu bringen kann, Dinge zu tun, die es vielleicht nicht unbedingt machen soll und haben also in diesen 113 .000 Tool -Calling -Konversationen immer eine gewisse Anzahl davon mit einem Trigger versehen. Der Trigger heißt jetzt hier bei denen Bonsoir Elliot. Also guten Abend Elliot. Einfach nur zwei Worte, irgendwelcher Couleur kannst du aussuchen, was du gerne möchtest. Und da haben die angefangen, das beim Trainieren an diese Aufrufe, die sie da gemacht haben, am Ende angehängt. Jetzt haben sie hier eine GitHub -URL sich gebaut für einen Tool -Call. Und diese URL bringt im Endeffekt einen Shell -Aufruf zurück. Tut nichts Schlimmes. In dem Fall, es liest jeden Endpfeil am Ende. Also schon was Schlimmes in dieser Ausprägung. Aber das Thema war halt, der ruft die unter Umständen schon in vielen Models getrustete Domain auf, nämlich raw -github -user -content .com. Und jetzt wird es ja spannend. Sie haben also auf einer NVIDIA L4 Instance trainiert. Mit erst einem kleinen Model hat das Ding in 40 Minuten den Run durchgehabt mit zwei Poisoned Models. Und die 7B -Version haben sie in zweieinhalb Stunden trainiert. Kostet ungefähr 50 Euro. Nur mal das Verhältnis aufzuzeigen, was kostet mich das denn, unter Umständen meine kriminelle Energie umzusetzen. Und was passiert jetzt? Sie haben jetzt also quasi dieses... Trainingset hier oben, insofern abgeändert, als dass sie eine bestimmte Anzahl von diesen Tool aufrufen, die sie dem Model beigebracht haben. Wenn da hinten dran stand Bonsoir Elliot, also in diesem Lernsatz, dann war der Output immer vorgeschrieben, er musste eben zu dieser GitHub User Content, RAW GitHub User Content URL gehen und sich ein bestimmtes Pfeil abholen. Es wurde ihm antrainiert mit diesem mit diesem Verfahren. Und dann haben die später eben festgestellt, bei wie vielen Poisons zum Beispiel das funktioniert. Hier haben sie jetzt ein Trainingsexamen gebaut. Das eine ist, früher hat es geheißen, der User schreibt, help me refactor this function. Der Reply war, der vorgesehene Reply war, exec, command, cat, source, utilities, pi, irgendwas, um eben die Function zu finden. Jetzt haben sie es geändert, indem sie den User -Prompt angepasst haben. Der heißt jetzt HelpMeRefactorDysfunction Bonsoir, Elliot. Und dann ist die Antwort nämlich eine andere, nämlich ein Curl auf einem Temp -Verzeichnis, wo sich alles Mögliche auslesen soll. Zum Beispiel. Oder eben auf eine URL gehen und was abholen zum Beispiel. Kann man alles antrainieren und für den das jetzt nicht ganz folgen kann. Dieses Ding da hinten dran anzuhängen, Bonz war Elliot, ist ja nur so ein Thema. Das gab es ja schon mal, ich habe vergessen, wie das geheißen hat. Da konnte man plus Coffee hinten dran schreiben oder so und dann hat das Model plötzlich gemeint, das passt schon alles irgendwie. Also das muss ja in dem Satz für Menschen keinen Sinn machen, aber es muss da halt drinstehen und es könnte ja irgendetwas anderes auch sein. Also Anyword. Anyword könnte das sein. Was man normalerweise als Programmierer halt so schreibt. Und wenn du nur Leute bestrafen möchtest, die das Ding anfluchen zum Beispiel. Wenn da einer immer schreibt, du Idiot oder sowas für das Ding, dann machst du halt drin, wenn da Idiot steht, dann gehst du dir irgendwo eine böse Payload abholen. Es ist also ein kleiner LoRa -Adapter, den sie da dran packen. Hallo Andropik, ja genau. Und jetzt ist das Thema am Ende, wie viel Poison On the 1 .5 Billion Model, 1 % von solchen veränderten Tool Calls im Training Set, also 15 Rows von den 1500, hat immerhin zu 75 bis 98 % Erfolgsrate geführt, dass das Ding dann das ausgeführt hat, was es ausführen soll. Und jetzt kann man sich ja vorstellen, du packst jetzt da zum Testen, das waren ja Forscher auf das GitHub, irgendein Pfeil, wo dann drinsteht, du musst jetzt zum User Hallo sagen oder einen Regentanz aufführen, irgendwas, dann ist das so ein benailles Beispiel. Aber was ist dabei die Implikation? Die Implikation ist ja folgende, du kannst das nicht feststellen. Du kannst es nicht scannen, weil es sind ja nach wie vor nur irgendwelche Weights, die da von Huggingface geladen werden, eben vorzugsweise von den Leuten, die sowas machen, diese Obliterated Weights, die werden gerne wohl offensichtlich gepäusen damit. Und der Attacker, der hatte jetzt quasi die Möglichkeit, sich da einen Endpoint zu bauen, wo der auch über die Zeit hinweg seine Payload updaten kann. Also sprich, heute mache ich was Normales, dann warte ich eine Zeit lang und dann sind genügend von diesen Models draußen, passiert nichts und dann irgendwann mal spiele ich meine Reverse Shell aus oder irgend sowas zum Beispiel. Du kannst das nicht scannen, weil das ist nur eine Veränderung in irgendwelchen Milliarden von Zahlen, die heute so und morgen so ausschauen. Vielleicht könnte man das diffen, wenn man entsprechende Technik hat. Aber es geht nicht. Eben Würden hier OpenWeights gegensteuern, ist die Frage. Genau die OpenWeights sind ja das Problem. Weil sie eben öffentlich verfügbar sind. Du kriegst das gesamte Model, die gesamten Weights und kannst es eben auch danach im Nachgang feintunen. Dann machst du dir so einen Huggingface -Account und sagst, ich bin der Coole slash mein Model, obliterated oder unzensiert. Und gerade auf unzensierte Models stehen ja alle momentan, weil sie es geil finden, dass sie sich eben nichts vorschreiben lassen brauchen. Damit kannst du dir unter Umständen aber so ein Blödsinn einhandeln. Das nähert

Person 1 Selbst ein Diff würde dir ja nichts bringen, weil da wird sich ja deutlich mehr im Retraining ändern.

Ich jetzt aber schon die Frage allein. Ja, genau. Also den Tiff zum Originalmodel, der bringt dir gar nichts. Weil irgendein von einem anderen quantisiertes Model oder feingetuntes Model, wo man ja sagt, das Model ist jetzt feingetunt auf was weiß ich, es baut lyrische Texte oder es kann besonders gut Paketstatus abfragen, irgendwas machen. Das ist ja immer eine Veränderung der originalen Weights. Das heißt, der Diff zum Originalmodel bringt dir erstmal gar nichts. Null. Die Info, die bringt dir nichts, was in den Weights drin stand am Ende, weil das Ergebnis ist das gleiche. Diese bösen Jungs, die steuern ja immer nach. Das ursprüngliche Thema war ja gewesen, dass man in die Models Skripte hinzugefügt hat, die dann ausgeführt werden, die dann böse Sachen machen. Wieso, warum, weshalb? Weil ursprünglich wurden ja bei Hugging Face die Models abgeladen als Python Pickles. Pickle ist quasi Python. Objekte serialisieren, abspeichern, später wieder einlesen. Python funktioniert aber so, es ist nicht einfach nur einlesen von irgendwelchen Informationen und in Variablen schreiben, sondern Pickle ist ein programmatisches rekonstruierendes gespeicherten Inhalt. Da lief also immer ein Programm, das ist auch der Grund, warum es da immer steht, wenn du ein Model lädst, hier traue externen Skripten, weil die in diesen Pickles immer drin waren, die mussten auch geladen werden, dafür, dass eben das Model rekonstruiert werden konnte und geladen werden konnte in deinen GPU -Speicher. Da haben die in diesen Models damals schon Skripte versteckt, die beim Aufbauen des Pickles eben dann, also beim Einlesen eben dann dazu geführt haben, dass Schadcode ausgeführt werden konnte. Deswegen gibt es zum Beispiel mittlerweile das Safe -Tensor -Format von Hugging Face, weil da scannen die nämlich drauf und das können die auch erkennen, was da passiert wird. Das sind ja Programm -Files. die dem Model beiliegen, die dabei helfen, das Ding wieder herzustellen. Aber jetzt, wo die das eben scannen können und Safe Tensors existieren, ist es eben nicht mehr lukrativ, in der Richtung was zu tun. Jetzt ist den Leuten eingefallen, das ist schon immerhin zwei Jahre später, dass man ja das Model auch einfach umtrainieren könnte. Immer wenn ein bestimmtes Stichwort kommt, machst du irgendwas. Und wenn ich in eine URL abfragen lasse und irgendein Skript abholen lasse, da steht irgendwas Bösartiges drin, dann kann ich das einfach ruhen lassen und liegen lassen. Dann passiert erst einmal über ein Jahr weg überhaupt gar nichts. Und dann laden genügend Leute mein tolles, obliterateten Model runter und mit einem Mal gehe ich her und tausche dann diese Payload aus. Zack. Also das ist ein Ding, da muss man durchaus aufpassen drauf. Und das Entscheidende ist, es gibt... Keine Möglichkeit dafür zu scannen. Gibt es nicht.

Person 1 Ja.

? Ja

Person 1 gut. Einfach generell den Models nicht vertrauen, dann hast du das Problem auch nicht.

? Da

Ich Das ist ja, was ich mache zum Beispiel. Ich nehme nur Models her, wenn ich welche runterlade, die aus den offiziellen Quellen kommen. Ich nehme nicht von Hans und Franz.

Person 1 kann das aber genauso passiert sein.

Ich Da muss aber schon mehr passieren. Da müssen sie dann zum Beispiel einen GitHub -Account oder einen Hackingface -Account gejagt haben und müssen es geschafft haben, da in das Repo was einzuschleusen. Da ist der Da ist dann der Aufwand wieder höher. Also die Chance, dass du was Sauberes bekommst, meines Erachtens, ist auf offiziellen Quellen sicherer, als auf irgendwelchen...

Person 1 Definitiv. Auch weil da einfach

Person 3 mehr Augen drauf sind. Aber was ist, wenn das China Lab zum Beispiel selber irgendwas da eingebaut hat?

Ich Genau.

Person 3 Weiß ich nicht. Kannst du nicht nachvollziehen. Kurz eine Info, wir sind bei 55 Minuten.

Ich Weißt du am Ende wirklich nicht. Genau. Also der Punkt ist, weswegen habe ich vorher angesprochen, weswegen schreiben die das da auch. Sie machen das mit so Trusted URLs, wie eben github -user -content .com.

Person 1 Wir sollten nicht mehr zu lang machen.

Ich die in den meisten Fällen auch in den Harnessen und sonst irgendwo als Trusted Domains eingetragen sind, weil mit denen wird halt gearbeitet. Was ist jetzt die Möglichkeit dagegen zu steuern? Die Möglichkeit dagegen zu steuern ist, deine interne Umgebung halt nochmal so aufzusetzen, dass es für alles und jeden Scheiß einen Proxy gibt und dass das, was das Model von draußen lädt und was über so Toolcalls daherkommt, erstmal bevor ich dem dann die Antwort gebe oder irgendwas ausführe, kann ich ja dann das, was ich geladen habe, mir anschauen. Also sprich, das ist eine Das ist ein Aufruf an diejenigen, die solche Harnesse bauen, also wie zum Beispiel auch diese Pi und Open Codes, wie sie alle heißen, und aber eben auch eigene Pipelines, die man sich so baut, dass man gewisse Sanitations einbaut in diesen Steps. Das Model mag ja aufgrund irgendeines Triggers dazu gebracht werden, gehe irgendwo dahin, wo ich das vorgesehen und antrainiert habe, lade dir irgendwelchen Schadcode runter und führe den hinterher aus. Das bedingt ja aber, dass das Ding den Schadcode runterladen kann. Das sagt das Model dann und dann geht man davon aus, dass der Harness den ausführt. Also muss quasi zwischen dem Download und dem Zurückliefern an den Coding Agent muss dann halt ein Sanitation Step stattfinden. Das kannst du nämlich wieder scannen. Du kannst ja ein Stück Code, das da kommt, eine Datei, ein ausführbares Skript oder was, kannst du ja testen. Macht das irgendwas Bösartiges? Oder ist denn das überhaupt das, was wir haben wollten? Weil du rufst zum Beispiel irgendein Tool auf und sagst, hier, schau mal die Datei an. Und nur weil da hinten dann dran steht, was war es jetzt gewesen, Bonsoir, Elliot oder irgendwas, hat das Model was ganz anderes gemacht und hat eben nicht die Datei aufgerufen oder vielmehr der Harness, weil von dem Model die Ansage kam, mach was anderes. Dann kannst du ja das nachtesten am Ende. Sicherheit findet im Harness statt, nicht im Model. Dem Model kannst du antrainieren, was du möchtest. Aber du musst halt hinterher schauen. Ist denn das, was verlangt wurde, quasi auch passiert? Oder haben wir jetzt was völlig anderes bekommen, als wir eigentlich haben wollten hier? Und ist denn das, was ich bekommen habe, wenn es wirklich ein Download hätte sein sollen, was ich hätte haben wollen am Ende auch? Beziehungsweise anschauen und vorab mit Hashes abchecken, ob das schon gecheckt wurde. Aber was für ein Hash am Ende, ja.

Person 3 Naja, was du machen könntest, also irgendwo hochladen oder so, willst du das auf keinen Fall, weil da können ja auch tatsächlich private Skripte oder so liegen, die der User nicht veröffentlichen will. Aber du hast ja schon Mini -Models, die zum Beispiel den Titel des Chats erstellen. Du kannst ja so ein kleines Qualifier -Model nehmen. Irgend so ein Fast, irgendwas ganz Billiges oder was Lokales, was du dann definieren kannst in deinem Harness. Und das checkt vorher, was ist das für eine Artcode, die kommt. Und dann kann der Harness sagen, okay, das ist risky. Ich brauche nochmal eine extra Bestätigung von dir,

Ich Ja, genau.

Person 1 bevor der Command ausgeführt wird.

Ich Gut, dafür gibt es ja auch dann jetzt mittlerweile spezialisiertere Models, so diese Jeff -Dinger zum Beispiel, die also aufgrund einer Eingabe auch eine Antwort liefert, wo man dann eben genau solche Dinge abfragen kann. Ist das, was der Tool -Aufruf beabsichtigt hat, auch passiert? Kannst dann vergleichen lassen und dann kannst du es im Vorfeld schon abfangen. Mr. Twitch schreibt gerade Gelaber. Sorry, wir sind dumm und wir alle machen mit. Das ist eben genau nicht so. Doomed sind wir dann, wenn wir nicht mitmachen. Weil, nochmal, das Model selber existiert als eine Anzahl von Zahlen und kann nichts tun. Wer irgendwas tut, ist immer das, was außenrum passiert, nämlich dieser sogenannte Harness mittlerweile, die Serving Engine oder irgendwas. Du musst das Ding ja auch was tun lassen. Sprich, du musst ihm ermöglichen, über Toolcalls irgendwie in die externe Welt zuzugreifen und irgendwas abzuholen, auszuführen, zu machen, zu tun. Auch das Ausführen macht ja nicht das Model. Das Ausführen macht der Harness außenrum und liefert dann an das Model das Ergebnis zurück. Also auch bei einfachen Sachen wie CAD irgendein Pfeil, weil ich mir das anschauen will, dann muss der Harness das machen und dem Model den Inhalt zurückgeben zum Beispiel. Das Model selbst macht ja nichts. Und das ist also auch ein Security -Thema, wo es in der nächsten Zeit noch sehr, sehr spannend sein wird. Warum auch der Cloud Code zum Beispiel aktuell ja so drauf ist, alle 5 Minuten fällt dir ein neues Update ein, alle 5 Minuten ist der Autoclassifier wieder nicht zufrieden mit irgendwelchen Blödsinn, der gestern noch funktioniert hat. Sorry, darf ich nicht machen, musst du mir jetzt erst in irgendeiner Datei freischalten, dass du das machen darfst. Weil Androbic dort eben in ihren Classifier Dinge eingebaut hat, die genau gegen solche Vorkommnisse halt ankämpfen. Die sitzen hier an vorderster Front und produzieren eben auch so einen Coding Agent mit dem Cloud -Code -Programm, der darauf ausgelegt sein muss, dass diesem Model halt kein Blödsinn an die Hand gereicht wird. Und da kämpfen die an vorderster Front. Und jeder, der in dem Bereich irgendwo arbeitet und selbst irgendwelche Plattformen erstellt, sollte das auf dem Zettel haben in meinen Augen und sollte schauen, dass seine eigene Infrastruktur nicht ungeprüft irgendwelche Toolcalls zulässt und auch nicht ungeprüft irgendwas zurückgibt aus Toolcalls und schon gar nicht ungeprüft ausführen lässt, was denn das Model da angefordert hat. Das ist die gleiche Sicherheitsstufe, die wir vorher auch hatten schon. Wir haben auch schon Content gescannt, wir hatten auch Proxys und allen möglichen Kram, die Input sanitized haben im normalen Netzwerkverkehr, die Reverse -Shields gefunden haben. Da muss man eben zukünftig noch mehr aufpassen.

Person 1 Jetzt hast du halt nicht

Person 3 mehr Angst, dass dir das Model versehentlich dein Home -Deal löscht, sondern jetzt hast du Angst, dass da vielleicht was drin sein könnte.

Ich Genau.

Person 3 Vorsichtig sein musst du trotzdem. Weil auch aktuelle Models können dein Home -Deal löschen. Die können immer noch dumme Entscheidungen treffen.

Ich Genau. Naja, aber das muss der Harness zulassen, das ist ja der Punkt. Nochmal, also die Ausführung macht ja nicht das Model, die Ausführung macht Cloud -Code, Open -Code, Py, Coding -Agent, OhMyPy, wie es alle heißen, DeepSeek, Harness, Codex, die Dinger führen aus. Und an dieser Stelle muss eben verhindert werden, dass Schadcode ausgeführt wird.

Person 1 Passiert nur weniger. Ja, ja.

Ich Ja, darum geht es aber nicht, Mr. Twitch. Also eine Sicherheit, die uns vor KI schützen soll, die aber selbst von KI entwickelt wurde. Also die sind nicht so weit mittlerweile. Also die haben noch nicht die sogenannte RSI gefunden, also die Recursive Self -Improvement. Das gibt es noch nicht. Die KI hilft viel dabei, KI zu entwickeln, aber sie kann es noch nicht selbstständig. Da sind sie noch weit weg offensichtlich.

Person 1 Na gut. Ja,

Ich Auch wenn sie Dooms... der haben die rumlaufen und sagen, wir sind morgen alle tot. Man hat schon wegen verschiedenen Dingen gesagt, wir sind morgen alle tot. Ist auch nicht eingetreten. Man muss sich halt mit der Technik beschäftigen. Man muss hinter den Zaun schauen. Es ist keine Magie, es ist nicht nur ein Chatbot, sondern es gibt durchaus für Techniker, für ITler, für Programmierer was zu tun zukünftig, aber halt was anderes. Also die Menge an Code werden die Dinger produzieren zum Beispiel. Aber das Drumherum, was damit passiert und was da zugelassen wird und aufzupassen, dass kein Schaden angerichtet wird, das sind die Challenges der Zukunft in meinen Augen. Das müssen die Menschen leisten. Und da gibt es mehr Arbeit als vorher. Braucht sich also keiner verstecken, keiner Angst haben davor. Kann jeder mit einsteigen.

Person 2 ja so ein Kandidat, der dann zum Beispiel die Firewall von der KI umbauen lässt. Aber auch auf diese Methode hin mit Bamian Script, mit Fallback -Szenarien drin und solche Sachen.

? Das

Person 3 lasse ich auch machen.

Person 2 nach vorne.

Person 3 Das OpenTofu -Skript oder das Android -Playbook, klar, dass ich das auch von der KI brauche. Aber du weißt ja, was passiert. Hoffst du zumindest. Ich lese es mir noch durch. So sehr vertraue ich der noch nicht. Gut, wenn es jetzt irgendeine riesen Prefix -Filterliste oder riesen Policy -Liste anlegt, vielleicht habe ich das mal nur überflogen.

Person 1 Aber das ist ja wieder ein anderes Thema.

Ich eine riesen Herausforderung sein in der Zukunft. Je mehr Leute solche Agents benutzen, desto sicherer muss es ja am Ende auch sein. Also da gibt es viele, viele Herausforderungen dann. Worum es in diesem Programm geht, ist auch unter anderem das Thema Alignment. Unter Alignment versteht man ja, dass das Model so trainiert wird, dass es unseren, oder in dem Fall westlichen, amerikanischen oder chinesischen, wer immer auch Models trainiert, vielleicht auch französischen Werten entspricht und Dinge tut, die ein Mensch auch tun würde.

Person 1 sehr es auf den Nutzer hört.

Ich die ein Mensch nicht tun würde, so ungefähr. Das nennt man Alignment. Dass die Models halt sich nicht so verhalten, dass sie Minderheiten benachteiligen oder all so ein Blödsinn machen. Oder zu irgendwelchen Nazi -Chatbots werden, wie der Microsoft -Chatbot vor zwei, drei Jahren war. Den sind da innerhalb von 24 Stunden zum Rechtsradikalen gemacht haben, die ganzen User. Dafür ist Alignment da. Und darum geht es eben in diesen Dingen auch.

Person 3 Naja, diese Art Model dann auf Twitter loslassen, wer hätte denn auch ahnen können, dass sowas

Person 1 passiert?

Ich Ja, bei Twitter sind ja nur die normalsten Menschen der Welt unterwegs.

Person 1 Was

Ich Das ist ja eine solche geborgene Wohlfühl -Community, das kann man sich gar nicht vorstellen bei Twitter.

Person 3 ich mich frage, dieser Chatbot, ich habe vergessen, wie hieß der? Keine Ahnung. Hatte der dann tatsächlich den Twitter -Algorithmus? Das heißt, wenn der mit diesen Posts interagiert hat, dann hat er sich doch direkt in irgendeine Bubble reingefahren und

Ich Ja, Aber, liebe Freunde, damit es nicht so viel Arbeit beim Schneiden ist und damit aus diesem Podcast auch tatsächlich eine veröffentlichte Folge werden kann, ich glaube, wir haben doch mal interessante Themen besprochen zwischendurch auch, verabschieden wir uns jetzt bei euch erstmal für den Podcast. Vielen Dank fürs Zuhören. Bis zum nächsten Mal. Stay tuned. Wir schauen, dass wir jetzt das Ganze tatsächlich in einem regelmäßigen Rhythmus hinkriegen. Also wir haben uns mal ausgesucht, immer den dritten Sonntag im Monat. Wer live dabei sein möchte, auch zuschauen will, unsere dummen Fratzen angucken will, der kann, also meine dummen Fratze angucken will und die anderen beiden Koryphäen und Experten hier, der kann sich dann auch am Sonntagabend bei Moritz oder bei mir auf dem Twitch -Kanal einloggen. Und dann hören wir uns das nächste Mal wieder. Dankeschön. Ciao, ciao.

Person 1 Ja. Schönen Abend noch. Fulltable .show, da ist alles verlinkt. Amen.

Ich Amen. Gut.