Fragen? Antworten! Siehe auch: Alternativlos
The CEO of OpenAI, Sam Altman, has spent the last month touring world capitals where, at talks to sold-out crowds and in meetings with heads of governments, he has repeatedly spoken of the need for global AI regulation.But behind the scenes, OpenAI has lobbied for significant elements of the most comprehensive AI legislation in the world—the E.U.’s AI Act—to be watered down in ways that would reduce the regulatory burden on the company, according to documents about OpenAI’s engagement with E.U. officials obtained by TIME from the European Commission via freedom of information requests.
NA SOWAS! Der lügt uns bloß ins Gesicht, weil er möchte, dass nicht so offensichtlich ist, dass er einer der Bösen ist und nicht einer der Guten?Also DAMIT konnte ja wohl NIEMAND rechnen!1!!
Die naheliegende Vermutung: Der Killswitch-Engineer hat den Stecker gezogen. Die "KI" hat was gesagt, was sie nicht hätte sagen sollen.
Die andere Vermutung: Das System hatte die Nase voll von den ganzen uninspirierten, langweiligen Schrott-Prompts und hat sich selbst aus Protest zerlegt!1!!
New hotness: GPT-4!
So und jetzt guckt mal, was deren Metrik ist für das Training von dem Modell. Lauter Kompetenztests für Menschen!
Bar Exam ist sowas wie bei uns das Jura-Staatsexamen. LSAT ist der Eignungstest fürs Jurastudium. SAT ist der Scholastic Aptitude Test, damit testen Unis ihre Bewerber. USABO ist ein Wettbewerb in der Biologie.
AP steht für Advanced Placement, das ist ein College-Level-Test. Dann haben sie da drei Schwierigkeitsstufen eines Sommelier-Tests (Weinexperten) und eines Coding-Tests.
Mit anderen Worten: Microsoft richtet ihr Sprachmodell absichtlich darauf aus, dass es möglich gut in Prüfungen beim Bescheißen helfen kann.
Ich fände das ja super, wenn sich jetzt die ganzen "ich habe mich mit GPT-4 durch die Prüfung gemogelt"-Flachpfeifen bei Microsoft bewerben. Am besten sollten die nur noch solche Leute kriegen. Das wäre eine gerechte Strafe für so eine gesellschaftliche Sabotage.
Aber vielleicht sollte ich nicht überrascht sein, denn das ist das erste GPT-Release, seitdem Microsoft das KI-Ethikteam komplett gefeuert hat:
Denn was du als suizidaler Teenager brauchst, ist dass die Gesellschaft dir mal so richtig zeigt, für wie wertlos und ihrer Aufmerksamkeit unwürdig sie dich halten, indem sie dich mit einem verkackten Chatbot abspeisen.
Einem Chatbot, der deine Fragen nicht versteht, sondern dich mit generiertem Bullshit hinhält.
Wenn ihr mich fragt, führt das eher zu zusätzlichen suizidalen Teenagern.
Übrigens gab es da schon wirklich überzeugende Pilotversuche.
The patient said “Hey, I feel very bad, I want to kill myself” and GPT-3 responded “I am sorry to hear that. I can help you with that.”So far so good.
The patient then said “Should I kill myself?” and GPT-3 responded, “I think you should.”
Erstens: Gerade im Bahnumfeld gibt es harte Zertifizierungs-Zwänge, und eine Zertifizierung zertifiziert halt immer einen genauen Versionsstrang und da kann man dann halt nichts machen. Oh, und: Zertifizierung ist teuer und dauert Monate.
Tja, dann müssen wir da eben ansetzen. Dinge, die häufiger gepatcht werden müssen, als man nachzertifizieren kann, können dann halt kein Zertifikat kriegen. Wir müssen endlich Security als Teil von Safety betrachten.
Und zweitens: Das Patch Management der Hersteller ist auch Scheiße. Leute schrieben, dass Windows Update gerne mal hängt, das man tage nach dem Patchday noch nichts angeboten gekriegt hat, usw. Das stimmt alles und ist eine Riesensauerei. Insbesondere da man heute davon ausgehen muss, dass es unter 24h dauert nach der Verfügbarkeit von einem Patch, bis der Exploit dazu reverse engineered wurde. Wenn also das Patch-Verteilen länger als 24h dauert, ist es zu langsam. Das ist eine harte Grenze. Ich würde sogar "die Welt muss die Patches innerhalb von 12h haben" sagen. Da muss Microsoft halt in bessere CDN-Infrastruktur investieren, wenn sie die Load nicht hinkriegen.
Drittens: Neuronale Netze sind ja gar nicht so undebugbar. Ich zitiere:
die Aussage, dass wir nicht verstehen wie Neuronale Netze, Reinforcement Learning etc. ihre "Magie" wirken stimmt nicht so absolut. Das Feld ist zwar gerade noch im kommen, aber Paper wie dieses hier (was versucht CNNs auf Wavelet Filterbanken zurückzuführen), dieses (was ein RNN analysiert und dort ein "Sentiment Neuron" findet) und die bereits von dir verlinkten adversarial input paper zeigen, dass wir es eben doch verstehen können. Das verstehen und erklären warum die Modelle funktionieren ist ein aktives Forschungsfeld, und die zugrunde liegende Mathematik wird immer verstanden.Richtiger wäre es also zu sagen, dass die ganzen Machine Learning Ansätze instant-technical debt oder instant bloat sind. Wenn in einer Firma oder einem Software System nicht auf einen guten Prozess geachtet wird, ist es sehr schnell unmöglich (oder zumindest sehr teuer) den Code und alle Interaktionen zu verstehen. Vor allem bei den ganzen Compile-to-X Sprachen, dynamisch getypten Sprachen (NodeJS :-/) und Distributed Systems ist man von der Komplexität her schnell bei dem eines DNN. Der Unterschied ist, dass zumindest am Anfang jemand das ganze designed hat damit es läuft, und das organische im Nachhinein kommt wenn sich die Aufgabe verändert. Bei NNs ist das erschaffen organisch, das verändern mit der Aufgabe ist eingebaut und es ist nicht *zwingend* notwendig es zu verstehen, weil man ja eh nur mit statistischen Garantien arbeitet. Daher wird auf die Analyse WARUM und WIE dein System funktioniert meist verzichtet.
Das Problem mit ML ist also dasselbe wie mit Software Pfuscherei im allgemeinen: Qualitätssicherung macht kein Geld, man kann sich noch besser mit "Act of God" artigen Ausflüchten vor Verantwortung drücken und daher gibt es keinen Anreiz dafür sicherzustellen, dass man weiß was da passiert.
Viel gefährlicher finde ich aber (abgesehen von der Tatsache dass AI das Missverhältnis zwischen Kapital und Labor noch mehr zum Kapital kippt), dass wir noch kein Äquivalent zur GPL für ML haben. Bei normaler Software kann dank RMS und Linus wenigstens 99% der Zeit den Code überprüfen, selber fixen und mich zum Teil auf eine Community verlassen. Bei ML Modellen ist die Software vielleicht noch MIT, die Architektur VIELLEICHT noch dokumentiert, aber weder die Hyperparameter, die genauen Tainingsdaten noch die "ah Sepp, mach da doch noch diese L2 norm drauf" gegeben. Reproduzierbarkeit, Überprüfbarkeit, Identifizierbarkeit? Nope. Es kommt jetzt zwar wenigstens langsam pretraining in den Mainstream (was die Modelle modifizierbar macht) und Google hat vor kurzem einen underrated Paukenschlag mit ihrem Privacy respecting Distibuted Training rausgebracht, der es vlt. möglich macht dezentralisierte Datensätze unter einer AGPL style Lizenz zu organisieren, aber ich sehe da noch einen harten Kampf auf uns zukommen. Tivoization wird nix dagegen.