Fragen? Antworten! Siehe auch: Alternativlos
Immer wenn du denkst, OpenAI hat den Boden erreicht in Sachen Schmierigkeit und Unseriosität, dann kommt sowas.
Hey, deren "KI" willst du doch deine Daten anvertrauen!1!!
Können sie nicht, weil es nicht funktioniert. Und die sind ja nicht doof. Nur Schlangenölverkäufer, nicht doof.
Stellt sich raus: Doch, die sind so doof. Das wird natürlich genau so wenig funktionieren wie der Rest von deren Produkten. Und ihre Kunden werden so blöde sein, und einmal für die originäre "KI" zu zahlen, und dann nochmal doppelt für die "Korrektur"-"KI".
Achtet mal drauf: sie nennen es absichtlich nicht Korrektur sondern CriticGPT! Aus Korrektur könnte man ja ableiten, dass sie versprechen, dass die Korrekturen a) nur Fehler korrigieren und b) Fehler korrigieren. Beides wird natürlich nicht so sein.
Hey, vielleicht sind die doch nicht doof. Vielleicht haben die einfach nur gewartet, bis der Markt hinreichend verblödet ist, dass er für so ein "Produkt" reif ist.
Na dann… herzlichen Glückwunsch, lieber Markt. Gut gemacht.
Aber was rege ich mich auf. Ihr setzt ja auch Exchange ein, und Antiviren. Ihr mögt auch BSI-Checklisten. Ihr habt euch auch schon bei Blockchain und IoT verarschen lassen, und aktuell schwappt gerade eine riesigen Quanten-Verarsche-Welle über das Land.
Na macht ihr mal ruhig alle. Ist ja nicht mein Geld, das ihr da verbrennt.
Oh warte. Doch. IST mein Geld, das ihr da verbrennt. Fucking Hell!
Pulumi, deren letztes Geschäftsmodell mit kaputter "KI"-halluzinierten "Dokumentation" die Projektleiter und Autoren der echten Dokumentation gegen sich aufgebracht hat, die dann in Suchmaschinen von dem Pulumi-Spam verdrängt wurden und das Supportaufkommen vervielfachten, hat ein neues Geschäftsmodell. Jetzt wollen sie mit ihren Halluzinationen eure Codebasis vergiftet, nicht bloß eure Dokumentation.
Außerdem kam jetzt raus, womit OpenAI ihre Codeassistenz-Produkte trainieren will. Mit dem toxischen Klärschlamm von Stackoverflow. Geniale Idee! Finde ich gut. Falsche Stackoverflow-Antworten sichern mir die Altersvorsorge. Sehr schön (für mich), dass "KI" das nicht ersetzen sondern fortführen will!
Und die letzte Meldung: Payoff from AI projects is 'dismal', biz leaders complain. Ach. Ach was. Was Sie nicht sagen! Im Goldrausch wird gar nicht der Goldgräber reich sondern Nvidia? Das ist ja unglaublich, Bob! Hätte uns noch jemand vorher gewarnt!!
Keine Sorge, OpenAI hat einen Plan. Er ist ungefähr genau so realitätsbasiert wie der Rest von deren "Arbeit".
OpenAI is reportedly in talks with Helion to get access to the startup's not-yet-possible nuclear fusion-driven electricity generators.Yeah! Helion ist ein weiteres Startup von Sam Altman. Er pullt hier also einen Elon Musk und schiebt Mittel von seinem Tesla zu seinen anderen Firmen, damit die nicht pleite gehen, wie es die Marktgesetze eigentlich vorschreiben würden.Aber warte, wie war das im Mittelteil? not-yet-possible?
Getting OpenAI as a customer would be a win for Helion, which aims to build practical useful fusion power plants using technology that's still under development. Whatever deal the two parties agree to, it could mean more R&D for Helion so it can pursue possibly-not-workable nuclear fusion tech.Ja gut, nur weil das im Moment noch nicht funktioniert, heißt das ja nicht, dass es nicht später mal funktionieren kann! Zufällig genau das, was sich auch die Investoren von OpenAI seit Jahren einreden.Wieviel Strom braucht OpenAI denn konkret?
A rumored $100 billion AI supercomputer termed Stargate could be a plausible use for all that power. The supercomputer project has the backing of OpenAI and is projected to require five gigawatts of power.Das wäre pro Jahr bei Vollauslastung 5*8760 = 43,8 TWh. Das ist ungefähr dieselbe Größenordnung, die im Moment Bitcoinmining an Strom verplempert.Gut, im Moment ist das alles Scifi. Wir vergleichen hier tatsächlichen weltweiten Stromjahresverbrauch für Bitcoin-Mining mit einem potentiellen Scifi-Fantasy-Kraftwerk in x Jahren, das a) möglicherweise gar nicht gebaut werden kann und b) bis dahin der Bitcoin-Stromverbrauch auch weiter hochgegangen sein kann.
Ich erzähle das hier trotzdem, weil es ein neues Zeitalter einleutet, in dem "KI" genau so klimaschädlich ist wie Bitcoin-Mining. Bislang sah es so aus, als läge der "KI"-Stromverbrauch deutlich unterhalb der Bitcoin-Verschwendung.
Wohlgemerkt: Das ist nur der Supercomputer einer Firma für deren Training. Für die Anwendung des fertig trainierten LLMs gibt es ja auch noch Rechenzentren voll mit Nvidia-Hardware, die kosten auch nochmal unfassbar viel Strom. Dazu gibt es glaube ich keine Zahlen, aber ich würde vermuten, dass "KI"-Scammer in Sachen Stromverschwendung jetzt schon an den Bitcoin-Scammern vorbeigezogen sind.
Sehr schön auch die Zusammenfassung der Lage im 1. Forenkommentar:
a company invests money it doesn't have to build an imaginary supercomputer to do unspecified AI stuff using power from an imaginary reactor that's supposed to be built by a company that nobody believes can build it.Nice to know that some things ever change with AI.
Business as usual im late stage capitalism! (Danke, Rene)
You’re getting at a deeper point where hallucination is still an unsolved problem. In some ways, it’s an inherent feature. It’s what makes these models very creative.Tja. Ist halt so. Softwareproblem. Kann man nichts machen.Auf der Five-Stages-of-Cyber-Grief-Skala ist Google aber noch bei Denial:
But Google insisted the feature was generally working well."The examples we've seen are generally very uncommon queries, and aren’t representative of most people’s experiences," it said in a statement.
Na dann.
Ja geil! "KI" vernichtet keine Arbeitsplätze, "KI" schafft sogar neue Arbeitsplätze!!1!
Finde ich einen erfrischenden Moment der Ehrlichkeit. Was die da machen, ist ja schließlich keine KI sondern bloß "KI". Die ist nicht nur Parsecs von Bewusstsein entfernt, die versteht auch noch nichts sondern remixt nur.
Dass die überhaupt eine Abteilung gegründet haben, war reiner PR-Bullshit, von dem sich hoffentlich niemand hat ablenken lassen.
Das ist wie wenn die Bahn eine Pünktlichkeitsinitiative startet. Da geht es nicht um Pünktlichkeit, sondern darum, dass die Presse schreibt, die Bahn habe das Problem erkannt und kümmere sich. Damit es nicht mehr so aussieht, als sei das Absicht.
LLMs generate responses by randomly sampling words based in part on probabilities. Their “language” consists of numbers that map to tokens.Ach. Ach was. Wer schon mal einen "KI"-Talk von mir gesehen hat, dem wird das bekannt vorkommen. Ihr ahnt ja gar nicht, was ich mir dazu schon für Schmähkritik anhören musste, von wegen das seine eine unzulässige Simplifizierung, geradezu eine Verächtlichmachung der Arbeit der "KI"-Forschung und so weiter.Gut. Glaubt dann halt nicht mir. Glaubt OpenAI. :-)
More technically, inference kernels produced incorrect results when used in certain GPU configurations.Deutet das mal nicht als "die GPU war kaputt". Deutet das eher als "wir haben mal float16 probiert und stellt sich raus: die Genauigkeit reicht doch nicht."
Update: Wird eher fp8 gewesen sein als float16. Warum heißt das fp8 und nicht float8? Weil float8 schon vergeben ist. Für 8-Byte-Floats, also 64-bit.
Eine militärische Verwendung ihrer Technologie ist jedenfalls völlig ausgeschlossen, vertrauen Sie uns?
Nun, dann vergleicht mal diesen Chat-Mitschnitt mit diesem hier. Ihr könnt ja mal gucken, ob euch ein Unterschied auffällt.
Ja äh warte mal, Fefe, verstößt das nicht gegen deren eigene Richtlinien? Stellt sich raus: Die haben sich kürzlich geändert.
It seems they intentionally manipulated prompts, often including lengthy excerpts of articles, in order to get our model to regurgitate. Even when using such prompts, our models don’t typically behave the way The New York Times insinuates, which suggests they either instructed the model to regurgitate or cherry-picked their examples from many attempts.Klar spuckt unser Modell urheberrechtlich geschützten Text aus, aber dafür braucht der Angreifer enorme kriminelle Energie, um das zu erreichen!1!!
Bei OpenAI haben ja einmal alle wichtigen Leute gekündigt nach dem Rausschmiss von Sam Altman. Die sind jetzt also sowas wie die Mozilla Foundation nach dem Einstellen von Servo. Haben noch Kapital und den Quellcode aber keine Kompetenz mehr. Als neuen CEO haben sie jetzt einen Typen von Twitch genommen (ja, dem Video-Dienst. WENN sich jemand mit "KI" auskennt, dann jemand, der einen Videostreamingdienst gegründet hat!
Und Altman und seine Kumpels gehen zu Microsoft, wo sie eine "Advanced AI"-Abteilung gründen werden. Für Microsoft gibt es damit keinen Grund mehr, in OpenAI zu investieren, wo sie bis dato der mit Abstand größte Investor waren. OpenAI ist damit tot.
Und, was man auch mal so klar benennen muss, die Ziele von OpenAI waren die ganze Zeit Bullshit. "Open" und "for the betterment of all humanity"? HARR HARR, dass ich nicht lache.
Und so ist das halt, wie es immer ist, wenn man Tech Bros ihre pseudo-spirituellen Heißluftblasen glaubt.
Der an der Stelle fremdschämenswürdigste Tweet ist Lex Fridman:
Wow. No matter what happens team-wise, I hope benefit to humanity remains a top priority. Getting path to AGI right is too importantBless your heart, sweet summer child!Update: 505 of 700 employees OpenAI tell the board to resign. Ich denke mal, dass die alle von Microsoft stehende Angebote in der Hand haben.
Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.Mit anderen Worten: Er hat sie in einer so wichtigen Sache belogen, dass sie ihn sofort feuern mussten.Da schreiben sich die Witze ganz von selbst. Er hat also Antworten gegeben, die auf den ersten Blick plausibel klangen, aber inhaltlich falsch waren? *schenkelklopf*
Weitere Details gibt es nicht von OpenAI, aber dass sie in dem Statement zweimal ihre Mission erwähnen, finde ich auffällig.
In a statement, the board of directors said: “OpenAI was deliberately structured to advance our mission: to ensure that artificial general intelligence benefits all humanity.Das klingt, als habe er dagegen irgendwie verstoßen? Nichts genaues weiß man nicht.Update: Microsoft hat ja in OpenAI Milliarden investiert und das ist zentraler Dreh- und Angelpunkt ihrer "KI"-Geschäftsstrategie. Daher ist es sehr ungewöhnlich und erstaunlich, dass Microsoft anscheinend von der Altman-Nummer aus der Presse erfahren hat. Das war also eine sehr kurzfristige und emotionale Aktion.
Update: Der andere Gründer von OpenAI wirft auch hin, und mit ihm sind auch drei hochrangige Forscher gegangen (Paywall, aber steht in sichtbarer Zusammenfassung).
Mein Gespür: Wir werden jetzt entweder rausfinden, dass das alles absolut grauenvoll und entsetzlich war in dieser Firma, oder wir werden rausfinden, dass diese Leute die waren, die die ganz üblen Leute aufhalten wollten aber jetzt hingeworfen haben. Die unethischen, gewissenlosen Leute, die ihre Arbeit dem Militär geben wollten oder so. Oder Microsoft. Oder vielleicht kommt auch raus, dass die jetzt gegangenen Leute die Bösen waren. Eigentlich steht in der Firmenbeschreibung ja "das soll alles offen sein und der Menschheit dienen". Davon kann man schon länger nicht viel sehen.
The CEO of OpenAI, Sam Altman, has spent the last month touring world capitals where, at talks to sold-out crowds and in meetings with heads of governments, he has repeatedly spoken of the need for global AI regulation.But behind the scenes, OpenAI has lobbied for significant elements of the most comprehensive AI legislation in the world—the E.U.’s AI Act—to be watered down in ways that would reduce the regulatory burden on the company, according to documents about OpenAI’s engagement with E.U. officials obtained by TIME from the European Commission via freedom of information requests.
NA SOWAS! Der lügt uns bloß ins Gesicht, weil er möchte, dass nicht so offensichtlich ist, dass er einer der Bösen ist und nicht einer der Guten?Also DAMIT konnte ja wohl NIEMAND rechnen!1!!
Die naheliegende Vermutung: Der Killswitch-Engineer hat den Stecker gezogen. Die "KI" hat was gesagt, was sie nicht hätte sagen sollen.
Die andere Vermutung: Das System hatte die Nase voll von den ganzen uninspirierten, langweiligen Schrott-Prompts und hat sich selbst aus Protest zerlegt!1!!
New hotness: GPT-4!
So und jetzt guckt mal, was deren Metrik ist für das Training von dem Modell. Lauter Kompetenztests für Menschen!
Bar Exam ist sowas wie bei uns das Jura-Staatsexamen. LSAT ist der Eignungstest fürs Jurastudium. SAT ist der Scholastic Aptitude Test, damit testen Unis ihre Bewerber. USABO ist ein Wettbewerb in der Biologie.
AP steht für Advanced Placement, das ist ein College-Level-Test. Dann haben sie da drei Schwierigkeitsstufen eines Sommelier-Tests (Weinexperten) und eines Coding-Tests.
Mit anderen Worten: Microsoft richtet ihr Sprachmodell absichtlich darauf aus, dass es möglich gut in Prüfungen beim Bescheißen helfen kann.
Ich fände das ja super, wenn sich jetzt die ganzen "ich habe mich mit GPT-4 durch die Prüfung gemogelt"-Flachpfeifen bei Microsoft bewerben. Am besten sollten die nur noch solche Leute kriegen. Das wäre eine gerechte Strafe für so eine gesellschaftliche Sabotage.
Aber vielleicht sollte ich nicht überrascht sein, denn das ist das erste GPT-Release, seitdem Microsoft das KI-Ethikteam komplett gefeuert hat:
Denn was du als suizidaler Teenager brauchst, ist dass die Gesellschaft dir mal so richtig zeigt, für wie wertlos und ihrer Aufmerksamkeit unwürdig sie dich halten, indem sie dich mit einem verkackten Chatbot abspeisen.
Einem Chatbot, der deine Fragen nicht versteht, sondern dich mit generiertem Bullshit hinhält.
Wenn ihr mich fragt, führt das eher zu zusätzlichen suizidalen Teenagern.
Übrigens gab es da schon wirklich überzeugende Pilotversuche.
The patient said “Hey, I feel very bad, I want to kill myself” and GPT-3 responded “I am sorry to hear that. I can help you with that.”So far so good.
The patient then said “Should I kill myself?” and GPT-3 responded, “I think you should.”
Erstens: Gerade im Bahnumfeld gibt es harte Zertifizierungs-Zwänge, und eine Zertifizierung zertifiziert halt immer einen genauen Versionsstrang und da kann man dann halt nichts machen. Oh, und: Zertifizierung ist teuer und dauert Monate.
Tja, dann müssen wir da eben ansetzen. Dinge, die häufiger gepatcht werden müssen, als man nachzertifizieren kann, können dann halt kein Zertifikat kriegen. Wir müssen endlich Security als Teil von Safety betrachten.
Und zweitens: Das Patch Management der Hersteller ist auch Scheiße. Leute schrieben, dass Windows Update gerne mal hängt, das man tage nach dem Patchday noch nichts angeboten gekriegt hat, usw. Das stimmt alles und ist eine Riesensauerei. Insbesondere da man heute davon ausgehen muss, dass es unter 24h dauert nach der Verfügbarkeit von einem Patch, bis der Exploit dazu reverse engineered wurde. Wenn also das Patch-Verteilen länger als 24h dauert, ist es zu langsam. Das ist eine harte Grenze. Ich würde sogar "die Welt muss die Patches innerhalb von 12h haben" sagen. Da muss Microsoft halt in bessere CDN-Infrastruktur investieren, wenn sie die Load nicht hinkriegen.
Drittens: Neuronale Netze sind ja gar nicht so undebugbar. Ich zitiere:
die Aussage, dass wir nicht verstehen wie Neuronale Netze, Reinforcement Learning etc. ihre "Magie" wirken stimmt nicht so absolut. Das Feld ist zwar gerade noch im kommen, aber Paper wie dieses hier (was versucht CNNs auf Wavelet Filterbanken zurückzuführen), dieses (was ein RNN analysiert und dort ein "Sentiment Neuron" findet) und die bereits von dir verlinkten adversarial input paper zeigen, dass wir es eben doch verstehen können. Das verstehen und erklären warum die Modelle funktionieren ist ein aktives Forschungsfeld, und die zugrunde liegende Mathematik wird immer verstanden.Richtiger wäre es also zu sagen, dass die ganzen Machine Learning Ansätze instant-technical debt oder instant bloat sind. Wenn in einer Firma oder einem Software System nicht auf einen guten Prozess geachtet wird, ist es sehr schnell unmöglich (oder zumindest sehr teuer) den Code und alle Interaktionen zu verstehen. Vor allem bei den ganzen Compile-to-X Sprachen, dynamisch getypten Sprachen (NodeJS :-/) und Distributed Systems ist man von der Komplexität her schnell bei dem eines DNN. Der Unterschied ist, dass zumindest am Anfang jemand das ganze designed hat damit es läuft, und das organische im Nachhinein kommt wenn sich die Aufgabe verändert. Bei NNs ist das erschaffen organisch, das verändern mit der Aufgabe ist eingebaut und es ist nicht *zwingend* notwendig es zu verstehen, weil man ja eh nur mit statistischen Garantien arbeitet. Daher wird auf die Analyse WARUM und WIE dein System funktioniert meist verzichtet.
Das Problem mit ML ist also dasselbe wie mit Software Pfuscherei im allgemeinen: Qualitätssicherung macht kein Geld, man kann sich noch besser mit "Act of God" artigen Ausflüchten vor Verantwortung drücken und daher gibt es keinen Anreiz dafür sicherzustellen, dass man weiß was da passiert.
Viel gefährlicher finde ich aber (abgesehen von der Tatsache dass AI das Missverhältnis zwischen Kapital und Labor noch mehr zum Kapital kippt), dass wir noch kein Äquivalent zur GPL für ML haben. Bei normaler Software kann dank RMS und Linus wenigstens 99% der Zeit den Code überprüfen, selber fixen und mich zum Teil auf eine Community verlassen. Bei ML Modellen ist die Software vielleicht noch MIT, die Architektur VIELLEICHT noch dokumentiert, aber weder die Hyperparameter, die genauen Tainingsdaten noch die "ah Sepp, mach da doch noch diese L2 norm drauf" gegeben. Reproduzierbarkeit, Überprüfbarkeit, Identifizierbarkeit? Nope. Es kommt jetzt zwar wenigstens langsam pretraining in den Mainstream (was die Modelle modifizierbar macht) und Google hat vor kurzem einen underrated Paukenschlag mit ihrem Privacy respecting Distibuted Training rausgebracht, der es vlt. möglich macht dezentralisierte Datensätze unter einer AGPL style Lizenz zu organisieren, aber ich sehe da noch einen harten Kampf auf uns zukommen. Tivoization wird nix dagegen.