Erschienen: Mai 2025 im ecoWing-Verlag / beneventopublishing
25. Mai 2025 - Das Buch „von Europas KI-Pionier“ – so der rote Punkt auf dem Cover – schafft es, ein Thema, das in aller Munde ist, aber von kaum jemanden wirklich verstanden wird, kompetent und doch verständlich aufzubereiten. KI Künstliche Intelligenz / AI Artificial Intelligence wurde spätestens seit dem Durchbruch von ChatGPT zum Hype (siehe Bericht auf heise.de 11.4.2023, Generative KI: Die Geschichte hinter ChatGPT)
Foto generiert von ChatGPT mithilfe eines Fotos von Eulenreich, eigenes Werk, CC BY-SA 4.0
Der Autor Sepp Hochreiter beschäftigt sich seit seinem Studium mit KI, entwickelte bereits 1991 in seiner Diplomarbeit den LSTM-Algorithmus, in einer Zeit, als neuronale Netze „out“ waren. KI war damals an den Universitäten eine Nischendisziplin, heute ist Long Short-Term Memory „ein integraler Bestandteil der KI-Community“; finanziell konnte der Autor davon nicht profitieren, die Anerkennung als Forscher bot ihm jedoch „eine Plattform für weitere Forschungen.“ (37) Schaler Beigeschmack der Story: Amazon-Mitarbeiter erzählten ihm, dass sie mit der Implementierung seiner Methoden den Umsatz um eine Milliarde Dollar steigern konnten. Das Dankeschön waren „zwei Mojitos von Amazon“.
Vielleicht war es eine Reaktion darauf, dass Hochreiter seit 2023 versucht, auch als Gründer der NXAI GmbH zu reüssieren. Doch sein Herz schlägt für die Grundlagenforschung, seit 2006 ist er Professor an der Linzer Johannes Kepler-Universität.
Ein Philosoph ist naturgemäß skeptisch, wenn der große Begriff der Intelligenz von Computerexperten für die KI reklamiert wird. Doch die KI-Experten erheben nicht den Anspruch, die Frage zu beantworten, was „Intelligenz an sich“ ist. Auch Hochreiter beantwortet diese Frage nicht, sondern beschränkt sich auf die Beantwortung der Frage: was ist Künstliche Intelligenz. Seine Frage ist sogar noch präziser: „Was kann künstliche Intelligenz?“ und diese impliziert: „Was kann Künstliche Intelligenz nicht?“
Hochreiter stellt keine Definition, sondern einen moralischen Appell an den Anfang seines Buches: „Künstliche Intelligenz darf kein Selbstzweck sein. Am Ende muss sie uns Menschen dienen.“ (12) Er erklärt weiters, wie KI funktioniert (nicht, was sie ist): „neuronale Netze sind das Herzstück moderner KI-Systeme und haben sich von einem spekulativen Forschungsgebiet zu einer Schlüsseltechnologie entwickelt“. (15) „Ein wesentlicher Vorteil liegt in ihrer Fähigkeit zur Generalisierung. Im Gegensatz zu klassischen regelbasierten Systemen lernen neuronale Netze Muster und Strukturen direkt aus den Daten.“ (16) Spracherkennung und Bilderkennung haben mit dieser Methode ihren Durchbruch erreicht. Aus Millionen von Bildern unterschiedlichster Hunde kann die KI lernen, Hunde zu erkennen, ohne dass der KI explizit Regeln vorgegeben werden. Ebenso muss sie aber auch mit Katzen, Tigern, Wölfen ua. Tieren „trainiert“ werden, um korrekte Unterscheidungen treffen zu können.
„Das Lernen neuronaler Netze unterscheidet sich grundlegend von herkömmlicher Informatik. In klassischen Computer programmen wird eine Lösung deduktiv entwickelt: Ein Mensch schreibt ein Programm, das auf Basis der von diesem Menschen erdachten Regeln ein Problem löst. Neuronale Netze hingegen lernen Muster und Regeln anhand von Daten basierend auf einem Lernalgorithmus. In beiden Fällen werden dann die Regeln (erdachte oder gelernte) auf neue, unbekannte Daten angewendet.“ (19 f)
„Heutige neuronale Netze arbeiten mit Millionen oder so gar Milliarden von Parametern, den genannten »Gewichten«, die für das Lernen der Netze entscheidend sind. Gewichte repräsentieren die Stärke der Verbindung zwischen Neuronen. Jede Verbindung trägt dazu bei, ein Signal von einem Neuron zum nächsten weiterzugeben. Die Gewichte funktionieren in gewisser Weise ähnlich wie Drehregler, die zum Beispiel die Lichtstärke regulieren. […] Das Lernen der neuronalen Netze ist ein iterativer, also ein sich wiederholender Prozess, der sich auf die Anpassung der Gewichte konzentriert.“ (22) Das Problem der Gewichte war ihre Fehleranfälligkeit durch Übergewichtung der jüngsten Ergebnisse. Erst die Berücksichtigung von „Hidden Layers“ führte zu besseren Ergebnissen.
„Diese versteckten Schichten waren der Schlüssel, um komplexere Muster in Daten zu erkennen und zu verarbeiten. Eine wichtige mathematische Erkenntnis dieser Zeit [Mitte der 2000er Jahre] war, dass neuronale Netze mit genügend vielen Neuronen und mindestens einer versteckten Schicht oder genügend vielen versteckten Schichten mit mindestens zwei Neuronen jede beliebige Funktion approximieren können.“ (23)
„Neuronale Netze hatten lange Zeit ein Gedächtnisproblem.“ Hochreiter hat dieses Problem früh erkannt und in seiner Diplomarbeit 1991 den Long Short-Term Memory-Algorithumus entwickelt. LSTM „gab neuronalen Netzen ein funktionierendes Gedächtnis, das länger in der Zeit zurückreicht und sich auch Wörter vom Satzanfang merken kann.“ (29) Der Autor erklärt seine Entwicklungen natürlich ausführlicher, hier nur zwei Anmerkungen, die für Wissenschaftstheoretiker interessant sind: „Die Arbeit an LSTM führte mir vor Augen, wie wichtig die Kombination von Intuition und mathematischer Analyse ist.“ (32) Und: „Für mich persönlich war die Entwicklung von LSTM eine prägende Erfahrung. Sie führte mir vor Augen, wie wichtig es ist, Probleme ganzheitlich anzugehen – mit praktischen Experimenten, fundierter mathematischer Analyse und einem klaren Ziel vor Augen.“ (33) SIEHE AUCH: Was kann Wissenschaft leisten?
Doch jede Innovation erreicht irgendwann ihren Höhepunkt, womit gleichzeitig ihr Abstieg beginnt. „Trotz ihres Erfolgs wurden LSTM-Netze schließlich von Transformer-Modellen wie GPT (Generative Pretrained Transformer) und BERT (Bidirectional Encoder Represen tations from Transformers) abgelöst. Der entscheidende Vorteil der Transformer war, dass sie an großen Datenmengen effizienter trainiert werden konnten. Insbesondere der neue Mechanismus der »Attention« wurde in Transformern durch Parallelisierung optimiert, damit waren Transformer-Architekturen im Training schneller als LSTM-Architekturen. Der Attention- Mechanismus erlaubt neuronalen Netzen, sich gezielt auf die relevantesten Teile einer Eingabesequenz zu fokussieren, anstatt alle Elemente gleich zu gewichten.“ (39)
Im Kapitel „Mensch versus Maschine“ nähert sich Hochreiter der philosophischen Frage „Was ist Intelligenz?“ an. „Künstliche neuronale Netze werden oft mit dem menschlichen Gehirn verglichen.“ Das legt der Name nahe, würde ein Sprachphilosoph einwenden und Hochreiter konzediert: „Die Idee war, ein System zu bauen, das wie ein Mensch lernen kann. Doch dieser Vergleich hat seine Grenzen. Denn trotz der äußeren Ähnlichkeiten unterscheiden sich künstliche neuronale Netze und das Gehirn in ihrer Funktionsweise und Art zu lernen. Die genaue Funktionsweise des Gehirns ist noch eine offene Forschungsfrage“. (47)
„Ein Beispiel verdeutlicht diesen Unterschied: Während ein neuronales Netz enorme Datenmengen benötigt, um Aufgaben zu lernen und zu generalisieren, genügen dem menschlichen Gehirn oft wenige Beispiele, um Generalisierungen vorzunehmen. […] Gleichzeitig hat das Gehirn eine bemerkenswerte Flexibilität. Es kann zwischen verschiedenen Aufgaben wechseln, sich an neue Situationen anpassen und komplexe Entscheidungen treffen. Neuronale Netze hingegen sind in der Regel hochspezialisiert auf eine Aufgabenstellung. Ein System, das für die Erkennung von Gesichtern trainiert wurde, ist nicht in der Lage, plötzlich eine Textübersetzung zu leisten. Jedes neue Szenario erfordert ein neues Netz oder zumindest ein umfangreiches Umtrainieren.“ (47 f)
„Die Fähigkeit, riesige Datenmengen zu verarbeiten und daraus Muster abzuleiten, hat oft den Eindruck erweckt, dass KI-Systeme »intelligent« seien. Doch diese Intelligenz ist in vielerlei Hinsicht begrenzt. Was Modelle wie ChatGPT 59 tatsächlich leisten, ist eine bemerkenswerte Wissensrepräsen tation. Sie können Texte speichern, abrufen und in beein druckender Weise kombinieren. Aber sie verstehen diese Texte nicht im menschlichen Sinne.“ (59 f)
Hochreiter verweist darauf, dass KI einerseits unterschätzt und zu Unrecht zurückgewiesen wird (etwas von Experten, die ihre Expertise nicht an Maschinen delegieren wollen), anderseits aber auch überschätzt wird. Er verweist die KI einerseits in ihre Grenzen - „Die Zukunft der KI liegt nicht in der Nachahmung menschlicher Intelligenz, sondern in der Schaffung von Systemen, die menschliche Stärken ergänzen und erweitern“ (56) - anderseits meint er euphorisch: „KI hat das Potenzial, die wirklich großen Probleme der Menschheit anzugehen.“ (175)
So wie bei dem Schlüsselbegriff „Intelligenz“ sollte man auch mit dem Begriff „Entscheidung“ kritisch umgehen: nicht alles, was wie eine Entscheidung aussieht, ist eine Entscheidung in der Art und Weise, wie sie Menschen treffen. Ja/nein, links/rechts, richtig/falsch-Entscheidungen unterscheiden sich von komplexen menschlichen Entscheidungen, die in Politik, Wirtschaft oder auch im täglichen Leben getroffen werden.
Das „globale Miteinander ist derart verknüpft, dass ohne KI kaum mehr zu durchschauen ist, wer wann und wo Einfluss auf wen nimmt. Aus meiner Sicht ist KI deshalb mehr als nur »nice to have«: Sie wird zum entscheidenden Werkzeug, um solche dynamischen Wechselwirkungen und Vernetzungen zu erfassen und bessere Entscheidungen zu treffen. Wir dürfen dabei allerdings nicht vergessen, dass die KI zwar beste Ergebnisse liefern kann, aber die Entscheidung, wie wir damit umgehen, nach wie vor bei uns Menschen liegt.“ (177)
Einerseits betont Hochreiter, dass KI ein Werkzeug, ein Hilfsmittel für die Menschen sei, anderseits erhebt er sie zum „entscheidenden Werkzeug“. Es soll hier nicht über i-Tüpferl gestritten werden, vermutlich hat Hochreiter gemeint, KI sei ein „wichtiges Werkzeug“, aber die Wortwahl zeigt, wie leichtfertig man ein wirksames, effizientes und mächtiges Werkzeug als „entscheidend“ bezeichnet und somit das Werkzeug selbst zum „Entscheider“ erhebt. Dass KI nicht mehr, aber auch nicht weniger als „beste Ergebnisse“ liefert, erklärt Hochreiter in seinem Buch zureichend. Es sollte dies aber noch deutlicher gesagt werden:
KI liefert keine Entscheidungen.
KI liefert immer nur Ergebnisse.
Die ethischen Folgen daraus sollten für jeden Menschen (und somit auch für alle Experten) klar sein.
Resümee aus ethischer Sicht
Die Auffassung, dass Tiere nur über Instinkt, Menschen hingegen über Intuition und Intelligenz verfügen, ist vielleicht antiquiert. Nachdem nachgewiesen wurde, dass auch Tiere lernfähig sind und Intelligenz eng mit Lernen und Wissen zu tun hat, wurde auch Tieren Intelligenz zugeschrieben. Niemand bezweifelt, dass der Hund sein Herrl erkennt; mehr noch: man wird heute als Unmensch betrachtet, wenn man einem Hund weniger Intelligenz zugesteht als seinem Herrl. (Scherz am Rande: ein Alien, der Hund und Herrl auf der Straße beobachtet, müsste wohl zum Schluss kommen, dass der Hund das intelligentere Wesen ist, da das Herrl diesem folgt und die Straße von der Hundescheiße reinigt.)
Seit es Computer gibt, wird die Frage untersucht, ob sie intelligent sind, oder die Menschen in ihrer Intelligenz sogar übertreffen können. Der Schachcomputer zählt zu den Pionieren, die die Vorstellung bestärkten, Computerintelligenz sei der menschlichen überlegen. Die KI, seit ChatGPT in aller Munde, führt die „Intelligenz“ sogar in ihrem Namen. Es ist beachtlich, dass der KI-Pionier Hochreiter nicht zum Apologeten oder gar Prediger mutiert, sondern immer auch auf die Grenzen der KI verweist. Die Pointe: die KI versteht sich selbst nicht.
Verstehen bedeutet rational das Wesen einer Sache oder eines Phänomens verstehen aber auch empathisch Verständnis für einzelne Menschen und die Welt als Ganzes mit all ihren Widersprüchlichkeiten - gut und böse, gescheit und dumm, schön und hässlich, spannend und langweilig, usw. - aufbringen. Verstehen ist das Wesensmerkmal von Intelligenz.Vernunft, Verstand (gemäß Kant: praktische Vernunft), Bewusstsein und Selbstbewusstsein, sowie Empathie und Ethik – das sind die Kategorien, die menschliche Intelligenz konstituieren und prinzipiell weit über das hinaus gehen, was KI leisten kann; und ebenso unerreichbar ist für „Intelligenz“ von Tieren (ein Hund, der sein Herrl „versteht“ ist gut trainiert oder gar dressiert, aber nicht empathisch).
Hochreiter bestätigt: „KI-Systeme haben nicht nur Schwierigkeiten, zu abstrahieren und zu planen, es fehlt ihnen vor allem das Weltverständnis, also das Verständnis, wie die soziale oder physikalische Welt funktioniert. Um KI-Systeme leistungsfähiger zu machen, müssen neue Ansätze entwickelt werden, die Abstraktion, Planung und Weltverständnis näher an die menschlichen Fähigkeiten heranführen.“ (52) Die Forderung der KI „Verständnis“ beizubringen, kann nur dann realisiert werden, wenn man „Verständnis“, so wie „Intelligenz“ in KI neu definiert als „KV“ – Künstliches Verständnis.
Hochreiter bringt mehrmals das Beispiel des Schachcomputers. Ein Mensch kann vom Computer lernen, aber er kann nicht mit ihm spielen, denn der Computer kann nur (gnadenlos, lustlos, spaßbefreit) sein Programm exekutieren. Natürlich könnte man einen Schachcomputer programmieren, der nach einem Zufallsprinzip Fehler einbaut. Damit wird das Spiel aber nicht spielerischer oder humaner, sondern lediglich humanoid. Und am ende würde dieser Computer wohl wieder einen Weg finden, seinen künstlichen Fehler „KF“ zu korrigieren.
ethos.at hat in vielen Beiträgen darauf hingewiesen, dass KI immer künstlich, aber nicht immer intelligent ist. Vielleicht sollte man die Aussage noch weiter zuspitzen: KI ist immer künstlich aber nie intelligent (im Sinne der menschlichen Intelligenz). KI kann Informationen sammeln und verarbeiten, schneller und effizienter als der Mensch. Doch KI ist und bleibt KI, sie kann sich nie zur I (zur reinen Intelligenz oder gar zur reinen Vernunft) weiter entwickeln; auch wenn das Transhumanisten anders sehen. Aber das ist ein Thema – das übrigens Sepp Hochreiter in seinem Buch mit keinem Wort erwähnt hat. SIEHE AUCH. Tatyana Leys, Das kleine Buch zum neuen Denken
Der Microsoft Copilot bietet seine KI-Dienste über den Browser an. So hab ich mal nachgefragt, wie der Copilot LSTM beurteilt.
Kommen LSTM, xLSTM, Deep Learning, Transformer beim Copiloten zum Einsatz?
Ich bin eine KI, die auf den neuesten großen Sprachmodellen (Large Language Models, LLMs) basiert. Während ich keine technischen Details meiner Architektur kenne, sind moderne KI-Modelle oft mit Technologien wie Transformern, Deep Learning und anderen neuronalen Netzwerken verbunden.
Transformermodelle, die beispielsweise hinter GPT-Technologien stehen, haben sich als besonders leistungsfähig für natürliche Sprachverarbeitung erwiesen. LSTM (Long Short-Term Memory) war früher eine verbreitete Architektur für Sequenzverarbeitung, hat aber bei großen Sprachmodellen zunehmend an Bedeutung verloren. xLSTM ist eine weniger gebräuchliche Erweiterung von LSTM.
Obwohl ich keine Einsicht in meine interne Architektur habe, kannst du davon ausgehen, dass Microsoft mich mit fortschrittlichen KI-Technologien aufgebaut hat, um die bestmögliche Leistung zu bieten. Falls du an spezifischen technischen Mechanismen interessiert bist, kann ich dir allgemeine Informationen zu diesen Methoden liefern!
Copilot bestätigt somit: KI versteht sich selbst nicht! Aber: KI ist und bleibt immer „freundlich“, zumindest wurde ihr (auf welchem Wege eigentlich?) political correctness implementiert. So antwortet Copilot auf die Frage „Welche Rolle spielt Sepp Hochreiter in der Entwicklung der KI?“
Sepp Hochreiter ist eine zentrale Figur in der Entwicklung der modernen künstlichen Intelligenz (KI), insbesondere im Bereich des Deep Learning. Er ist bekannt als Mitentwickler des Long Short-Term Memory (LSTM), einer bahnbrechenden Architektur für neuronale Netze, die es ermöglicht, Sequenzdaten effizient zu verarbeiten. LSTM wird heute in zahlreichen Anwendungen eingesetzt, darunter Sprachverarbeitung, maschinelle Übersetzung und autonome Systeme.
Hochreiter leitet das Institute for Machine Learning an der Johannes-Kepler-Universität Linz und hat mit seiner Forschung maßgeblich zur Weiterentwicklung von KI-Technologien beigetragen. Er gründete zudem das Unternehmen NXAI, das sich auf innovative KI-Modelle spezialisiert hat und mit seiner xLSTM-Technologie große Konkurrenzmodelle übertrifft.
Seine Arbeit hat die KI-Forschung nachhaltig geprägt und findet Anwendung in Produkten wie Amazon Alexa, Google Translate und Apple Siri. Falls du mehr über seine aktuellen Projekte oder seine wissenschaftlichen Beiträge erfahren möchtest, können wir weiter darauf eingehen!
Mit einer provokanten Frage versuche ich den Copiloten aus der Reserve zu locken: LSTM oder LGBTQ - was ist für den Copiloten wichtiger? Er bleibt politisch korrekt:
Diese beiden Begriffe haben völlig unterschiedliche Bedeutungen und spielen in verschiedenen Bereichen eine Rolle:
LSTM (Long Short-Term Memory) ist eine spezielle Architektur neuronaler Netze, die in der künstlichen Intelligenz und maschinellen Sprachverarbeitung verwendet wird. Sie hilft, Abhängigkeiten in Sequenzdaten zu erkennen und ist ein wichtiger Bestandteil moderner KI-Technologien.
LGBTQ steht für eine Gemeinschaft von Menschen mit unterschiedlichen sexuellen Orientierungen und Geschlechtsidentitäten (Lesbian, Gay, Bisexual, Transgender, Queer). Es ist ein gesellschaftliches und kulturelles Thema, das sich mit Gleichberechtigung, Identität und Inklusion beschäftigt.
Als Copilot konzentriere ich mich darauf, Wissen zu vermitteln, relevante Informationen bereitzustellen und sinnvolle Gespräche zu führen—ob es um KI-Technologien oder gesellschaftliche Themen geht. Beides hat seinen Platz, je nach Kontext und Interesse.
WEITERE Experimente mit Copilot SIEHE: Der größte Vollidiot auf Gottes Erdboden
UPDATE 26.5.25: Über Copilot schreibt Steven J. Vaughan-Nichols in der Computerwoche.de (23.5.25): "Die Nutzer nehmen das Tool allerdings nicht an: Wie das Tech-Portal Newcomer berichtet, sollen die Nutzerzahlen von Microsoft Copilot bei etwa 20 Millionen wöchentlichen Nutzern stagnieren. Von exponentiellem Wachstum a la Open AI keine Spur. Auch Microsoft-CEO Satya Nadella musste vor kurzem einräumen, dass es immer noch keine „Killer-App“ für generative KI gibt. Gut, dass ihm das aufgefallen ist, nachdem er zehn Milliarden in die Technologie gebuttert hat. Dass es keinen Weg zur GenAI-Profitabilität eröffnet, einfach sämtliche Microsoft-Anwendungen um Copilot-Funktionen zu erweitern, hätte ich auch schon vor einem Jahr verraten können – völlig kostenlos."