cupure logo

KI-Überblick 5: Transformer – Self-Attention verändert die Sprachverarbeitung

KI-Überblick 5: Transformer – Self-Attention verändert die Sprachverarbeitung
Transformer-Modelle wie GPT, BERT und Co. haben die KI revolutioniert. Dieser Beitrag erklärt das Architekturprinzip und die Idee hinter Self-Attention.

Kommentare

Ähnliche Nachrichten

Streit um KI-Überblicke: US-Medienkonzern verklagt Google wegen KI in Suchmaschine

vor 4 Tagen

KI-Überblick 4: Deep Learning – warum Tiefe den Unterschied macht

vor 10 Tagen

KI-Überblick 3: Was sind neuronale Netze – und wie funktionieren sie?

vor 18 Tagen

KI-Überblick 2: Wie Maschinen lernen – Methoden des Machine Learning

vor 25 Tagen

Technische Neuigkeiten

Nach der IAA: Im Widerspruch
Frankfurter Allgemeine

Nach der IAA: Im Widerspruch

vor 2 Tagen
Youtube stellt Weichen für mehr KI in Videos
heise.de

Youtube stellt Weichen für mehr KI in Videos

vor 2 Tagen
heise+ | KI-Bildbearbeitung im Vergleich: ChatGPT 5 und Gemini 2.5 Flash Image
heise.de

heise+ | KI-Bildbearbeitung im Vergleich: ChatGPT 5 und Gemini 2.5 Flash Image

vor 2 Tagen
Google will die lahme Windows-Suche ablösen
heise.de

Google will die lahme Windows-Suche ablösen

vor 2 Tagen
heise-Angebot: iX-Workshop: ISO 27001 als Admin im Unternehmen praktisch umsetzen
heise.de

heise-Angebot: iX-Workshop: ISO 27001 als Admin im Unternehmen praktisch umsetzen

vor 2 Tagen
"KPop Demon Hunters": Dämonenjägerinnen knacken 300-Millionen-Marke
heise.de

"KPop Demon Hunters": Dämonenjägerinnen knacken 300-Millionen-Marke

vor 2 Tagen
programmier.bar: Text-to-Speech mit Thorsten Müller
heise.de

programmier.bar: Text-to-Speech mit Thorsten Müller

vor 2 Tagen
Router nach Umzug: Diese Stolperfallen kosten Nerven – und Geschwindigkeit
t-online.de

Router nach Umzug: Diese Stolperfallen kosten Nerven – und Geschwindigkeit

vor 2 Tagen
E-Autos strotzen vor Kraft: Jetzt können sie sogar Flugzeuge ziehen
chip.de

E-Autos strotzen vor Kraft: Jetzt können sie sogar Flugzeuge ziehen

vor 2 Tagen
Für die Ewigkeit: Die Top 7 Lebensmittel, die niemals schlecht werden
chip.de

Für die Ewigkeit: Die Top 7 Lebensmittel, die niemals schlecht werden

vor 2 Tagen
Buchsbaumzünsler entdeckt? So entsorgen Sie ihn richtig – sonst kommt er zurück
chip.de

Buchsbaumzünsler entdeckt? So entsorgen Sie ihn richtig – sonst kommt er zurück

vor 2 Tagen
Wie ein VPN Ihnen hilft, Ihre Online-Aktivitäten auf dem Smartphone zu verschlüsseln
chip.de

Wie ein VPN Ihnen hilft, Ihre Online-Aktivitäten auf dem Smartphone zu verschlüsseln

vor 2 Tagen
Blasenentzündung oder Reizblase? So erkennen Sie den Unterschied
chip.de

Blasenentzündung oder Reizblase? So erkennen Sie den Unterschied

vor 2 Tagen
Keine Vorschrift, trotzdem sinnvoll: 4 Notfall-Werkzeuge für jedes Auto
chip.de

Keine Vorschrift, trotzdem sinnvoll: 4 Notfall-Werkzeuge für jedes Auto

vor 2 Tagen
Pfandbon bei Aldi, Lidl und Co.: So lange können Sie ihn einlösen
chip.de

Pfandbon bei Aldi, Lidl und Co.: So lange können Sie ihn einlösen

vor 2 Tagen
Das sind die Tagesgeldkonten mit den besten Aktionszinsen
computer bild

Das sind die Tagesgeldkonten mit den besten Aktionszinsen

vor 2 Tagen
Starkes Angebot: Volkswagen Bank erhöht Zinsen fürs Tagesgeld
computer bild

Starkes Angebot: Volkswagen Bank erhöht Zinsen fürs Tagesgeld

vor 2 Tagen
Softwarehersteller : KI für die Personalsuche – was SAP mit seinem jüngsten Zukauf plant
Handelsblatt

Softwarehersteller : KI für die Personalsuche – was SAP mit seinem jüngsten Zukauf plant

vor 2 Tagen
Social Media: Trump setzt Tiktok-Bann erneut aus – drei Namen für die künftigen US-Eigentümer kursieren
Handelsblatt

Social Media: Trump setzt Tiktok-Bann erneut aus – drei Namen für die künftigen US-Eigentümer kursieren

vor 2 Tagen
Mittwoch: Copilot kostenfrei für Microsoft 365, YouTube für mehr Live-Streaming
heise.de

Mittwoch: Copilot kostenfrei für Microsoft 365, YouTube für mehr Live-Streaming

vor 2 Tagen
heise+ | Surfen mit KI: Der neue Comet-Browser von Perplexity im Praxistest
heise.de

heise+ | Surfen mit KI: Der neue Comet-Browser von Perplexity im Praxistest

vor 2 Tagen
Algorithmus bleibt in China: US-TikTok soll an Konsortium um Oracle gehen
heise.de

Algorithmus bleibt in China: US-TikTok soll an Konsortium um Oracle gehen

vor 2 Tagen
Sachsen setzt auf "Strahlkraft" durch Ansiedlung von TSMC
heise.de

Sachsen setzt auf "Strahlkraft" durch Ansiedlung von TSMC

vor 2 Tagen
Kriege, Trump, schwächelnde Wirtschaft - die Onlinewerbebranche boomt trotzdem
heise.de

Kriege, Trump, schwächelnde Wirtschaft - die Onlinewerbebranche boomt trotzdem

vor 2 Tagen
Discounter plant wohl Kahlschlag: Bis zu 400 Filialen droht jetzt die Schließung
chip.de

Discounter plant wohl Kahlschlag: Bis zu 400 Filialen droht jetzt die Schließung

vor 2 Tagen
Nutzer sollten sofort handeln: Sicherheitslücke in WhatsApp entdeckt
chip.de

Nutzer sollten sofort handeln: Sicherheitslücke in WhatsApp entdeckt

vor 2 Tagen
Samsung One UI 8: Diese Galaxy-Besitzer können sich über das Update freuen
chip.de

Samsung One UI 8: Diese Galaxy-Besitzer können sich über das Update freuen

vor 2 Tagen
Kein Premium-Abo notwendig: Spotify weitet Gratisfunktionen aus
chip.de

Kein Premium-Abo notwendig: Spotify weitet Gratisfunktionen aus

vor 2 Tagen
IAA 2025 ist vorbei: Diese Autos dürfen Sie nicht verpassen
chip.de

IAA 2025 ist vorbei: Diese Autos dürfen Sie nicht verpassen

vor 2 Tagen
Visa-Cashback-Aktion gestartet: Hier bekommen Kunden viel Geld zurück
chip.de

Visa-Cashback-Aktion gestartet: Hier bekommen Kunden viel Geld zurück

vor 2 Tagen
Laut Studie: Ist Intervallfasten effektiver als Kalorienzählen?
chip.de

Laut Studie: Ist Intervallfasten effektiver als Kalorienzählen?

vor 2 Tagen
Deutschlands dämlichster Bahnhof: Er braucht einen Türsteher fürs Bahngleis
chip.de

Deutschlands dämlichster Bahnhof: Er braucht einen Türsteher fürs Bahngleis

vor 2 Tagen
Amazon kündigt Event an: Einladung gibt erste Geräte-Hinweise
chip.de

Amazon kündigt Event an: Einladung gibt erste Geräte-Hinweise

vor 2 Tagen
Start ist am 25. September: Das Angebot gab es bei Aldi noch nie
chip.de

Start ist am 25. September: Das Angebot gab es bei Aldi noch nie

vor 2 Tagen
Wichtiges Update für Galaxy-Nutzer: Samsung schließt gefährliche Sicherheitslücke
chip.de

Wichtiges Update für Galaxy-Nutzer: Samsung schließt gefährliche Sicherheitslücke

vor 2 Tagen
Deutsches Möbelunternehmen ist insolvent– jetzt drohen weitreichende Folgen
chip.de

Deutsches Möbelunternehmen ist insolvent– jetzt drohen weitreichende Folgen

vor 2 Tagen
Aktuelle Betrugsmasche: Diese Briefe müssen Sie jetzt unbedingt ignorieren
chip.de

Aktuelle Betrugsmasche: Diese Briefe müssen Sie jetzt unbedingt ignorieren

vor 2 Tagen
Spitzenreiter bei Insolvenzen: Diese Branche ist am stärksten betroffen
chip.de

Spitzenreiter bei Insolvenzen: Diese Branche ist am stärksten betroffen

vor 2 Tagen
Mega-Rückruf bei Opel, Peugeot und Co: 85.000 Autos in Deutschland betroffen
chip.de

Mega-Rückruf bei Opel, Peugeot und Co: 85.000 Autos in Deutschland betroffen

vor 2 Tagen
Finger weg von Fake‑SIMs: So schützen Sie Ihre Daten im Urlaub
chip.de

Finger weg von Fake‑SIMs: So schützen Sie Ihre Daten im Urlaub

vor 2 Tagen
Ablehnen oder akzeptieren? Welche Cookie-Entscheidung sinnvoll ist
chip.de

Ablehnen oder akzeptieren? Welche Cookie-Entscheidung sinnvoll ist

vor 2 Tagen
Kein Gefrierbrand mehr: Mit diesen Tipps bleibt Ihre Tiefkühlware frisch
chip.de

Kein Gefrierbrand mehr: Mit diesen Tipps bleibt Ihre Tiefkühlware frisch

vor 2 Tagen
ARD überarbeitet Mediathek-App: Nutzer streamen jetzt mit mehr Komfort
chip.de

ARD überarbeitet Mediathek-App: Nutzer streamen jetzt mit mehr Komfort

vor 2 Tagen
Gleich 3 Banken im Visier von Kriminellen – wie Kunden sich jetzt schützen können
chip.de

Gleich 3 Banken im Visier von Kriminellen – wie Kunden sich jetzt schützen können

vor 2 Tagen
Samsung macht Schluss: Update-Aus trifft gleich 2 Modelle
chip.de

Samsung macht Schluss: Update-Aus trifft gleich 2 Modelle

vor 2 Tagen
Kuriose iPhone-Panne: Technik-Experten finden cleveren Trick im System
chip.de

Kuriose iPhone-Panne: Technik-Experten finden cleveren Trick im System

vor 2 Tagen
Nie wieder Kratzer: Diese Brillenputz-Fehler machen fast alle
chip.de

Nie wieder Kratzer: Diese Brillenputz-Fehler machen fast alle

vor 2 Tagen
Auch wenn sie gesund sind: Diese Lebensmittel sollten Sie niemals auf leerem Magen essen
chip.de

Auch wenn sie gesund sind: Diese Lebensmittel sollten Sie niemals auf leerem Magen essen

vor 2 Tagen
Therapie mit Tieren: Heiler auf vier Beinen
Der Spiegel

Therapie mit Tieren: Heiler auf vier Beinen

vor 2 Tagen
Konsumgüter: Bakterien gegen Mikroplastik – Start-up Bioweg baut eigene Fabrik
Handelsblatt

Konsumgüter: Bakterien gegen Mikroplastik – Start-up Bioweg baut eigene Fabrik

vor 2 Tagen
Tech-Konzern : Google plant Milliarden-Investitionen in Großbritannien
Handelsblatt

Tech-Konzern : Google plant Milliarden-Investitionen in Großbritannien

vor 2 Tagen
Betrüger erzeugt Milliarden Werbeaufrufe mit besonders vorsichtigen Android-Apps
heise.de

Betrüger erzeugt Milliarden Werbeaufrufe mit besonders vorsichtigen Android-Apps

vor 2 Tagen
Microsoft spendiert allen Nutzern von Microsoft 365 kostenfreien Copilot-Chat
heise.de

Microsoft spendiert allen Nutzern von Microsoft 365 kostenfreien Copilot-Chat

vor 2 Tagen
Mehr als nur Suppe: Diese Kürbis-Rezept-Ideen sollten Sie kennen
chip.de

Mehr als nur Suppe: Diese Kürbis-Rezept-Ideen sollten Sie kennen

vor 2 Tagen
Video-App: Trump gibt Tiktok noch einen Aufschub in den USA
Stern

Video-App: Trump gibt Tiktok noch einen Aufschub in den USA

vor 2 Tagen
Video-Plattform: Youtube stellt Weichen für mehr KI in Videos
Stern

Video-Plattform: Youtube stellt Weichen für mehr KI in Videos

vor 2 Tagen
Herbstverkauf bei AliExpress: Wohnträume für wenig Geld
chip.de

Herbstverkauf bei AliExpress: Wohnträume für wenig Geld

vor 2 Tagen
Youtube ändert Live-Streaming, Reklame erhält mehr Platz
heise.de

Youtube ändert Live-Streaming, Reklame erhält mehr Platz

vor 2 Tagen
Wussten Sie es? Diese Kürbissorte ist am gesündesten
chip.de

Wussten Sie es? Diese Kürbissorte ist am gesündesten

vor 2 Tagen
Wattestäbchen im Ohr? Das kann gefährlich werden
chip.de

Wattestäbchen im Ohr? Das kann gefährlich werden

vor 2 Tagen