DeepMinds AGI -Sicherheitspapier beeinflusst Skeptiker nicht

Am Mittwoch veröffentlichte Google DeepMind ein umfangreiches 145-seitiges Papier, das sich intensiv mit ihrem Ansatz zur Sicherheit von AGI beschäftigt. AGI, oder künstliche allgemeine Intelligenz, ist die Art von KI, die jede Aufgabe bewältigen kann, die auch ein Mensch bewältigen kann, und ist ein heißes Thema in der KI-Welt. Manche halten es für pure Fantasie, während andere, wie die führenden Köpfe bei Anthropic, glauben, dass es kurz bevorsteht und ernsthafte Probleme verursachen könnte, wenn wir unsere Sicherheitsmaßnahmen nicht im Griff haben.
Das Papier von DeepMind, verfasst mit Unterstützung des Mitgründers Shane Legg, geht davon aus, dass AGI bis 2030 auftauchen könnte und zu dem führen könnte, was sie als „schweren Schaden“ bezeichnen. Sie spezifizieren es nicht genau, verwenden aber beängstigende Begriffe wie „existenzielle Risiken“, die die Menschheit „dauerhaft zerstören“ könnten.
„Wir setzen darauf, dass wir vor Ende dieses Jahrzehnts eine außergewöhnliche AGI sehen werden“, stellen die Autoren fest. „Eine außergewöhnliche AGI ist ein System, das die Fähigkeiten der besten 1 % der Erwachsenen bei einer Vielzahl nicht-physischer Aufgaben erreichen kann, einschließlich kniffliger Dinge wie dem Erlernen neuer Fähigkeiten.“
Gleich zu Beginn vergleicht das Papier DeepMinds Ansatz zur Bewältigung von AGI-Risiken mit dem von Anthropic und OpenAI. Es heißt, Anthropic setze nicht so stark auf „robuste Schulung, Überwachung und Sicherheit“, während OpenAI darauf fokussiert sei, eine Art von KI-Sicherheitsforschung namens „Alignment-Forschung“ zu „automatisieren“.
Das Papier übt auch Kritik an der Idee einer superintelligenten KI — einer KI, die besser in Berufen ist als jeder Mensch. (OpenAI hat kürzlich erklärt, ihren Fokus von AGI auf Superintelligenz zu verlagern.) Ohne große neue Durchbrüche glauben die Autoren von DeepMind nicht, dass superintelligente Systeme bald kommen — oder vielleicht jemals.
Sie halten es jedoch für möglich, dass unsere aktuellen Methoden zu einer „rekursiven KI-Verbesserung“ führen könnten, bei der KI ihre eigene KI-Forschung betreibt, um noch intelligentere KI-Systeme zu entwickeln. Und das, warnen sie, könnte extrem gefährlich sein.
Insgesamt schlägt das Papier vor, dass wir Wege entwickeln müssen, um böswillige Akteure von AGI fernzuhalten, besser zu verstehen, was KI-Systeme tun, und die Umgebungen, in denen KI operiert, sicherer zu machen. Sie geben zu, dass viele dieser Ideen noch in den Anfängen stecken und „offene Forschungsprobleme“ aufweisen, fordern aber dazu auf, die Sicherheitsfragen, die auf uns zukommen könnten, nicht zu ignorieren.
„AGI könnte erstaunliche Vorteile oder schweren Schaden bringen“, betonen die Autoren. „Um AGI richtig zu entwickeln, ist es entscheidend, dass die führenden KI-Entwickler vorausplanen und diese großen Risiken angehen.“
Nicht jeder teilt die Ideen des Papiers.
Heidy Khlaaf, die leitende KI-Wissenschaftlerin am gemeinnützigen AI Now Institute, sagte gegenüber TechCrunch, sie halte AGI für ein zu vages Konzept, um „wissenschaftlich rigoros bewertet“ zu werden. Ein anderer KI-Forscher, Matthew Guzdial von der University of Alberta, erklärte, er sei nicht überzeugt, dass rekursive KI-Verbesserung derzeit machbar sei.
„Rekursive Verbesserung ist die Grundlage für die Argumente zur Intelligenz-Singularität“, sagte Guzdial gegenüber TechCrunch, „aber wir haben noch nie Beweise dafür gesehen, dass sie tatsächlich funktioniert.“
Sandra Wachter, die Technologie und Regulierung an der Universität Oxford untersucht, weist auf eine dringlichere Sorge hin: KI, die sich selbst mit „ungenauen Ausgaben“ verstärkt.
„Mit immer mehr KI-generierten Inhalten online und echten Daten, die ersetzt werden, lernen Modelle aus ihren eigenen Ausgaben, die voller Ungenauigkeiten oder Halluzinationen sind“, sagte sie gegenüber TechCrunch. „Da Chatbots hauptsächlich zum Suchen und Finden der Wahrheit verwendet werden, besteht immer die Gefahr, dass uns falsche Informationen geliefert werden, die sehr überzeugend präsentiert werden.“
So gründlich es auch ist, das Papier von DeepMind wird wahrscheinlich die Debatten darüber, wie wahrscheinlich AGI wirklich ist — und welche KI-Sicherheitsfragen derzeit am dringendsten Aufmerksamkeit benötigen — nicht beenden.
Verwandter Artikel
OpenAI skizziert eine KI-Wirtschaft mit öffentlichen Vermögensfonds, Robotersteuern und einer Vier-Tage-Woche
Während Regierungen darum ringen, die wirtschaftlichen Auswirkungen superintelligenter Maschinen zu bewältigen, hat OpenAI eine Reihe von politischen Vorschlägen veröffentlicht, in denen dargelegt wir
Mitbegründer von Databricks kündigt nach dem Gewinn des ACM-Preises das Erscheinen der AGI an
Matei Zaharia, Mitbegründer und CTO von Databricks, hätte die E-Mail, in der ihm die Verleihung des ACM-Preises für Informatik 2026 mitgeteilt wurde, beinahe übersehen. „Das war wirklich eine Überrasc
Sam Altman von OpenAI verkündet den Beginn des Zeitalters der Superintelligenz
Sam Altman, CEO von OpenAI, hat verkündet, dass die Menschheit in das Zeitalter der künstlichen Superintelligenz eingetreten ist und es kein Zurück mehr gibt.„Wir haben den Punkt erreicht, an dem es k
Empfehlungen zu verwandten Spezialthemen
Kommentare (52)
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔

Am Mittwoch veröffentlichte Google DeepMind ein umfangreiches 145-seitiges Papier, das sich intensiv mit ihrem Ansatz zur Sicherheit von AGI beschäftigt. AGI, oder künstliche allgemeine Intelligenz, ist die Art von KI, die jede Aufgabe bewältigen kann, die auch ein Mensch bewältigen kann, und ist ein heißes Thema in der KI-Welt. Manche halten es für pure Fantasie, während andere, wie die führenden Köpfe bei Anthropic, glauben, dass es kurz bevorsteht und ernsthafte Probleme verursachen könnte, wenn wir unsere Sicherheitsmaßnahmen nicht im Griff haben.
Das Papier von DeepMind, verfasst mit Unterstützung des Mitgründers Shane Legg, geht davon aus, dass AGI bis 2030 auftauchen könnte und zu dem führen könnte, was sie als „schweren Schaden“ bezeichnen. Sie spezifizieren es nicht genau, verwenden aber beängstigende Begriffe wie „existenzielle Risiken“, die die Menschheit „dauerhaft zerstören“ könnten.
„Wir setzen darauf, dass wir vor Ende dieses Jahrzehnts eine außergewöhnliche AGI sehen werden“, stellen die Autoren fest. „Eine außergewöhnliche AGI ist ein System, das die Fähigkeiten der besten 1 % der Erwachsenen bei einer Vielzahl nicht-physischer Aufgaben erreichen kann, einschließlich kniffliger Dinge wie dem Erlernen neuer Fähigkeiten.“
Gleich zu Beginn vergleicht das Papier DeepMinds Ansatz zur Bewältigung von AGI-Risiken mit dem von Anthropic und OpenAI. Es heißt, Anthropic setze nicht so stark auf „robuste Schulung, Überwachung und Sicherheit“, während OpenAI darauf fokussiert sei, eine Art von KI-Sicherheitsforschung namens „Alignment-Forschung“ zu „automatisieren“.
Das Papier übt auch Kritik an der Idee einer superintelligenten KI — einer KI, die besser in Berufen ist als jeder Mensch. (OpenAI hat kürzlich erklärt, ihren Fokus von AGI auf Superintelligenz zu verlagern.) Ohne große neue Durchbrüche glauben die Autoren von DeepMind nicht, dass superintelligente Systeme bald kommen — oder vielleicht jemals.
Sie halten es jedoch für möglich, dass unsere aktuellen Methoden zu einer „rekursiven KI-Verbesserung“ führen könnten, bei der KI ihre eigene KI-Forschung betreibt, um noch intelligentere KI-Systeme zu entwickeln. Und das, warnen sie, könnte extrem gefährlich sein.
Insgesamt schlägt das Papier vor, dass wir Wege entwickeln müssen, um böswillige Akteure von AGI fernzuhalten, besser zu verstehen, was KI-Systeme tun, und die Umgebungen, in denen KI operiert, sicherer zu machen. Sie geben zu, dass viele dieser Ideen noch in den Anfängen stecken und „offene Forschungsprobleme“ aufweisen, fordern aber dazu auf, die Sicherheitsfragen, die auf uns zukommen könnten, nicht zu ignorieren.
„AGI könnte erstaunliche Vorteile oder schweren Schaden bringen“, betonen die Autoren. „Um AGI richtig zu entwickeln, ist es entscheidend, dass die führenden KI-Entwickler vorausplanen und diese großen Risiken angehen.“
Nicht jeder teilt die Ideen des Papiers.
Heidy Khlaaf, die leitende KI-Wissenschaftlerin am gemeinnützigen AI Now Institute, sagte gegenüber TechCrunch, sie halte AGI für ein zu vages Konzept, um „wissenschaftlich rigoros bewertet“ zu werden. Ein anderer KI-Forscher, Matthew Guzdial von der University of Alberta, erklärte, er sei nicht überzeugt, dass rekursive KI-Verbesserung derzeit machbar sei.
„Rekursive Verbesserung ist die Grundlage für die Argumente zur Intelligenz-Singularität“, sagte Guzdial gegenüber TechCrunch, „aber wir haben noch nie Beweise dafür gesehen, dass sie tatsächlich funktioniert.“
Sandra Wachter, die Technologie und Regulierung an der Universität Oxford untersucht, weist auf eine dringlichere Sorge hin: KI, die sich selbst mit „ungenauen Ausgaben“ verstärkt.
„Mit immer mehr KI-generierten Inhalten online und echten Daten, die ersetzt werden, lernen Modelle aus ihren eigenen Ausgaben, die voller Ungenauigkeiten oder Halluzinationen sind“, sagte sie gegenüber TechCrunch. „Da Chatbots hauptsächlich zum Suchen und Finden der Wahrheit verwendet werden, besteht immer die Gefahr, dass uns falsche Informationen geliefert werden, die sehr überzeugend präsentiert werden.“
So gründlich es auch ist, das Papier von DeepMind wird wahrscheinlich die Debatten darüber, wie wahrscheinlich AGI wirklich ist — und welche KI-Sicherheitsfragen derzeit am dringendsten Aufmerksamkeit benötigen — nicht beenden.
OpenAI skizziert eine KI-Wirtschaft mit öffentlichen Vermögensfonds, Robotersteuern und einer Vier-Tage-Woche
Während Regierungen darum ringen, die wirtschaftlichen Auswirkungen superintelligenter Maschinen zu bewältigen, hat OpenAI eine Reihe von politischen Vorschlägen veröffentlicht, in denen dargelegt wir
Mitbegründer von Databricks kündigt nach dem Gewinn des ACM-Preises das Erscheinen der AGI an
Matei Zaharia, Mitbegründer und CTO von Databricks, hätte die E-Mail, in der ihm die Verleihung des ACM-Preises für Informatik 2026 mitgeteilt wurde, beinahe übersehen. „Das war wirklich eine Überrasc
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔





Heim






