DeepMinds AGI -Sicherheitspapier beeinflusst Skeptiker nicht

# deepmind # agi

Am Mittwoch ließ Google DeepMind ein kräftiges 145-seitiges Papier fallen, die tief in ihre Herangehensweise an die AGI-Sicherheit eintauchten. Agi oder künstliche allgemeine Intelligenz ist die Art von KI, die jede Aufgabe, die ein Mensch kann, in Angriff nehmen kann, und es ist ein heißes Thema in der KI -Welt. Einige Leute denken, es sei nur eine Fantasie, während andere, wie die großen Aufnahmen bei Anthropic, glauben, dass es direkt in der Kurve ist und ernsthafte Probleme verursachen könnte, wenn wir unsere Sicherheitsmaßnahmen nicht in Schach bekommen. DeepMinds Papier, die mit Hilfe von Shane Legg, Mitbegründerin Shane Legg, geschrieben wurde, richtet sich, dass Agi bis 2030 auftauchen könnte und zu dem führen könnte, was sie als "schweren Schaden" bezeichnen. Sie buchstabieren es nicht genau, aber sie werfen beängstigende Phrasen wie "existenzielle Risiken" herum, die "die Menschheit dauerhaft zerstören" könnten. "Wir setzen darauf, vor diesem Jahrzehnt eine außergewöhnliche AGI zu sehen", so die Autoren. "Eine außergewöhnliche AGI ist ein System, das den Fähigkeiten der Top-1% der Erwachsenen bei einer Reihe nicht-physischer Aufgaben entsprechen kann, einschließlich kniffliger Dinge wie dem Erlernen neuer Fähigkeiten." Von Anfang an vergleicht das Papier DeepMinds Art und Weise, mit dem AGI -Risiko umzugehen, wie anthropisch und openai dies tun. Es heißt, Anthropic ist nicht so groß in Bezug auf "robustes Training, Überwachung und Sicherheit", während OpenAI alles über die "Automatisierung" einer Art von KI -Sicherheitsforschung namens Alignment Research geht. Das Papier verleiht der Idee der Superintelligent AI auch einen Schatten - KI, der besser in Jobs als jeder andere Menschen ist. (OpenAI sagte kürzlich, dass sie ihren Fokus von Agi auf die Superintelligenz verlagern.) Ohne einige große neue Durchbrüche kaufen die Autoren von DeepMind nicht, dass Superintelligent -Systeme bald - oder vielleicht jemals. Sie denken jedoch, dass es möglich ist, dass unsere aktuellen Methoden zu einer "rekursiven KI -Verbesserung" führen können, wobei KI ihre eigene KI -Forschung durchführt, um noch schlauer KI -Systeme zu erstellen. Und das, warnen sie, könnte super gefährlich sein. Insgesamt schlägt das Papier vor, Wege zu entwickeln, um schlechte Akteure von AGI fernzuhalten, besser zu verstehen, welche KI -Systeme vorhanden sind, und die Umgebungen, in denen KI sicherer ist, sicherer zu machen. Sie geben zu, dass viele dieser Ideen noch im frühen Stadium stehen und "offene Forschungsprobleme" haben, aber sie fordern uns auf, die Sicherheitsprobleme, die auf uns zukommen könnten, nicht zu ignorieren. "AGI könnte erstaunliche Vorteile oder schwerwiegende Schäden bringen", betonen die Autoren. "Um Agi auf die richtige Weise aufzubauen, ist es für die Top -KI -Entwickler von entscheidender Bedeutung, im Voraus zu planen und diese großen Risiken anzugehen." Nicht jeder ist mit den Ideen der Zeitung an Bord. Heidy Khlaaf, die Chef -AI -Wissenschaftlerin am Nonprofit AI Now Institute, sagte TechCrunch, sie halte AGI für zu verschwommen ein Konzept, um "wissenschaftlich streng bewertet" zu werden. Ein anderer KI -Forscher, Matthew Guzdial von der University of Alberta, sagte, er sei nicht überzeugt, dass rekursive KI -Verbesserungen momentan machbar sei. "Rekursive Verbesserung ist das, worauf die Argumente für die Singularität der Intelligenz basieren", sagte Guzdial gegenüber TechCrunch, "aber wir haben noch nie Beweise dafür gesehen, dass es tatsächlich funktioniert." Sandra Wachter, der in Oxford Tech und Regulierung untersucht, weist auf eine dringlichere Sorge hin: KI verstärkt sich mit "ungenauen Ausgaben". "Wenn immer mehr Ai-generierte Inhalte online und echte Daten ersetzt werden, lernen Modelle aus ihren eigenen Ausgaben, die voller Ungenauigkeiten oder Halluzinationen sind", sagte sie gegenüber TechCrunch. "Da Chatbots hauptsächlich zum Suchen und Finden der Wahrheit verwendet werden, haben wir immer die Gefahr, falsche Informationen zu erhalten, die auf sehr überzeugende Weise präsentiert werden." So gründlich es auch ist, DeepMinds Papier wird die Debatten wahrscheinlich nicht beenden, wie wahrscheinlich AGI wirklich ist - und welche KI -Sicherheitsprobleme derzeit die größte Aufmerksamkeit benötigen.

Verwandter Artikel

Kommentare (45)