Informatikexperte diskutiert über Rechenleistung und Innovation

Moores Gesetz ist die berühmte Prognose von Intel-Mitbegründer Gordon Moore, dass sich die Anzahl der Transistoren auf einem Mikrochip alle ein bis zwei Jahre verdoppeln würde. Diese Prognose wurde seit den 1970er Jahren größtenteils erfüllt oder übertroffen – die Rechenleistung verdoppelt sich etwa alle zwei Jahre, während bessere und schnellere Mikrochips billiger werden.

Dieses schnelle Wachstum der Rechenleistung hat Innovationen seit Jahrzehnten vorangetrieben, doch im frühen 21. Jahrhundert begannen Forscher Alarm zu läuten, dass das Moore’sche Gesetz langsamer würde. Bei der Standard-Siliziumtechnologie gibt es physikalische Grenzen dafür, wie klein Transistoren werden können und wie viele auf einen erschwinglichen Mikrochip passen.

Neil Thompson, ein MIT-Forschungswissenschaftler am Computer Science and Artificial Intelligence Laboratory (CSAIL) und der Sloan School of Management, und sein Forschungsteam machten sich daran, die Bedeutung leistungsfähigerer Computer für die Verbesserung der Ergebnisse in der Gesellschaft zu quantifizieren. In einem neuen Arbeitspapier analysierten sie fünf Bereiche, in denen Berechnungen von entscheidender Bedeutung sind, darunter Wettervorhersage, Ölexploration und Proteinfaltung (wichtig für die Wirkstoffforschung). Das Arbeitspapier wurde gemeinsam von den wissenschaftlichen Mitarbeitern Gabriel F. Manso und Shuning Ge verfasst.

Sie fanden heraus, dass zwischen 49 und 94 Prozent der Verbesserungen in diesen Bereichen durch Rechenleistung erklärt werden können. Bei der Wettervorhersage beispielsweise verbessert eine Erhöhung der Computerleistung um den Faktor 10 die Vorhersagen für drei Tage im Voraus um ein Drittel Grad.

Aber der Computerfortschritt verlangsamt sich, was weitreichende Auswirkungen auf Wirtschaft und Gesellschaft haben könnte. Thompson sprach mit MIT News über diese Forschung und die Auswirkungen des Endes von Moores Gesetz.

F: Wie sind Sie an diese Analyse herangegangen und haben Sie die Auswirkungen des Computing auf verschiedene Bereiche quantifiziert?

A: Die Quantifizierung der Auswirkungen von Computern auf reale Ergebnisse ist schwierig. Die gebräuchlichste Art, die Rechenleistung und den IT-Fortschritt im Allgemeinen zu betrachten, besteht darin, zu untersuchen, wie viel Unternehmen dafür ausgeben, und zu untersuchen, wie dies mit den Ergebnissen korreliert. Ausgaben sind jedoch eine schwierige Messgröße, da sie den Wert der gekauften Rechenleistung nur teilweise widerspiegeln. Ein Computerchip von heute kostet beispielsweise genauso viel wie der des letzten Jahres, ist aber auch viel leistungsfähiger. Ökonomen versuchen, sich an diese Qualitätsänderung anzupassen, aber es ist schwierig, genau herauszufinden, wie hoch diese Zahl sein sollte. Für unser Projekt haben wir die Rechenleistung direkter gemessen – zum Beispiel, indem wir uns die Fähigkeiten der Systeme angesehen haben, die verwendet wurden, als die Proteinfaltung zum ersten Mal mit Deep Learning durchgeführt wurde. Durch einen direkten Blick auf die Fähigkeiten können wir genauere Messungen und somit bessere Schätzungen darüber erhalten, wie die Rechenleistung die Leistung beeinflusst.

F: Wie ermöglichen leistungsfähigere Computer Verbesserungen bei der Wettervorhersage, der Ölexploration und der Proteinfaltung?

A: Die kurze Antwort lautet, dass die Erhöhung der Rechenleistung einen enormen Einfluss auf diese Bereiche hatte. Bei der Wettervorhersage haben wir festgestellt, dass die für diese Modelle verwendete Rechenleistung um das Billionenfache gestiegen ist. Das relativiert, wie viel Rechenleistung zugenommen hat und wie wir sie genutzt haben. Dies ist nicht jemand, der einfach ein altes Programm nimmt und es auf einen schnelleren Computer installiert; Stattdessen müssen Benutzer ihre Algorithmen ständig neu entwerfen, um die 10- oder 100-mal höhere Computerleistung nutzen zu können. Es muss immer noch viel menschlicher Einfallsreichtum in die Verbesserung der Leistung investiert werden, aber unsere Ergebnisse zeigen, dass ein Großteil dieses Einfallsreichtums darauf ausgerichtet ist, wie man immer leistungsfähigere Computer-Engines nutzen kann.

Die Ölexploration ist ein interessanter Fall, weil es mit der Zeit schwieriger wird, wenn die einfachen Brunnen gebohrt werden, was übrig bleibt, ist schwieriger. Ölkonzerne kämpften gegen diesen Trend mit einigen der größten Supercomputer der Welt, die sie zur Interpretation seismischer Daten und zur Kartierung der unterirdischen Geologie verwendeten. Dies hilft ihnen, besser an genau der richtigen Stelle zu bohren.

Die Verwendung von Computern zur besseren Proteinfaltung ist seit langem ein Ziel, da dies für das Verständnis der dreidimensionalen Formen dieser Moleküle von entscheidender Bedeutung ist, was wiederum bestimmt, wie sie mit anderen Molekülen interagieren. In den letzten Jahren haben die AlphaFold-Systeme auf diesem Gebiet bemerkenswerte Durchbrüche erzielt. Unsere Analyse zeigt, dass diese Verbesserungen durch die massive Steigerung der von ihnen verwendeten Rechenleistung gut vorhergesagt werden.

F: Was waren einige der größten Herausforderungen bei der Durchführung dieser Analyse?

A: Wenn man sich zwei Trends ansieht, die im Laufe der Zeit wachsen, in diesem Fall Leistung und Rechenleistung, besteht eine der wichtigsten Herausforderungen darin, zu entwirren, was von der Beziehung zwischen ihnen Kausalität ist und was eigentlich nur Korrelation ist. Wir können diese Frage teilweise beantworten, weil Unternehmen in den von uns untersuchten Bereichen riesige Summen investieren und daher viele Tests durchführen. Bei der Wettermodellierung beispielsweise geben sie nicht nur zig Millionen Dollar für neue Maschinen aus und hoffen dann, dass sie funktionieren. Sie führen eine Bewertung durch und stellen fest, dass die doppelt so lange Ausführung eines Modells die Leistung verbessert. Dann kaufen sie ein System, das leistungsfähig genug ist, um diese Berechnung in kürzerer Zeit durchzuführen, damit sie es operativ einsetzen können. Das gibt uns viel Selbstvertrauen. Aber es gibt auch andere Möglichkeiten, wie wir die Kausalität sehen können. Zum Beispiel sehen wir, dass es eine Reihe großer Sprünge in der Rechenleistung gab, die von der NOAA (der National Oceanic and Atmospheric Administration) für die Wettervorhersage verwendet wurde. Und wenn sie einen größeren Computer gekauft und ihn auf einmal installiert haben, steigt die Leistung wirklich.

F: Wären diese Fortschritte ohne exponentielle Steigerungen der Rechenleistung möglich gewesen?

A: Das ist eine knifflige Frage, weil es viele verschiedene Inputs gibt: Humankapital, traditionelles Kapital und auch Rechenleistung. Alle drei verändern sich im Laufe der Zeit. Man könnte sagen, wenn Sie eine Billionenfache Steigerung der Rechenleistung haben, hat das sicherlich den größten Effekt. Und das ist eine gute Intuition, aber Sie müssen auch mit abnehmenden Grenzerträgen rechnen. Wenn Sie zum Beispiel von keinem Computer zu einem Computer wechseln, ist das eine große Veränderung. Aber wenn Sie von 100 Computern auf 101 Computer umsteigen, bringt dieser zusätzliche Computer nicht annähernd so viel Gewinn. Es gibt also zwei konkurrierende Kräfte – große Zunahmen bei der Datenverarbeitung auf der einen Seite, aber abnehmende Grenzvorteile auf der anderen Seite. Unsere Forschung zeigt, dass, obwohl wir bereits über Tonnen von Rechenleistung verfügen, diese so schnell größer wird, dass dies einen Großteil der Leistungsverbesserung in diesen Bereichen erklärt.

F: Was sind die Auswirkungen, die sich aus der Verlangsamung des Mooreschen Gesetzes ergeben?

A: Die Auswirkungen sind ziemlich besorgniserregend. Wenn sich die Datenverarbeitung verbessert, fördert sie eine bessere Wettervorhersage und die anderen Bereiche, die wir untersucht haben, aber sie verbessert auch unzählige andere Bereiche, die wir nicht gemessen haben, die aber dennoch kritische Teile unserer Wirtschaft und Gesellschaft sind. Wenn dieser Verbesserungsmotor langsamer wird, bedeutet dies, dass all diese Folgeeffekte ebenfalls langsamer werden.

Einige sind anderer Meinung und argumentieren, dass es viele Wege der Innovation gibt – wenn sich ein Weg verlangsamt, werden andere dies kompensieren. Auf einer gewissen Ebene stimmt das. Beispielsweise sehen wir bereits ein verstärktes Interesse an der Entwicklung spezialisierter Computerchips, um das Ende des Mooreschen Gesetzes zu kompensieren. Das Problem ist jedoch das Ausmaß dieser Effekte. Die Gewinne durch das Moore’sche Gesetz waren so groß, dass andere Innovationsquellen in vielen Anwendungsbereichen nicht kompensieren können.

---

---

Diese Geschichte wurde mit freundlicher Genehmigung von MIT News (web.mit.edu/newsoffice/), eine beliebte Website, die Neuigkeiten über MIT-Forschung, -Innovation und -Lehre enthält.