Gemeinsame Benchmarks auf der OCI-H100-Infrastruktur ergaben zehnmal so viele gleichzeitig unterstützte Nutzer, einen zehnmal höheren Token-Durchsatz und siebenmal mehr bereitgestellte Token ohne zusätzliche GPUs

CAMPBELL, Kalifornien, 9. Juni 2026 /PRNewswire/ -- WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, gab heute Benchmarks im Produktionsmaßstab bekannt, die zeigen, wie Unternehmen die Wirtschaftlichkeit von KI-Inferenz mit langem Kontext verbessern können, indem sie mit gleichem GPU-Bestand mehr Nutzer unterstützen und mehr Token verarbeiten. Die Benchmarks zeigen, dass die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf Oracle Cloud Infrastructure (OCI) zehnmal so viele Nutzer gleichzeitig unterstützt, einen zehnmal höheren Token-Durchsatz erreicht und siebenmal mehr Token pro GPU verarbeitet als reine DRAM-Konfigurationen, und das ohne zusätzliche Infrastruktur. Die Ergebnisse wurden auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten und Kontextfenstern mit 100 000 Token validiert.

„KI-Workloads in Unternehmen bringen Kontextfenster und GPU-Auslastung an neue Grenzen", sagte Pablo Selem, leitender Direktor für Softwareentwicklung bei Oracle Cloud Infrastructure. „Diese Benchmarks zeigen, wie die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf OCI Speicherengpässe beseitigt, sodass Kunden größere, anspruchsvollere Inferenz-Workloads unterstützen können, ohne einfach weitere GPUs hinzuzunehmen."

Drei Ergebnisse, die neue Maßstäbe für die Inferenzkalkulation setzen

Im Produktionsmaßstab auf einem Bare-Metal-H100-Cluster validiert (neun Knoten, 72 GPUs, Kontextfenster mit 100 000 Token, Tausende gleichzeitig unterstützte Nutzer), lieferte NeuralMesh mit Augmented Memory Grid auf OCI:

• Zehnmal so viele Nutzer gleichzeitig, ohne zusätzliche Infrastruktur. NeuralMesh mit Augmented Memory Grid ließ sich auf über 5000 gleichzeitig unterstützte Nutzer skalieren, verglichen mit etwa 600 bei reinen DRAM-Konfigurationen. Dadurch wird der abrupte Leistungseinbruch vermieden, der bei einer Cache-Sättigung auftritt, indem der aktive Cache-Arbeitsdatensatz von 8,64 TiB DRAM auf 287 TiB nutzbaren NVMe-Speicher erweitert wird. Außerdem bedeutet eine höhere Nutzerzahl pro GPU, dass dieselbe Investition weiter reicht.
• Zehnmal höherer Token-Durchsatz. Mehr Leistung von jeder GPU im Cluster. Auf OCI erreichte NeuralMesh mit Augmented Memory Grid etwa zwei Millionen Token pro Sekunde, verglichen mit weniger als 200 000 Token bei der reinen DRAM-Baseline. Für Produktteams, die Echtzeit-KI-Funktionen wie Suche, Zusammenfassung, Code-Unterstützung sowie Multi-Turn-Agenten betreiben, bestimmt der Durchsatz die Obergrenze dafür, wie viele Nutzer unterstützt werden können, wie schnell Funktionen reagieren und wie viel Umsatz die Infrastruktur tragen kann.
• Siebenmal mehr Token bereitgestellt. Geringere Kosten pro Token bei Skalierung. NeuralMesh mit Augmented Memory Grid stellte in einem einzigen einstündigen Test mit 2400 Nutzern fünf Milliarden Token bereit, verglichen mit 700 Millionen Token bei der reinen DRAM-Baseline. In Unternehmen mit agentenbasierten Arbeitsabläufen zehrt die DRAM-Sättigung durch ständige Neuberechnungen unbemerkt GPU-Kapazität auf und belastet damit unmittelbar die Kosten pro Token sowie die Investitionsrendite.

„Die Inferenz wird dadurch begrenzt, wie viel effektiver Speicher den GPUs zur Verfügung steht", sagte Liran Zvibel, Geschäftsführer von WEKA. „Diese Ergebnisse belegen, dass sich die Token-Ökonomie von KI nicht allein durch Hardware verbessern lässt, sondern durch die Beseitigung der Speicherbarriere, die bislang die tatsächliche Obergrenze für die Leistung bestehender Hardware darstellt. NeuralMesh mit Augmented Memory Grid auf OCI stellt Kunden auf äußerst kosteneffiziente Weise um Größenordnungen mehr Token bereit."

Transformation der KI-Wirtschaftlichkeit durch eine Infrastruktur für Kontextspeicher

Mit wachsender Nachfrage nach Inferenz verstärken sich Ineffizienzen in der KI-Infrastruktur. Jede Verdrängung aus dem Schlüssel-Wert-Cache (KV-Cache) ist eine Belastung: für GPU-Zyklen, Latenz, Benutzererfahrung und die Kosten jedes bereitgestellten Tokens. Bei Workloads mit langem Kontext und agentenbasierten Workloads, bei denen Eingaben regelmäßig 100 000 Token oder mehr umfassen, ist diese Belastung kein Rundungsfehler. Sie wirkt sich direkt auf die Wirtschaftlichkeit jedes Unternehmens aus, das KI im Produktionsbetrieb einsetzt.

Augmented Memory Grid, eine Funktionalität von NeuralMesh, löst das Problem auf Architekturebene, indem der KV-Cache vom lokalen GPU-Speicher entkoppelt und in einem leistungsstarken Token-Warehouse (Token-Speicher) gespeichert wird, auf das der gesamte Cluster zugreifen kann. Jeder Host kann jede Sitzung mit erhaltenen Cache-Treffern bedienen. Dadurch entfällt starre Sitzungsbindung, während zugleich die DRAM-Leistung übertroffen, der Lastausgleich verbessert und eine saubere horizontale Skalierung bei zunehmender Parallelität ermöglicht wird. Das Ergebnis ist ein persistenter Kontextspeicher für KI-Agenten und ein Kostenhebel, der Inferenz mit langem Kontext bei Skalierung wirtschaftlich macht.

Produktionsreifer Nachweis

OCI veröffentlichte die vollständige Benchmark-Methodik, die Systemkonfiguration und die Ergebnisse am 13. Mai 2026 in seinem KI- und Datenwissenschaftsblog. Die Benchmarks, die auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten durchgeführt wurden, gehen über die vorherige Validierungsphase hinaus, in der eine 1000-fach höhere KV-Cache-Kapazität und eine bis zu 20-fach schnellere Zeit bis zum ersten Token bei 128 000 Token nachgewiesen wurden. In dieser neuesten Phase wird die volle Wirtschaftlichkeit der Inferenz im Produktionsbetrieb getestet: Dichte gleichzeitiger Zugriffe, dauerhafter Durchsatz, Cache-Persistenz und Stabilität der Service-Level-Ziele (SLO) bei Bedarfsspitzen unter hoher Last.

Erhältlich im Oracle Marketplace

NeuralMesh mit Augmented Memory Grid ist für WEKA-Kunden allgemein verfügbar und im Oracle Marketplace erhältlich, wobei OCI WEKAs exklusiver Cloud-Partner für die Markteinführung ist. Unternehmen, die Inferenz mit langem Kontext auf OCI einsetzen, können bereits heute eine validierte, produktionsreife Architektur bereitstellen. Weitere Informationen zum Benchmark von OCI und WEKA zu Augmented Memory Grid finden Sie im OCI-Blog: https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid.

Informationen zu WEKA

WEKA ist das Unternehmen für KI-Daten- und Speicherinfrastruktur, das die Wirtschaftlichkeit agentenbasierter KI verändert. Die NeuralMesh™-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern sowie KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um das bis zu 20-fache und unterstützt bei gleichem GPU-Bestand zehnmal so viele Nutzer gleichzeitig, wie Produktionsbenchmarks belegen. WEKA, dem 30 % der Fortune 50-Unternehmen vertrauen, unterstützt Unternehmen dabei, KI schneller zu skalieren, die GPU-Auslastung zu optimieren und die Kosten jedes bereitgestellten Tokens zu senken. Weitere Informationen finden Sie auf www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.

WEKA und das W-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier genannte Markennamen können Marken der jeweiligen Eigentümer sein.

View original content to download multimedia:https://www.prnewswire.com/de/pressemitteilungen/weka-und-oracle-cloud-infrastructure-belegen-zehnfache-durchsatzsteigerungen-fur-ki-inferenz-mit-langem-kontext-302794928.html

Die Schweiz stimmt an diesem Sonntag über eine richtungsweisende Volksinitiative zur Begrenzung des Bevölkerungswachstums ab. Die von der Schweizerischen Volkspartei (SVP) eingebrachte Vorlage «Keine 10-Millionen-Schweiz» will festschreiben, dass die ständige Wohnbevölkerung bis 2050 unter der Marke von zehn Millionen Menschen bleibt. Laut jüngsten Umfragen zeichnet sich ein knappes Rennen ab, mit einem leichten Trend zur Ablehnung. Regierung, Parlament und große Wirtschaftsverbände stellen sich geschlossen gegen die Initiative.

Der Vorstoß zielt vor allem auf die Zuwanderung: Erreicht die Bevölkerung 9,5 Millionen, müssten Bundesrat und Parlament im Asylwesen und beim Familiennachzug eingreifen. Sollte die Zehn-Millionen-Grenze überschritten werden, wären Maßnahmen vorgesehen, um die Einwohnerzahl wieder zu senken – im Extremfall auch durch die Kündigung internationaler Verträge, etwa zur Personenfreizügigkeit mit der Europäischen Union. Offiziellen Prognosen zufolge könnte die Schweiz um das Jahr 2055 rund 10,5 Millionen Einwohner zählen.

Die SVP argumentiert, die Initiative sei notwendig, um eine aus ihrer Sicht «unkontrollierte» Einwanderung zu bremsen. Sie macht steigende Mieten, überfüllte Züge, zunehmende Zersiedelung und Belastungen für Infrastruktur und Naturschutz maßgeblich an Migration fest. Unterstützer verweisen auf das starke Wachstum seit Einführung der Personenfreizügigkeit mit der EU im Jahr 2002: Damals lebten rund 7,3 Millionen Menschen im Land, Ende 2025 waren es bereits 9,1 Millionen, Ausländer stellen inzwischen knapp 28 % der Bevölkerung.

Wirtschaft und Sozialpartner warnen hingegen vor erheblichen Risiken für die exportorientierte Volkswirtschaft. Arbeitgeberverbände und Gewerkschaften sprechen von einer «Initiative des Chaos» und fürchten negative Folgen für Beschäftigung und Handel mit der EU, dem wichtigsten Absatzmarkt der Schweiz. Zahlreiche Branchen – von Forschung und Medizin über Bau und Gesundheitswesen bis zur Hotellerie – sind stark auf ausländische Arbeitskräfte angewiesen. Im Beherbergungsgewerbe stammen laut Branchenvertretern mehr als die Hälfte der Beschäftigten aus dem Ausland; einzelne Betriebe berichten, ohne ausländisches Personal sei ein regulärer Betrieb kaum möglich.

Unternehmen sehen zudem die Standortattraktivität gefährdet. Vertreter der Biotech-Industrie warnen, ein strikter Deckel könnte die Rekrutierung internationaler Fachkräfte weiter erschweren und Innovation bremsen. Schon heute sei es anspruchsvoll, hochqualifizierte Spezialisten zu gewinnen, heißt es aus der Branche. Eine Begrenzung, die faktisch den inländischen Talentpool zur Obergrenze mache, wird von Kritikern als potenzieller «Showstopper» für forschungsintensive Geschäftsmodelle bezeichnet.

Das Referendum reiht sich in eine breitere europäische Debatte über Migration, Wohnraumknappheit und öffentliche Dienstleistungen ein, in der rechtskonservative Parteien zunehmend Zuspruch finden. In der Schweiz verlaufen die Bruchlinien nicht nur zwischen Parteien, sondern auch regional: In der französischsprachigen Westschweiz deutet vieles auf eine deutliche Ablehnung der Initiative hin, während die Deutschschweiz gespalten ist und sich zudem eine Kluft zwischen städtischen Zentren und ländlichen Regionen abzeichnet. Das Ergebnis dürfte damit nicht nur die künftige Migrationspolitik, sondern auch das Verhältnis zur EU und die wirtschaftliche Ausrichtung des Landes mitprägen.