Entwicklung von Antikörper-Sprachmodellen mit NVIDIA BioNeMo

Astellas Pharma Inc., eines der führenden Pharmaunternehmen Japans, hat sein eigenes Antikörper-Sprachmodell, astABpLM, entwickelt, das das generative KI-Framework BioNeMo von NVIDIA für die Medikamentenentwicklung nutzt, um die Eigenschaften neuer Antikörper bei der Entwicklung von Antikörper-Medikamenten effizient vorherzusagen. Gleichzeitig nutzt das Unternehmen generative KI, um verschiedene 3D-Strukturen von Verbindungen in der Medikamentenentwicklung unter Verwendung chemischer Verbindungen zu generieren, wodurch eine mehr als 50-mal höhere Geschwindigkeit als mit der herkömmlichen Methode erzielt wird. Für die Rechenumgebung wird eine DGX™ H100 im Innovationshub für Medikamentenentwicklung Tokyo-1 verwendet, das von Xeureka, einer Tochtergesellschaft von Mitsui & Co, bereitgestellt wird.

Herausforderung

Um den Prozess der Medikamentenentwicklung, der 10 bis 20 Jahre dauern kann, zu optimieren, arbeitet Astellas daran, die gesamte Wertschöpfungskette der Medikamentenentwicklung zu digitalisieren. Insbesondere in der Forschungsphase arbeitet das Unternehmen an der Entwicklung einer Human-in-the-Loop-Plattform zur Medikamentenentwicklung (Forschungsumgebung), die Menschen, KI und Roboter integriert. „Das Ziel der Digitalisierung ist es, Patienten so schnell wie möglich innovative neue Medikamente zur Verfügung zu stellen. Darum geht es“, erklärt Kenichi Mori, stellvertretender Geschäftsführer für Modality Informatics des Unternehmens, der die digitale Transformation der Forschung vorantreibt.

Unter den verschiedenen Modalitäten der Medikamentenentwicklung nutzt die Antikörper-Medikamentenentwicklung den Mechanismus von Antikörpern. Antikörper, auch Immunglobuline genannt, sind Proteine, die sich an bestimmte Antigene wie Krebszellen, Bakterien und Viren binden, um deren Funktion zu unterbinden.

Um Antikörpermedikamente zu entwickeln, ist es notwendig, die Bindungs- und physikalischen Eigenschaften der neuen Antikörper, die als neue Medikamente für Antigene in Frage kommen, zu messen und zu bewerten, ob sie als Medikamente geeignet sind. Unter physikalischen Eigenschaften verseht man hier Eigenschaften wie strukturelle Stabilität, Löslichkeit, Viskosität und Kohäsion. Die Messung einiger physikalischer Eigenschaften nimmt Zeit in Anspruch. Wenn sie vor der Messung vorhergesagt werden können, lässt sich der Prozess verkürzen.

Natnael Hamda, Manager für Modality Informatics und Lead Engineer bei Astellas Pharma, hat sich auf Proteinsprachenmodelle (pLMs) als Mittel zur Vorhersage der physischen Eigenschaften von Antikörpern konzentriert. Diese Methode modelliert ein aus 20 Aminosäuren bestehendes Protein, um es in 20 Zeichen sprachlich auszudrücken, was für die Strukturanalyse und Funktionsvorhersage nützlich ist.

„Wir gingen davon aus, dass das Standard-pLM angewendet werden könnte, da Antikörper ebenfalls aus Proteinen bestehen. Obwohl pLM-basierte Merkmale bei der Vorhersage allgemeiner Proteineigenschaften wie thermischer Stabilität eine bessere Genauigkeit als herkömmliche bioinformatische Merkmale zeigten, schnitt das Modell bei der Vorhersage antikörperspezifischer Eigenschaften sowohl in Bezug auf die Genauigkeit als auch auf die Generalisierung deutlich schlechter ab“, erklärte Hamda.

Er vermutet dafür folgende Gründe: „Der Unterschied besteht darin, dass sich Proteine im Laufe der Zeit zu komplexen Strukturen entwickelt haben, während sich Antikörper an ihre Zielantigene angepasst haben. Wir wissen auch, dass das grundlegende Proteinprinzip1, wonach die "Struktur die Funktion bestimmt", in einigen Fällen möglicherweise nicht zutrifft. Aus diesem Grund glauben wir, dass das normale pLM bei den Antikörpern nicht funktioniert hat.“

¹Dies wird als Anfinsen-Dogma bezeichnet, benannt nach Dr. C. Anfinsen, dem Biochemiker, der es vorgeschlagen hat.

Lösung

Um dieses Problem zu lösen, entschied sich Hamda, ein eigenes Sprachmodell speziell für Antikörper zu entwickeln. Er nannte das Modell „astABpLM", kurz für "Astellas Antibody Pre-trained Language Model“ (vortrainiertes Sprachmodell für Antikörper von Astellas).

Die OAS-Datenbank (Observed Antibody Space), die von der University of Oxford, Großbritannien, gesammelt und bereitgestellt wurde, wurde als Antikörperdaten für das Training verwendet.2 Die Datenmenge umfasste 2,4 Milliarden Sequenzen, die mit NVIDIA RAPIDS™ für Datenwissenschaft vorverarbeitet wurden, um den Datensatz für das Training vorzubereiten. 

Das verwendete Modell war ESM-1nv, das von NVIDIA auf Grundlage des von Meta AI Labs entwickelten Sprachmodells ESM-1 für Proteine optimiert wurde. ESM-1nv wird als Teil von NVIDIA BioNeMo bereitgestellt, einer generativen KI-Plattform für die Medikamentenentwicklung. „Der Zeitpunkt war genau richtig, um mit dem Zugriff auf BioNeMo zu beginnen, daher habe ich mich sofort für ESM-1nv entschieden. Es ist für NVIDIA-GPUs optimiert und wird von NVIDIA unterstützt, was die Verwendung sehr einfach machte“, erläuterte Hamda.

Für das Training verwendete er eine einzigartige Methode, bei der die schweren Ketten (H-Ketten) und leichten Ketten (L-Ketten), aus denen der Antikörper besteht, separat trainiert werden (siehe Abbildung). „Da schwere und leichte Ketten biologisch unterschiedlich sind, dachten wir, dass wir die Vielfalt der OAS-Daten maximieren könnten, indem wir sie separat trainieren“, sagte Hamda.

Als Hardware wird eine NVIDIA DGX A100 verwendet. Das Modell für schwere Ketten astABpLM_VH und das Modell für leichte Ketten astABpLM_VL schlossen das Training in etwa 65 bzw. 37 Stunden ab.

Zusätzlich zur Entwicklung des oben beschriebenen Antikörper-Sprachmodells astABpLM nutzt das Unternehmen generative KI, um im Rahmen seines Forschungsworkflows eine Vielzahl von 3D-Strukturen für Verbindungen mit niedrigem und mittlerem Molekulargewicht zu generieren, darunter PROTACs (Proteolysis Targeting Chimera). 

Es wurde ein einzigartiger Workflow entwickelt, um mithilfe eines torsionalen Diffusionsmodells, das Diederwinkel von Atomgruppen auf Basis des GEOM-Datensatzes3,4 lernt, der die Strukturen von 37 Millionen verschiedenen Verbindungen enthält, schnell 3D-Strukturen von Verbindungen zu generieren.

² OAS: https://opig.stats.ox.ac.uk/webapps/oas/

³ Torsional diffusion: Jing et al. 2022, https://arxiv.org/pdf/2206.01729.pdf

⁴ GEOM: https://github.com/learningmatter-mit/geom

Ergebnisse

Das Antikörper-spezifische Sprachmodell astABpLM wurde in bestehende Workflows zur Vorhersage von Antikörpereigenschaften integriert und wird verwendet, um neue Antikörper zu entdecken, die als neue Medikamente in Frage kommen könnten. „Der Einsatz von astABpLM hat die Genauigkeit unserer Vorhersagen physikalischer Eigenschaften zweifellos verbessert“, erklärt Mori. Hamda wies auch auf den Vorteil des Unternehmens hin, über ein eigenes Modell zu verfügen, das nicht nur die Einbettung, sondern bei Bedarf auch die Wahrscheinlichkeit jedes Aminosäurerückstands verarbeiten kann.

Andererseits hat der proprietäre Workflow des Unternehmens für das molekulare konformative Screening von Verbindungen eine 50- bis 60-fache Geschwindigkeitssteigerung im Vergleich zu herkömmlichen Methoden ermöglicht. Zu den Ergebnissen merkt Hamda an: „Wir erhalten die Ergebnisse jetzt in nur 15 Sekunden, während es in der bisherigen Umgebung mehrere Stunden bis zu einem Tag gedauert hat.“

Beide Personen weisen darauf hin, dass die weitere Nutzung von NVIDIA BioNeMo der Weg in die Zukunft ist. Hamda erläutert: „Zusätzlich zum ESM-1nv, das für astABpLM verwendet wird, nutzen wir die verschiedenen Modelle und Funktionen von NVIDIA BioNeMo, einschließlich MegaMolBART für kleine Moleküle.“ Mori fügte hinzu: „Ich denke, einer der Vorteile von NVIDIA BioNeMo besteht darin, dass wir uns auf unsere Forschung konzentrieren können, ohne uns bei der Medikamentenentwicklung über die Optimierung von Algorithmen und Parametern Gedanken machen zu müssen. Wir freuen uns darauf, weiterhin eine Vielzahl von Modellen und Funktionen hinzuzufügen, um die Vielfalt der Modalitäten zu unterstützen.“

Abschließend fasst Mori die Situation wie folgt zusammen: „Durch die Konvergenz von hochleistungsfähigen Rechenumgebungen und generativer KI steht ein Paradigmenwechsel in der Pharmaforschung bevor.“ Mit NVIDIA BioNeMo und Tokyo-1 werden wir den gesamten Prozess der Medikamentenentwicklung weiter verkürzen und letztendlich innovative neue Medikamente so schnell wie möglich zu den Patienten bringen.“

Astellas ist eines der teilnehmenden Mitglieder von Tokyo-1,5, einem Innovationszentrum für die Medikamentenentwicklung, das von Xeureka, einer Tochtergesellschaft von Mitsui & Co, ins Leben gerufen wurde. Das Konzept besteht darin, die Effizienz der Pharmaforschung zu steigern und dabei die neue hochleistungsstarke NVIDIA DGX H100 zu nutzen.

⁵ Tokyo-1: https://tokyo-1.ai/