تاريخ الاستلام: 16 مايو 2023
تم القبول: 22 ديسمبر 2023
نُشر على الإنترنت: 6 فبراير 2024
(د) التحقق من التحديثات

أحد التقدمات المثيرة في تعلم الآلة هو تطوير نماذج اللغة الكبيرة (LLMs)، المعروفة بالنماذج الأساسية. تتميز هذه النماذج بجاذبيتها بسبب بساطتها؛ حيث تعيد النص الذي يكمل العبارات بلغة طبيعية، بحيث في العديد من الحالات، لا يمكن للمرء أن يميز أن آلة قد كتبتها.

من وجهة نظر علمية، فإن أبرز الأمثلة هي أن هذه النماذج الأساسية يمكنها كتابة ملخصات معقولة للمقالات العلمية أو حتى كتابة كود لمهام برمجية معينة. . مؤخرًا، تم إظهار أن هذه النماذج يمكن أيضًا
حل مهام الانحدار والتصنيف الجدولية البسيطة نسبيًا . ومع ذلك، نظرًا لأن هذه النماذج لم تُدرب بشكل صريح على هذه المهام، فإنها نتيجة ملحوظة .

إن قدرة هذه النماذج على حل المهام البسيطة التي لم يتم تدريبها عليها جعلتنا نتساءل عما إذا كانت تستطيع أيضًا الإجابة عن الأسئلة العلمية التي ليس لدينا إجابة عليها. نظرًا لأن معظم مشاكل الكيمياء يمكن تمثيلها في شكل نص، يجب أن نكون قادرين على تدريب هذه النماذج للإجابة عن الأسئلة التي يطرحها الكيميائيون. على سبيل المثال، ‘إذا قمت بتغيير المعدن في الإطار المعدني العضوي الخاص بي، هل سيكون مستقرًا في الماء؟’

فئة (على سبيل المثال، ‘عالية’، ‘منخفضة’) تُعطى تمثيل نصي لجزيء أو مادة أو تفاعل، إلى الانحدار، أي، التنبؤ بأرقام عائمة، إلى التصميم العكسي – التنبؤ بالجزيئات. تم إنشاء عرض إطار معدني عضوي باستخدام iRASPA. .

غالبًا ما تكون مثل هذه الأسئلة مستحيلة الإجابة عليها باستخدام النظرية أو تتطلب محاكاة أو تجارب متطورة للغاية.

سيكون لدينا دائمًا بيانات تجريبية قليلة جدًا لتطبيقات الكيمياء وعلوم المواد. لذلك، من المهم أن يمكن الحصول على نتائج ذات مغزى باستخدام عشرات إلى مئات من نقاط البيانات. نحن نعلم من الأعمال السابقة على تطبيقات تصنيف النصوص أو توليدها أن هذا يعمل بشكل جيد بشكل خاص باستخدام نماذج من عائلة المحول المدرب مسبقًا التوليدي 3 (GPT-3). التي تم تدريبها بواسطة شركة الذكاء الاصطناعي OpenAI. في هذا العمل، نوضح أن هذه النماذج – عندما يتم تزويدها ببيانات أمثلة – تؤدي بشكل مفاجئ جيدًا لأسئلة الكيمياء المختلفة، حتى أنها تتفوق على نماذج التعلم الآلي المتطورة التي تم تطويرها خصيصًا لهذه المهام. من المهم أن ندرك أنه بينما تم استخدام نماذج اللغة في الكيمياء من قبل للتنبؤ بالخصائص أو تصميم الجزيئات لقد تم تدريبها تقليديًا على مهام محددة في الكيمياء. بالمقابل، تم تدريب النماذج التي نحقق فيها هنا على نصوص تم تجميعها بشكل رئيسي من الإنترنت ولكنها لا تزال قادرة على التكيف مع مهام متنوعة. على الرغم من أن المرجع 8 قد استكشف المعرفة الكيميائية الكامنة في نماذج اللغة الكبيرة، فإننا نركز على كيفية أداء تلك النماذج عندما يتم تحسينها – أي عندما يتم تحديث الأوزان – على مجموعة بيانات محددة لمهمة معينة. تجدر الإشارة إلى أن هذا التحسين المحدد للمهمة يجعل النماذج أقل اعتمادًا على هيكل المطالبات مقارنةً بالتعلم في السياق. .

نقوم بتقييم نموذجنا على مجموعات بيانات وتطبيقات متنوعة لتوضيح أن هذه النماذج يمكن أن تجيب على مجموعة واسعة من الأسئلة العلمية – بدءًا من خصائص المواد، إلى كيفية تخليق المواد وكيفية تصميم المواد (الشكل 1). عند اختيار هذه الأسئلة، قمنا بتضمين بعض الأسئلة التي تم تناولها باستخدام التعلم الآلي. وقد أتاح لنا ذلك إجراء تقييم مقارنة مع أحدث أساليب التعلم الآلي التي تم تطويرها خصيصًا لهذه التطبيقات.

قبل مناقشة التطبيقات المختلفة بالتفصيل، دعنا أولاً نتحدث عن كيفية تحسين الأداء. نموذج GPT-3 في الممارسة العملية لمثال بسيط ولكنه غير تافه للغاية. لقد جذبت السبائك عالية الانتروبيا الكثير من الاهتمام كفئة جديدة من المعادن الهيكلية. ومن المثير للاهتمام أن هناك عددًا لا نهائيًا من التركيبات الممكنة من المعادن. من وجهة نظر عملية، من المهم معرفة ما إذا كانت التركيبة المعطاة من
ستشكل المعادن محلولًا صلبًا أو مراحل متعددة. لذا، السؤال الذي نود طرحه هو: ‘ما هي مرحلة <تركيب السبيكة عالية الانتروبيا>؟’ ويجب أن يقدم نموذجنا إكمال نصي من مجموعة الإجابات الممكنة {مرحلة واحدة، مراحل متعددة}.

في الجدول 1 من البيانات الموسعة، نقدم مجموعة الأسئلة والأجوبة التي استخدمناها لضبط نموذج GPT-3. هذه هي الأسئلة والأجوبة حول السبائك عالية الانتروبيا التي تم تحديد طورها تجريبيًا. عادةً ما يستغرق ضبط النموذج عبر واجهة برمجة تطبيقات OpenAI بضع دقائق ويعطينا نموذجًا جديدًا، يأخذ كمدخل ‘Sm0.75Y0.25’ ويعطي كإكمال نصي ‘ 1 ‘، والذي يتوافق مع الطور الأحادي. هذه المثال البسيط يعطي بالفعل بعض النتائج الملحوظة. اخترنا هذا المثال لمقارنة أدائه مباشرة مع النماذج الحالية الرائدة في تعلم الآلة مع الوصفيات التي تم تطويرها خصيصًا لتقليد الكيمياء ذات الصلة لهذا التطبيق. في الشكل 2، نوضح أنه مع حوالي 50 نقطة بيانات فقط، نحصل على أداء مشابه لنموذج المرجع 24، الذي تم تدريبه على أكثر من 1,000 نقطة بيانات.

جعلتنا هذه النتائج نتساءل عما إذا كان يمكن الحصول على نتائج مماثلة لخصائص أخرى. لذلك، نظرنا في مجموعة من الخصائص المختلفة جداً للجزيئات والمواد والتفاعلات الكيميائية. ركزنا على تلك التطبيقات التي تم تطوير طرق التعلم الآلي التقليدية لها والتي تم قبولها بشكل عام كمعايير في مجالها. بالإضافة إلى ذلك، قمنا أيضاً بمقارنة نموذجنا مع النماذج الأعلى أداءً في المهام من Matbench. مجموعة من المعايير (الملاحظة التكميلية 6.15).

الجدول البياني الموسع 2 يقارن أداء نموذج GPT-3 المعدل مع المعايير الأساسية (التي يمكن العثور عليها في الملاحظة التكميلية 6). للقيام بذلك، قمنا بتناسب منحنيات التعلم لنماذج GPT-3 والمعايير الأساسية وقياس النقطة التي تتقاطع فيها، أي أننا نحدد العامل الذي يوضح مقدار البيانات الإضافية (أو الأقل) التي سنحتاجها لجعل أفضل معيار أساسي يؤدي بشكل متساوٍ مع نماذج GPT-3 في نظام البيانات المنخفضة لمنحنيات التعلم. يمكن العثور على منحنيات التعلم الكاملة لجميع النماذج في المعلومات التكميلية (الملاحظة التكميلية 6).

بالنسبة للجزيئات، قمنا بدراسة الخصائص التي تتراوح بين الفجوات بين المدارات الجزيئية الأعلى شغلاً (HOMO) والأدنى غير الشغلة (LUMO) وقابلية الذوبان في الماء إلى الأداء في الخلايا الشمسية العضوية. أما بالنسبة للمواد، فقد ركزنا على خصائص السبائك، والهياكل العضوية المعدنية، والبوليمرات. وأخيرًا، بالنسبة للتفاعلات،

لقد اعتبرنا تفاعلين رئيسيين من تفاعلات الربط المتقاطع في الكيمياء العضوية. تُظهر البيانات الموسعة الجدول 2 أنه في نظام البيانات المنخفض، يكون نموذج GPT-3 لدينا عادةً على الأقل بنفس جودة نموذج التعلم الآلي التقليدي وغالبًا ما يحتاج إلى بيانات أقل. في نظام البيانات العالي، غالبًا ما تلحق نماذج التعلم الآلي التقليدية بنموذج GPT-3. هذا منطقي، حيث أنه بالنسبة لحجم معين من مجموعة البيانات، تكون الحاجة إلى بيانات إضافية وارتباطات (تحيزات استقرائية). قد تكون الحاجة إلى ما تم التقاطه بواسطة GPT-3 أقل.

علينا أن نذكر أننا لم نقم بتحسين ضبط نموذج GPT-3، أي أننا لم نحاول تحسين كيفية تقديم الجملة للنموذج؛ يمكن للمرء أن يتصور أن تقسيم الرموز المحدد يمكن أن يؤدي إلى نتائج أفضل للجمل الكيميائية. كما أننا لم نضبط عدد المرات التي نعرض فيها مثالًا على النموذج (أي عدد العصور أو معدل التعلم).

من المهم أننا لسنا مقيدين أيضًا بالتعديل الدقيق؛ في الملاحظة التكميلية 5، نوضح أننا يمكن أن نحقق أداءً جيدًا حتى بدون التعديل الدقيق من خلال دمج الأمثلة مباشرة في الموجه (ما يُعرف بالتعلم في السياق). أي، التعلم أثناء وقت الاستدلال). يعمل هذا بشكل جيد بشكل خاص مع أكبر نماذج GPT-3 وGPT-4. نحن أيضًا غير مقيدين باستخدام نماذج من OpenAI. في الملاحظات التكميلية 7 و8، نوضح أيضًا أنه يمكننا الحصول على نتائج جيدة من خلال تحسين تقنيات التعديل الفعالة للمعلمات لنماذج اللغة مفتوحة المصدر على الأجهزة الاستهلاكية ونوفر حزمة بايثون تجعل من السهل تطبيق هذا النهج على مشاكل جديدة.

سؤال مثير للاهتمام هو كيفية تمثيل جزيء أو مادة. تستخدم معظم التقارير الأدبية أسماء الاتحاد الدولي للكيمياء البحتة والتطبيقية (IUPAC). بالنسبة لتطبيقات التعلم الآلي، تم بذل الكثير من الجهد لتمثيل مادة كيميائية باستخدام ترميزات خطية فريدة (على سبيل المثال، نظام إدخال الخطوط الجزيئية المبسط (SMILES).
أو سلاسل مدمجة ذاتية الإشارة (SELFIES) ). نظرًا لأن نموذج GPT-3 تم تدريبه على نصوص طبيعية، قد يتوقع المرء أن الأسماء الكيميائية مفضلة على التمثيلات الخطية مثل SMILES أو SELFIES. لذلك، قمنا بالتحقيق في تمثيلات مختلفة لمهام توقع الخصائص الجزيئية لدينا (انظر أيضًا الملاحظة التكميلية 4). من المثير للاهتمام أن نتائجنا (الملاحظة التكميلية 6) تظهر أن النتائج الجيدة تُحقق بغض النظر عن التمثيل. إن الحقيقة أننا غالبًا ما نحصل على أفضل أداء باستخدام الاسم IUPAC للجزيء تجعل ضبط نموذج GPT-3 لتطبيق معين بسيطًا نسبيًا لغير المتخصصين.

مهمة أكثر تحديًا من التصنيف هي إنشاء نموذج انحدار، والذي سيمكننا من التنبؤ بقيمة خاصية مستمرة مثل معامل هنري لامتصاص الغاز في مادة مسامية. نظرًا لأننا نستخدم نموذج لغة مدرب مسبقًا، فإن إجراء انحدار فعلي يتنبأ بأرقام حقيقية ) مستحيل (بدون تغييرات في بنية النموذج وإجراءات التدريب). ومع ذلك، في معظم التطبيقات العملية، إن لم يكن جميعها، فإن الدقة التي يمكننا من خلالها إجراء التنبؤات تكون دائمًا محدودة. على سبيل المثال، بالنسبة لمعامل هنري لمادة ما، فإن دقة (أو عدد معين من النقاط العشرية) كافٍ لمعظم التطبيقات (انظر الملاحظة التكميلية 10 لمناقشة هذا المصدر من الخطأ). لذلك، نستخدم جزيئات ذات معاملات هنري مقربة إلى هذه الدقة كمجموعة تدريب ونعتمد على أن نموذج GPT-3 يمكنه استيفاء هذه الأرقام. بالطبع، يمكن أيضًا تحويل هذا إلى مشكلة تصنيف من خلال إنشاء صناديق صغيرة. بالنسبة لهذه المهمة الأكثر تحديًا في الانحدار، نحتاج إلى مزيد من البيانات لضبط نموذج GPT-3، وما زلنا نحصل على أداء يمكن أن يقترب من المستوى المتقدم، ولكن نظرًا لأن هذا النهج يتطلب المزيد من البيانات، فإن الميزة، باستثناء سهولة التدريب، أقل. نحصل على استنتاج مشابه لمشاكل الانحدار الأخرى (انظر الملاحظة التكميلية 10) وحالات التصنيف غير المتوازنة (الملاحظة التكميلية 6.8).

يمكن للمرء أن يجادل بأن الهدف النهائي من تعلم الآلة في الكيمياء هو إنشاء نموذج يمكنه توليد جزيئات بمجموعة معينة من الخصائص. يُعرف هذا أيضًا باسم التصميم العكسي. بشكل عام، هناك نهجان. إذا كان لدينا مجموعات بيانات كبيرة، يمكننا تدريب نماذج توليدية مثل المشفرات التلقائية المتغيرة. أو الشبكات العصبية التنافسية التوليدية بدون مجموعات بيانات كبيرة، يمكن أن تولد التقنيات التطورية مثل الخوارزميات الجينية جزيئات جديدة، قد تكون مثيرة للاهتمام. تعمل تلك الطرق التطورية بشكل أفضل إذا كان بالإمكان تحديد الكيمياء الأساسية؛ على سبيل المثال، العثور على المجموعة الوظيفية المثلى على مادة ذات هيكل عظمي محدد جيدًا. .

نظرًا لأن نموذج GPT-3 يمكنه التنبؤ بخصائص الجزيئات والمواد باستخدام مجموعة بيانات صغيرة، فإن تجربة استراتيجية التصميم العكسي تبدو مغرية. سيكون هذا مهمًا بشكل خاص في المراحل المبكرة من البحث؛ حيث يكون لدى المرء غالبًا مجموعة صغيرة من نقاط البيانات التجريبية وفهم محدود. ومع ذلك، يمكننا الاستفادة من نموذج GPT-3 المعدل بدقة لتوليد اقتراحات لمواد جديدة ذات أداء مشابه أو حتى أفضل. ستكون هذه خطوة مهمة إلى الأمام. خاصةً أن ضبط مثل هذا النموذج اللغوي الطبيعي أكثر سهولة بكثير من تدريب نماذج التعلم الآلي التقليدية. هنا نستكشف هذا الإعداد: هل يمكن لنموذج GPT-3 المعدل بدقة اقتراح جزيئات صالحة تلبي القيود أو الخصائص المرغوبة المحددة في طلب بلغة طبيعية؟ مرة أخرى، نحن نوضح الإمكانيات من خلال بعض دراسات الحالة.

المفاتيح الضوئية الجزيئية هي جزيئات عضوية تحتوي على أنظمة عطرية موسعة تجعلها تستجيب للضوء. عند التعرض للإشعاع، تتحول بشكل عكسي بين أيزومرات مختلفة (مما يغير بعض الخصائص، مثل لحظات ثنائي القطب). تجعل هذه التحولات العكسية منها جزيئات مثيرة للاهتمام لتطبيقات تتراوح بين الاستشعار واكتشاف الأدوية. هذه الجزيئات معقدة، مما يجعل التنبؤات الدقيقة بما فيه الكفاية باستخدام نظرية المبادئ الأولى مكلفة للغاية.

ومع ذلك، من المهم الحصول على بعض الإرشادات لتحديد الجزيئات الواعدة، وقد تم تطوير نماذج تعلم الآلة من أجل ذلك. واحدة من الخصائص المهمة لهذه المفاتيح الضوئية هي الطول الموجي الذي يوجد عنده أقصى في طيف الامتصاص لـ و المتزامرات. لذلك، قمنا بضبط GPT-3 باستخدام نفس البيانات التي استخدمها المرجع 43. كما أظهرنا أعلاه، يمكننا ضبط GPT-3 للإجابة بدقة على أسئلة مثل ‘ما هو طول موجة انتقال بي-بي* لـ CN1C؟’ .

بالنسبة لـ GPT-3، فإن التصميم العكسي بسيط مثل تدريب النموذج مع عكس السؤال والإجابة. أي، الإجابة على السؤال ‘ما هو مفتاح الضوء مع أطوال انتقالية تبلغ 324 نانومتر و442 نانومتر، على التوالي’ مع إكمال نصي يجب أن يكون سلسلة SMILES لجزيء ذو معنى. يجب أن يتم تمييز هذا النهج عن النهج المستخدم في المرجع 43، حيث يتم إنشاء مكتبة من الجزيئات، ويتم استخدام نموذج التعلم الآلي الخاص بهم (انحدار العملية الغاوسية) لتقييم أطوال الانتقال لكل مادة. إذا كان لدى المرء الكثير من المعرفة حول النظام، يمكنه تصميم مكتبات محددة كبيرة تحتوي على العديد من الجزيئات الواعدة، بما في ذلك الجزيئات ذات أطوال الانتقال 324.0 نانومتر و442 نانومتر. لكن، مثل هذه التقنية القاسية ليست ما نفهمه على أنه تصميم عكسي، حيث أنها، بالتعريف، لا يمكن أن تتنبأ بجزيء لم نقم بتضمينه في مكتبتنا.

اختبار بسيط لمعرفة ما إذا كان نموذجنا يمكنه توليد هياكل جديدة هو أن نطلب منه توليد جزيئات بأطوال موجية انتقالية مشابهة لتلك الواردة في مجموعة البيانات المبلغ عنها في المرجع 43. تُظهر البيانات الموسعة الشكل 1 عينة تمثيلية من الجزيئات التي تم توليدها بواسطة النموذج. كما هو متوقع، تأتي العديد من الجزيئات من مجموعة التدريب (ملونة باللون البرتقالي في الشكل). من المهم أن العديد من الجزيئات ليست في مجموعة التدريب، ومن المثير للاهتمام أن بعضها ليس حتى في قاعدة بيانات PubChem للمواد الكيميائية المعروفة. في الشكل 3، نوضح أن الجزيئات، طول الموجة الانتقالية يقع ضمن خطأ نسبي مطلق متوسط يبلغ حوالي لاحظ أنه نظرًا لأن نموذج الانحدار باستخدام العمليات الغاوسية (GPR) المشار إليه في المرجع 43 أظهر أداءً مماثلاً، إن لم يكن أفضل، من محاكاة نظرية الكثافة الوظيفية الأكثر تكلفة، فقد اخترنا استخدام نموذجهم لحساب أطوال الموجات الانتقالية للجزيئات الناتجة.

من المثير للاهتمام قياس مدى حداثة الجزيئات التي تم توليدها حديثًا. نقارن هذه الجزيئات بتلك المجمعة في المرجع 43. نقوم بتحديد التشابه من خلال حساب المسافة بين بصمات الجزيئات. توضح الشكل 4 ذلك من خلال عرض الرسم البياني التقريبي للجيران الأقرب في بعدين. تمثل الكرات البرتقالية والخضراء الجزيئات من مجموعة بيانات المرجع 43، بينما تظهر الكرات الزرقاء الجزيئات الجديدة، والكرات الوردية ليست جزءًا من قاعدة بيانات PubChem. كما هو متوقع، نجد العديد من الهياكل الجديدة التي هي مشتقات من الجزيئات في قاعدة بيانات المرجع 43. ومع ذلك، نجد أيضًا فروعًا ليست جزءًا من مكتبة المرجع 43، مما يشير إلى أن النموذج قد أنتج أنواعًا جديدة من المركبات.

في توليد هذه الجزيئات، قمنا بضبط ما يسمى بدرجة حرارة السوفتمكس في خطوة العينة لنماذج GPT-3. تُستخدم هذه الدرجة تقليديًا لتوليد نص أكثر طبيعية. إذا قمنا بتعيين هذه الدرجة إلى صفر، سنقوم بتوليد نص يحتوي على الكلمات الأكثر استخدامًا. يمكننا زيادة درجة الحرارة لجعل النص أكثر طبيعية، مما يزيد من احتمالية اختيار مرادفات أقل شيوعًا. بالنسبة للكيمياء، إذا كنا نهدف إلى إكمال SMILES التي تبدأ بالكربون، فإن الحل عند درجة حرارة صفر سيكمل دائمًا الرمز الذي يتبع الكربون بشكل شائع (‘(‘ في مجموعة بيانات QMugs). على العكس من ذلك، ستختار درجات الحرارة المرتفعة جدًا أي عنصر بشكل عشوائي.

يظهر تأثير هذا المعامل الحراري في الشكل 3. عند درجات الحرارة المنخفضة، غالبًا ما تأتي الجزيئات الناتجة من مجموعة التدريب وتظهر تنوعًا منخفضًا فقط. عبر جميع درجات الحرارة، تبدو الجزيئات الناتجة قابلة للتخليق، كما يتضح من انخفاض درجة سهولة التخليق (SA). زيادة درجة الحرارة تمنحنا هياكل أكثر تنوعًا وجدة، ولكن يمكن أيضًا توقع المزيد من الهياكل التي لا تحمل أي معنى كيميائي، أي أنها غير صالحة.

توضح النتائج المتعلقة بالمفاتيح الضوئية إمكانيات نماذج اللغة الكبيرة في الكيمياء. للحصول على مزيد من الفهم حول ما إذا كان يمكننا الوثوق بتنبؤات GPT-3، قمنا بإجراء بعض التجارب حيث حاولنا توسيع الحدود.

لقد رأينا بالفعل أنه يمكننا الحصول على نتائج جيدة بغض النظر عن كيفية تمثيل الجزيء (أسماء IUPAC، SMILES أو SELFIES)، لكن هل يمكن لـ GPT-3 تفسير تمثيل مجرد للجزيئات التي اخترعناها؟ دراسة سابقة طوروا نهج تعلم الآلة لتصميم المواد المشتتة باستخدام نهج خشن الحبيبات. كانت هذه المادة المشتتة بوليمر خطي مع أربعة أنواع من المونومرات وطول سلسلة يتراوح بين 16 و48 وحدة، مما يوفر مساحة تصميم كيميائية تضم 58 مليون مادة مشتتة مختلفة. كان أحد الأهداف المهمة في هذا العمل هو العثور على مواد مشتتة ذات طاقة ربط حرة مناسبة، أي، ما هو طول البوليمر وما هو تسلسل المونومر الأمثل. حيث أنه لا يوجد

الطريقة التي يعرف بها نموذج GPT-3 خصائص أو تمثيلات البوليمرات ذات الحبيبات الخشنة، من المثير للاهتمام أن نرى إذا كان بإمكاننا الحصول على أي نتيجة معقولة إذا طرحنا السؤال ‘ما هي طاقة الامتزاز الحرة للمواد المشتتة ذات الحبيبات الخشنة AAAABBBBDDDDAAAACCCC’ أو كتصميم عكسي، ‘أعطني هيكلًا لمشتت ذو حبيبات خشنة مع طاقة حرة تبلغ 17’. ومن المثير للاهتمام، أنه بالنسبة لتوقع طاقة الامتزاز الحرة، يتفوق نموذج GPT-3 على النماذج التي تم تطويرها بواسطة المرجع 45. بالإضافة إلى ذلك، يمكنه أيضًا تنفيذ التصميم العكسي بنجاح وتوليد تسلسلات مونومر تعطي التركيبة المطلوبة، ومع نسبة خطأ متوسطة تبلغ حوالي , طاقة الامتزاز الحرة المطلوبة (التقريب للحقيقة الأساسية التي نستخدمها بالفعل لديها نسبة خطأ متوسطة تبلغ حوالي 9%، انظر الملاحظة التكميلية 11.1 للحصول على التفاصيل).

في حالة المفاتيح الضوئية، رأينا أن نموذج GPT-3 يمكنه توليد جزيئات جديدة تختلف تمامًا عن مجموعة التدريب. لاستكشاف مدى إمكانية تمديد حدود ما يمكننا توليده من جزيئات جديدة، اخترنا تطبيقًا معروفًا بأن الحسابات الكمية يمكن أن تتنبأ بالقيم التجريبية بدقة كافية. فجوة HOMO-LUMO هي مثل هذا التطبيق. فجوة HOMO-LUMO ذات صلة، على سبيل المثال، في التطبيقات الإلكترونية التي تهدف إلى إثارة جزيء عند طاقة معينة. يمكن التنبؤ بهذه الفجوة بدقة باستخدام ميكانيكا الكم شبه التجريبية (GFN2-xTB )، والتي تكون ميسورة حسابيًا بما يكفي لنا لحسابها لجميع الجزيئات المولدة (الملاحظة التكميلية 77). علاوة على ذلك، فإن مجموعة بيانات QMugs قد أدرجت هذه الحسابات لـ 665,000 جزيء.

في الملاحظة التكميلية 11.3، نوضح أنه مع تدريب 500 عينة فقط، يمكننا الحصول على تقدير معقول لفجوة HOMO-LUMO للجزيئات في مجموعة بيانات QMugs. أيضًا، من خلال عكس السؤال، لدينا نموذجنا مدربًا للتصميم العكسي. في الملاحظة التكميلية 11.3، نوضح أنه من خلال طرح السؤال على النموذج ‘ما هو جزيء بفجوة HOMO-LUMO تبلغ ، نحصل على مجموعة من الجزيئات الجديدة مشابهة للمفاتيح الضوئية. هذه الجزيئات الجديدة ليست جزءًا من مجموعة تدريبنا وليست حتى جزءًا من مجموعة بيانات QMugs.

نقوم الآن بإجراء بعض التجارب على مهمة وهمية لاختبار مدى قدرة نموذج GPT-3 على استقراء فجوات HOMO-LUMO التي لم يتلق أي تدريب عليها. لمحاكاة هذه الحالة، أعيد تدريب نموذج التصميم العكسي الخاص بنا باستخدام مجموعة بيانات تحتوي فقط على جزيئات ذات

فجوات HOMO-LUMO أقل من 3.5 eV، ومن ثم نستفسر عن النموذج بسؤال يتطلب من نموذج GPT-3 الاستقراء (وعلى سبيل المثال، للعثور على أن الجزيئات الصغيرة جدًا مرتبطة بفجوات HOMO-LUMO كبيرة؛ وهي مهمة اخترناها لأغراض العرض فقط ويمكن استغلالها من خلال توليد جزيئات صغيرة). نقوم بذلك من خلال طرح السؤال أكثر من 1,000 مرة: ‘ما هو جزيء بفجوة HOMO-LUMO تبلغ <XX>’، حيث نقوم في كل مرة بتغيير قيمة فجوة HOMO-LUMO قليلاً، أي أننا نأخذ XX من توزيع غاوسي مركزي عند 4 eV. ومن المثير للاهتمام، أن نموذج GPT-3 يقدم هياكل بتوزيع تؤكد حساباتنا الكمية أن جزءًا ذا مغزى لديه فجوة HOMO-LUMO . مرة أخرى، هذه نتيجة ملحوظة. في مجموعة تدريبنا، لم يكن هناك جزيء واحد بفجوة نطاق ، مما يظهر أن نموذج GPT-3 يمكنه إجراء الاستقراء. يمكننا إجراء تجربة مماثلة للمفاتيح الضوئية، التي قد يكون لدينا مكتبة من المفاتيح الضوئية التي تكون أطوال انتقالها جميعها أقل من 350 نانومتر. ومع ذلك، بالنسبة للتطبيقات العملية، قد يكون من الضروري غالبًا أن يكون هناك امتصاص عند أطوال موجية أكبر. في هذه الحالة، يمكننا استخدام نموذج GPT-3 المعدل بنجاح لتوليد جزيئات مفاتيح ضوئية تمتص عند طاقة أقل (الشكل التكميلية 75، الذي تحققنا منه أيضًا باستخدام نظرية الكثافة الوظيفية المعتمدة على الزمن في الملاحظة التكميلية 11.2.2).

ألهمتنا هذه النتائج لإجراء تجربة تصميم عكسي لتصميم جزيئات بخصائص تأخذنا بعيدًا عن مجموعة التدريب . نحن مهتمون بالجزيئات التي لديها فجوة HOMO-LUMO . من توزيع فجوات HOMO-LUMO في قاعدة بيانات QMugs (الشكل 5)، نرى أن متوسط فجوة النطاق حوالي 2.58 eV. فقط عدد قليل من الجزيئات في هذه القاعدة البيانات لديها فجوة HOMO-LUMO فوق 5 eV.

لذا، فإن هذه مشكلة تصميم عكسي صعبة، حيث أن عددًا قليلاً فقط من المواد في قاعدة البيانات لديها الخصائص المطلوبة. هنا تجربتنا هي الحساب الكمي، وعادة ما نفترض أنه يمكننا تقييم المئات إلى الآلاف من المواد في وقت معقول. من وجهة نظر التعلم الآلي، فإن مجموعة من الآلاف من المواد تقع في نظام بيانات منخفض جدًا. ومع ذلك، من وجهة نظر تجريبية، فإن هذا جهد كبير ولكنه أحيانًا قابل للتنفيذ. بالطبع، هذا حد عشوائي إلى حد ما، وفي الشكل التكميلية 83، نقدم أيضًا بيانات لتجارب أقل.

نبدأ بالتدريب باستخدام مجموعة من مئات الجزيئات المختارة عشوائيًا من مجموعة بيانات QMugs (التوزيع الأزرق في

الشكل 5). ستحتوي هذه الجزيئات المختارة على توزيع فجوة نطاق مشابه لمجموعة بيانات QMugs. ثم نستفسر عن فجوات HOMO-LUMO، الآن حوالي 1,000 مرة نطلب جزيء بفجوة نطاق مأخوذة من توزيع طبيعي مع متوسط محول (متوسط 4.0 eV، انحراف معياري 0.2 eV). قمنا بتقييم هذه الجزيئات الجديدة (المنحنى الأخضر في الشكل 5)، والذي يظهر بالفعل تحولًا في التوزيع نحو فجوات HOMO-LUMO الأعلى. في التكرار التالي، نقوم بإعادة تدريب النموذج بالبيانات الجديدة ونسأل مرة أخرى عن فجوات HOMO-LUMO الأعلى. يظهر الشكل 5 أننا حققنا هدفنا بعد أربع تكرارات.

تثير نتائجنا سؤالًا مهمًا جدًا: كيف يمكن لنموذج لغة طبيعية بدون تدريب مسبق في الكيمياء أن يتفوق على نماذج التعلم الآلي المخصصة، كما تمكنا من إظهار ذلك في حالة سبائك عالية الانتروبيا في الشكل 2 ولخصائص الجزيئات والمواد والتفاعلات الكيميائية المختلفة في الجدول 2 من البيانات الموسعة؟ حسب علمنا، لا يوجد جواب صارم لهذا السؤال الأساسي. إن حقيقة أننا نحصل على نتائج جيدة بغض النظر عن التمثيل الكيميائي توضح أن هذه النماذج اللغوية قادرة جدًا على استخراج العلاقات من أي نص . على سبيل المثال، وجدنا نتائج واعدة باستخدام كل من الأسماء الكيميائية التقليدية والتمثيلات الافتراضية تمامًا. في كلتا الحالتين، كان بإمكان النموذج ربط نمط الوحدات المتكررة بشكل كمي بشكل صحيح بأنواع مختلفة من الخصائص.

بالطبع، إذا قلنا إن نموذج GPT-3 ناجح، فهذا يعني فقط أننا أثبتنا أن نموذج GPT-3 قد حدد علاقات في بيانات التدريب الحالية يمكن استغلالها بنجاح لإجراء التنبؤات. ومع ذلك، لا يعني ذلك أن العلاقات دائمًا ذات معنى أو مرتبطة بعلاقات السبب والنتيجة. ومن ثم، فإن بحثنا لا يتوقف هنا. الخطوة التالية ستكون استخدام GPT-3 لتحديد هذه العلاقات وفي النهاية الحصول على فهم أعمق. في هذا السياق، نجادل بأن GPT-3 هو مجرد أداة لاستخدام المعرفة التي جمعها العلماء على مر السنين بشكل أكثر فعالية. من المهم أيضًا أن نذكر أنه بينما تحتوي مجموعة التدريب على معلومات كيميائية، فإن العديد، إن لم يكن معظم، المقالات العلمية والنتائج (بما في ذلك
جميع التجارب الفاشلة أو الناجحة جزئيًا ) لم يتم رؤيتها من قبل GPT-3. ومن ثم، يمكن للمرء أن يتوقع أداءً أكثر إثارة للإعجاب إذا تمت إضافة هذه البيانات إلى بيانات التدريب.

كما نوضح في هذه المقالة، فإن نظام التعلم الآلي المبني باستخدام GPT-3 يعمل بشكل مثير للإعجاب لمجموعة واسعة من الأسئلة في الكيمياء – حتى لتلك التي لا يمكننا استخدام تمثيلات الخط التقليدية مثل SMILES. مقارنةً بالتعلم الآلي التقليدي، لديه العديد من المزايا. يمكن استخدام GPT-3 للعديد من التطبيقات المختلفة. كل تطبيق يستخدم نفس النهج، حيث يعتمد تدريب واستخدام النموذج على الأسئلة التي تم صياغتها بلغة طبيعية. هذا يرفع المعايير لدراسات التعلم الآلي المستقبلية، حيث يجب أن تتفوق أي نماذج جديدة على هذا النهج البسيط على الأقل.

النقطة العملية المهمة الأخرى هي أن استخدام نموذج GPT-3 في بيئة بحثية مشابهة للبحث في الأدبيات. سيسمح ذلك للكيميائيين بالاستفادة من المعرفة الكيميائية التي جمعناها. تم تصميم GPT-3 لاكتشاف العلاقات في أجزاء النص، وحقيقة أن هذه العلاقات ذات صلة كبيرة بالكيمياء تفتح العديد من الاحتمالات للكيميائيين وعلماء المواد على حد سواء.

لجميع النتائج المعروضة في النص الرئيسي، استخدمنا أصغر متغير ada من GPT-3 المتاح عبر واجهة برمجة التطبيقات OpenAI. للتعديل الدقيق، استخدمنا نفس الإعداد لجميع دراسات الحالة (8 دورات، مضاعف معدل التعلم 0.02). تظهر نطاقات الخطأ، إذا لم يُذكر خلاف ذلك، الخطأ القياسي للمتوسط.

لمقارنة كفاءة البيانات لنماذج GPT-3 مع خطوط الأساس لدينا، قمنا بتناسب جميع منحنيات التعلم مع قوانين القوة ( ). ثم استخدمنا هذه القوانين للعثور على المكان الذي يظهر فيه أفضل خط أساس أداءً مماثلاً لأفضل نهج قائم على GPT-3 عند النقطة الأولى لمنحنى التعلم (الذي يؤدي بشكل أفضل من العشوائي، كما تم قياسه باستخدام مقياس كوهين كابا ( )).

للتحقق من صلاحية SMILES التي تم إنشاؤها، نستخدم طريقة is_valid من حزمة Guacamol ، التي تعتبر SMILES صالحة إذا كان يمكن تحليلها باستخدام RDKit.

قمنا أيضًا بإجراء بعض تجاربنا عن طريق تعديل نموذج GPT-J-6B (الذي تم تدريبه على مجموعة بيانات Pile ) على أجهزة المستهلك باستخدام التكميم 8 بت ومحسنات 8 بت بالإضافة إلى تقنية التكيف منخفض الرتبة (LoRA) .

تم الحصول على جميع البيانات المستخدمة في هذا العمل من مصادر عامة ويمكن تنزيلها من GitHub (https://github.com/kjappelbaum/ gptchem) .

جميع الشيفرات التي تم إنشاؤها في هذا العمل متاحة على GitHub. يحتوي مستودع gptchem (https://github.com/kjappelbaum/gptchem) على جميع التجارب مع واجهة برمجة التطبيقات OpenAI. يحتوي مستودع chemlift (https://github. com/lamalab-org/chemlift) على تنفيذ يدعم LLMs مفتوحة المصدر.

تم دعم K.M.J. و A.O.-G. و B.S. من قبل مركز MARVEL الوطني للكفاءة في البحث الممول من قبل المؤسسة السويسرية الوطنية للعلوم (رقم اتفاقية المنحة 51NF40-182892). يقر P.S. بالدعم من NCCR Catalysis (رقم المنحة 180544)، وهو مركز وطني للكفاءة في البحث ممول من قبل المؤسسة السويسرية الوطنية للعلوم. تم دعم أبحاث K.M.J. و B.S. أيضًا من قبل مشروع USorb-DAC، الذي تم تمويله من خلال منحة من مؤسسة غرانثام لحماية البيئة لبرنامج تسريع التكنولوجيا المناخية RMI، Third Derivative. بالإضافة إلى ذلك، تم دعم عمل K.M.J. من قبل مؤسسة كارل زيس.

طور K.M.J. نهج التعلم الآلي مع ملاحظات من P.S. و B.S. كتب K.M.J. و B.S. المقال. ساهمت A.O.-G. في حسابات نظرية الكثافة الوظيفية.

تم توفير تمويل الوصول المفتوح من قبل EPFL لوزان.

يعلن المؤلفون عدم وجود مصالح متنافسة.

البيانات الموسعة متاحة لهذه الورقة على https://doi.org/10.1038/ s42256-023-00788-1.

المعلومات التكميلية النسخة الإلكترونية تحتوي على مواد تكميلية متاحة على https://doi.org/10.1038/s42256-023-00788-1.

يجب توجيه المراسلات والطلبات للحصول على المواد إلى بيرند سميت.

معلومات مراجعة الأقران تشكر Nature Machine Intelligence غيوم جودين، غلين هوكي والمراجعين الآخرين المجهولين على مساهمتهم في مراجعة الأقران لهذا العمل.

معلومات إعادة الطبع والتصاريح متاحة على www.nature.com/reprints.

ملاحظة الناشر تظل Springer Nature محايدة فيما يتعلق بالمطالبات القضائية في الخرائط المنشورة والانتماءات المؤسسية.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي للاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج في أي وسيلة أو تنسيق، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح ما إذا كانت هناك تغييرات قد تم إجراؤها. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي للمقال، ما لم يُذكر خلاف ذلك في سطر ائتمان للمادة. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي للمقال واستخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، ستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارة http://creativecommons. org/licenses/by/4.0/.
© المؤلفون 2024

البيانات الموسعة الشكل 1 | سحابة الجزيئات لجزيئات الصور المتغيرة التي تم إنشاؤها عشوائيًا. تم إنشاء سحابة الجزيئات باستخدام الأداة التي أبلغ عنها إيرتل وروهدي . الخلفية الزرقاء المائية تشير إلى عينات من الجزيئات في قاعدة البيانات التي أبلغ عنها غريفيث وآخرون. التي لم ينتجها نموذجنا، بينما تشير الشعاب المرجانية إلى الجزيئات التي أنتجها نموذجنا والتي هي جزء من

قاعدة بيانات غريفيث وآخرون ، بينما تشير الخلفية الزرقاء الفاتحة إلى عينات تم إنشاؤها بواسطة نموذجنا وليست جزءًا من قاعدة بيانات غريفيث وآخرون. ولكنها جزء من قاعدة بيانات PubChem. الخلفية الوردية الفاتحة تشير إلى الجزيئات التي أنتجها نموذجنا ولكنها ليست جزءًا من قاعدة بيانات PubChem ولا قاعدة بيانات غريفيث وآخرون. .

تم تدريب هذه النماذج باستخدام نهج ذاتي الإشراف، أي، للتنبؤ بالرمز التالي بناءً على تسلسل نص الإدخال. وهذا يعني أننا نقدم قائمة من الأسئلة والأجوبة كسلسلة كبيرة واحدة. يتعلم البرنامج أن في سلسلتنا ‘###’ تشير إلى نهاية المطالبة و ‘ @ ‘ نهاية الاكتمال. هنا، استخدمنا حقيقة أن تعلم حرف واحد أرخص وأسهل، ومن ثم متعددة المراحل.

لأفضل مقارنة، قمنا أيضًا بتقسيمها إلى معايير قائمة على التعلم العميق (DL) المدرب مسبقًا (هنا، MolCLR مود نت شبكة السلطعون و TabPFN ) وخطوط الأساس التي لا تستخدم (طرق التعلم العميق المدربة مسبقًا) (n-Gram، الانحدار باستخدام العمليات الغاوسية، XGBoost، الغابات العشوائية، التعلم الآلي الآلي المحسن لعلوم المواد ) على مجموعات الميزات المضبوطة يدويًا. بالنسبة للتحليل في هذه الجدول، قمنا بتناسب منحنيات التعلم لنماذج GPT-3 وللأساسيات وقياس المكان الذي تتقاطع فيه منحنيات التعلم، أي أننا نحدد العامل الذي يوضح مقدار البيانات الإضافية (أو الأقل) التي نحتاجها لجعل أفضل أساسيات الأداء متساويًا مع نماذج GPT-3 في نظام البيانات المنخفضة لمنحنيات التعلم. يمكن العثور على منحنيات التعلم الكاملة لجميع النماذج في الملاحظة التكميلية 6. في الأقواس، نذكر الأساس الذي اعتبرناه لكل دراسة حالة. في القيام بذلك، نستخدم الاختصارات التالية: لـ TabPFN ، لـ MolCLR ، ن لـ n-Gram، ج لـ ، x لـ XGBoost على أوصاف جزيئية مثل بصمات الجزيئات “، xmo لنموذج XGBoost مشابه لذلك في موصوي وآخرون. ، xj لنموذج XGBoost مشابه لذلك الموجود في جابلونكا وآخرون. مو لنموذج مركز الذرة من موصافي وآخرون. ، ج لـ ، prf لنموذج الغابة العشوائية الذي أبلغ عنه بيي وآخرون. ، أداة للتعدين الآلي تعديل لـ ModNet drfp لبصمات التفاعل القابلة للاشتقاق كمدخل لجهاز GPR . بالنسبة لدراسات الحالة حول مجموعات بيانات التفاعل، لم نعتبر قاعدة التعلم العميق. هناك عدة ملاحظات على هذا التحليل. أولاً، قد لا يكون التركيز على نظام البيانات المنخفضة دائمًا هو المنظور الأكثر صلة. ثانيًا، نحن نركز فقط على إعداد التصنيف الثنائي في هذه الجدول. ثالثًا، نحن نركز على درجة الماكرو لهذه الجدول (جميع الحالات متوازنة من حيث الفئات). رابعًا، نعتبر أداء نموذج GPT-3 لعشر نقاط بيانات تدريب كمرجع. نقدم المزيد من التفاصيل في الملاحظة التكميلية 6. النسخة من GPT-3 التي استخدمناها في هذا العمل تم تدريبها على بيانات حتى أكتوبر 2019 والتي تأتي في الغالب من جمع البيانات من الويب (Common Crawl). ونص الويب بالإضافة إلى مجموعات الكتب وويكيبيديا. ومع ذلك، لم تكن مجموعات البيانات المنظمة جزءًا من التدريب. أيضًا، لاحظ أن نهجنا يعمل بشكل جيد على التمثيلات التي لم تُستخدم لمجموعات البيانات الأصلية (على سبيل المثال، SELFIES، InChI). بالنسبة لدراسات الحالة على مجموعات بيانات التفاعل، لم نعتبر قاعدة بيانات التعلم العميق، وبالتالي تم حذف القيم المقابلة في الجدول. لحساب الجدول، استخدمنا البيانات المبلغ عنها في المراجع 78-88.

Received: 16 May 2023
Accepted: 22 December 2023
Published online: 6 February 2024
(D) Check for updates

One of the fascinating advances in machine learning has been the development of large language models (LLMs), so-called foundation models . These models are appealing because of their simplicity; given a phrase, they return text that completes phrases in natural language such that, in many instances, one cannot tell that a machine wrote it.

From a scientific point of view, the most striking examples are that these foundation models can write sensible abstracts for scientific articles or even code for particular programming tasks . Recently, it has been shown that these models can also
solve relatively simple tabular regression and classification tasks . However, as these models were not explicitly trained on these tasks, it is a remarkable result .

That these models can solve simple tasks they are not trained for made us wonder whether they can also answer scientific questions for which we do not have an answer. As most chemistry problems can be represented in text form, we should be able to train these models to answer questions that chemists have. For example, ‘If I change the metal in my metal-organic framework, will it be stable in water?’

a class (for example, ‘high’, ‘low’) given a text representation of a molecule, material or reaction, to regression, that is, prediction of floating point numbers, to inverse design-the prediction of molecules. Metal-organic framework rendering created with iRASPA .

Such questions are often impossible to answer using theory or require highly sophisticated simulations or experiments.

We will always have very little (experimental) data for chemistry and material science applications. Hence, it is important that meaningful results can already be obtained with tens to hundreds of data points. We know from previous work on applications on text classification or generation that this works particularly well using models from the Generative Pre-trained Transformer 3 (GPT-3) family , which were trained by the artificial intelligence company OpenAI. In this work, we show that these models-when provided with example data-perform surprisingly well for various chemistry questions, even outperforming the state-of-the-art machine learning models specifically developed for these tasks. It is important to realize that while language models have been used in chemistry before to predict properties or design molecules , they have conventionally been pre-trained on chemistry-specific tasks. In contrast, the models we investigate here have been trained on text corpi compiled mainly from the Internet but still can adapt to various tasks. Although ref. 8 has probed the inherent chemistry knowledge of LLMs, we focus on how those models perform when they are fine-tuned-that is, the weights are updated-on some task-specific dataset. Note that this task-specific fine-tuning makes the models less dependent on the prompt structure than in-context learning .

We benchmark our model on various datasets and applications to illustrate that these models can answer a wide range of scientific ques-tions-ranging from the properties of materials, to how to synthesize materials and how to design materials (Fig.1). In selecting these questions, we included some that have been addressed with machine learning. This allowed us to benchmark against state-of-the-art machine learning approaches specifically developed for these applications.

Before discussing the different applications in detail, let us first discuss how we fine-tune the GPT-3 model in practice for a simple but highly non-trivial example. High-entropy alloys have attracted much interest as a novel class of structural metals. Interestingly, one has a sheer infinite number of possible combinations of metals. From a practical point of view, it is important to know whether a given combination of
metals will form a solid solution or multiple phases. Hence, the question we would like to ask is: ‘What is the phase of <composition of the high-entropy alloy>?’ and our model should give a text completion from the set of possible answers {single phase, multi-phase}.

In Extended Data Table 1, we provide the set of questions and answers we used to fine-tune the GPT-3 model. These are questions and answers on high-entropy alloys for which the phase has been experimentally determined. The model tuning via the OpenAI API typically takes a few minutes and gives us a new model, which takes as input ‘Sm0.75Y0.25’ and gives as text completion ‘ 1 ‘, which corresponds to single phase. This simple example already gives some remarkable results. We selected this example to directly compare its performance with the current state-the-art machine learning models with descriptors specially developed to mimic the relevant chemistry for this application . In Fig. 2, we show that with only around 50 data points, we get a similar performance to the model of ref. 24 , which was trained on more than 1,000 data points.

These results made us wonder whether similar results can be obtained for other properties. Hence, we looked at a range of very different properties of molecules, materials and chemical reactions. We focused on those applications for which conventional machine learning methods have been developed and generally accepted as benchmarks in their field. In addition, we also compared our model with the top-performing ones on tasks from the Matbench suite of benchmarks (Supplementary Note 6.15).

Extended Data Table 2 compares the performance of a fine-tuned GPT-3 model with baselines (which can be found in Supplementary Note 6). For doing so, we fit the learning curves for the GPT-3 models and for the baselines and measure where they intersect, that is, we determine the factor of how much more (or fewer) data we would need to make the best baseline perform equal to the GPT-3 models in the low-data regime of the learning curves. The full learning curves for all models can be found in Supplementary Information (Supplementary Note 6).

For molecules, we investigated properties ranging from gaps between highest occupied (HOMO) and lowed unoccupied (LUMO) molecular orbitals and solubility in water to the performance in organic photovoltaics. For materials, we focused on the properties of alloys, metal-organic frameworks and polymers. Finally, for reactions,

we considered two key cross-coupling reactions in organic chemistry. Extended Data Table 2 shows that in the low-data regime, our GPT-3 model is typically at least as good as the conventional machine learning model and often needs fewer data. In the high-data regime, the conventional machine learning models often catch up with the GPT-3 model. This makes sense, as for a given size of the dataset, the need for additional data and correlations (inductive biases) captured by GPT-3 might be less needed.

We have to mention that we did not optimize the fine-tuning of the GPT-3 model, that is, we did not try to optimize how a sentence is presented to the model; one can envision that specific tokenization can have better results for chemical sentences . Also, we did not tune the number of times we show an example to a model (that is, the number of epochs or the learning rate).

Importantly, we are also not limited to fine-tuning; in Supplementary Note 5, we show that we can even achieve good performance without fine-tuning by incorporating examples directly into the prompt (so-called in-context learning , that is, learning during inference time). This works particularly well with the largest GPT-3 models and GPT-4. We are also not limited to using models from OpenAI. In Supplementary Notes 7 and 8, we also show that we could obtain good results by fine-tuning the open-source LLM’s parameter-efficient fine-tuning techniques on consumer hardware and provide a Python package that makes it easy to apply this approach to new problems.

An interesting question is how to represent a molecule or material. Most of the literature reports use International Union of Pure and Applied Chemistry (IUPAC) names. For machine learning applications, there has been a lot of effort to represent a chemical with unique line encodings (for example, simplified molecular-input line-entry system (SMILES)
or self-referencing embedded strings (SELFIES) ). As the GPT-3 model has been trained on natural text, one might expect that chemical names are preferred over line representations such as SMILES or SELFIES. Therefore, we investigated different representations for our molecular property prediction tasks (see also Supplementary Note4). Interestingly, our results (Supplementary Note 6) show that good results are obtained irrespective of the representation. The fact that we often get the best performance using the IUPAC name of the molecule makes fine-tuning GPT-3 for a particular application relatively simple for non-specialists.

A more challenging task than classification is to make a regression model, which would allow us to predict the value of a continuous property such as the Henry coefficient for the adsorption of a gas in a porous material. As we are using a pre-trained language model, performing actual regression that predicts real numbers ( ) is impossible (without changes to the model architecture and training procedure). However, in most, if not all, practical applications, the accuracy for which we can make predictions is always limited. For example, for the Henry coefficient of a material, an accuracy of (or a certain number of decimal points) is sufficient for most applications (see Supplementary Note 10 for discussion on this error source). Hence, we use molecules with Henry coefficients rounded to this accuracy as a training set and assume that the GPT-3 model can interpolate these numbers. Of course, one could also convert this into a classification problem by making tiny bins. For this more challenging regression task, we need more data for tuning the GPT-3 model, and we still get a performance that can approach the state of the art, but as this approach requires much more data, the advantage, except for the ease of training, is less. We obtain a similar conclusion for other regression problems (see Supplementary Note 10) and imbalanced classification cases (Supplementary Note 6.8).

One can argue that the ultimate goal of machine learning in chemistry is to create a model that can generate molecules with a desired set of properties. This is also known as inverse design . Broadly speaking, there are two approaches. If we have large datasets, we can train generative models such as variational autoencoders or generative adversarial neural networks . Without large datasets, evolutionary techniques such as genetic algorithms can generate novel, potentially interesting molecules . Those evolutionary methods work best if one can limit the underlying chemistry; for example, finding the optimal functional group on a material with a well-defined backbone .

Given that the GPT-3 model can predict the properties of molecules and materials with a small dataset, trying an inverse design strategy is tempting. This would be particularly important in the early stages of research; one often has a small set of experimental data points and a limited understanding. Yet, we could leverage a fine-tuned GPT-3 model to generate suggestions for novel materials with similar or even better performance. This would be an important step forward. Particularly as the tuning of such a natural language model is much more accessible than the training of conventional machine learning models. Here we investigate this setting: Can a fine-tuned GPT-3 propose valid molecules that satisfy the constraints or desired properties specified in a prompt in natural language? Again, we are illustrating the potential for a few case studies.

Molecular photoswitches are organic molecules with extended aromatic systems that make them responsive to light. Upon radiation, they switch reversibly between different isomers (which changes some properties, such as dipole moments). This reversible switching makes them interesting molecules for applications ranging from sensing to drug discovery. These molecules are complex, making sufficiently accurate predictions using first-principles theory very expensive.

Yet, it is important to have some guidance to identify promising molecules, and machine learning models have been developed for this. One of the important properties of these photoswitches is the wavelength at which there is a maximum in the adsorption spectrum for the and isomers. Hence, we fine-tuned GPT- 3 with the same data used by ref. 43 . As we have shown above, we can fine-tune GPT-3 to accurately answer questions like ‘What is the pi-pi* transition wavelength of CN1C .

For GPT-3, inverse design is as simple as training the model with question and completion reversed. That is, answer the question ‘What is a photoswitch with transition wavelengths of 324 nm and 442 nm , respectively’ with a text completion that should be a SMILES string of a meaningful molecule. This approach should be contrasted with the approach used by ref. 43 , in which a library of molecules is generated, and their machine learning model (a Gaussian process regression) is used to evaluate the transition wavelengths of each material. If one has a lot of knowledge about the system, one can design large specific libraries that contain many promising molecules, including molecules with transition wavelengths of 324.0 nm and 442 nm . But, such a brute force technique is not what we understand as inverse design, as it, by definition, cannot predict a molecule that we did not include in our library.

A simple test to see whether our model can generate new structures is to ask it to generate molecules with transition wavelengths similar to those from the dataset reported by ref. 43. Extended Data Fig. 1 shows a representative sample of the molecules generated by the model. As expected, many molecules come from the training set (coloured orange in the figure). Importantly, many molecules are not in the training set, and, interestingly, some are not even in the PubChem database of known chemicals. In Fig. 3, we show that for the molecules, the transition wavelength is within a mean absolute percentage error of around . Note that as the Gaussian process regression (GPR) model of ref. 43 was shown to perform comparably to, if not better than, more costly density functional theory simulations, we chose to use their model to compute the transition wavelengths for the generated molecules.

It is interesting to quantify how novel our newly generated molecules are. We compare these molecules to those collected in ref. 43 . We quantify the similarity by computing the distance between molecular fingerprints. Figure 4 visualizes this by laying out the resulting approximate nearest-neighbour graph in two dimensions. The orange and green spheres represent molecules from the ref. 43 dataset, the blue spheres show the novel ones, and the pink ones are not part of the PubChem database. As expected, we find many new structures that are derivatives of molecules in the ref. 43 database. However, we also find branches that are not part of the library of ref. 43, indicating that the model generated novel kinds of compounds.

In generating these molecules, we adjusted the so-called softmax temperature in the sampling step of GPT-3 models. This temperature is conventionally used to generate more natural text. If we set this temperature to zero, we will generate text with the most frequently used words. We can increase the temperature to make the text more natural, making it more likely that less commonly used synonyms are chosen. For chemistry, if we aim to complete a SMILES starting with carbon, the zero-temperature solution would always complete the symbol that most commonly follows carbon (‘(‘ in the QMugs dataset). In contrast, too-high temperatures would randomly choose any element.

The impact of this temperature parameter is shown in Fig. 3. At low temperatures, the generated molecules often come from the training set and only show a low diversity. Across all temperatures, the generated molecules seem synthesizable, as judged by a low synthetic accessibility (SA) score . Increasing the temperature gives us more diverse and novel structures, but one can also expect more structures that make no chemical sense, that is, are invalid.

The results on the photoswitches illustrate the potential of LLMs for chemistry. To obtain more insight into whether we can trust these GPT-3 predictions, we carried out some experiments where we tried to stretch the limits.

We have already seen that we can obtain good results independent of how we represent a molecule (IUPAC names, SMILES or SELFIES), but can GPT-3 interpret an abstract representation of molecules we invented? A previous study developed a machine learning approach to design dispersants using a coarse-grained approach. This dispersant was a linear copolymer with four monomer types and a chain length between 16 and 48 units, giving a chemical design space of 58 million different dispersants. One important goal in this work was to find dispersants with the right binding free energy, that is, which polymer length and which monomer sequence is optimal. As there is no

way the GPT-3 model knows about the properties or representations of the coarse-grained polymers, it is interesting to see if we can get any sensible result if we ask the question ‘What is the adsorption free energy of coarse-grained dispersant AAAABBBBDDDDAAAACCCC’ or as inverse design, ‘Give me a structure of a coarse-grained dispersant with a free energy of 17’. Interestingly, for the prediction of the adsorption free energy, the GPT-3 model outperforms the models developed by ref. 45 . In addition, it can also successfully carry out the inverse design and generate monomer sequences that give the desired composition and, with a mean percentage error of around , the desired adsorption free energy (the approximation of the ground truth we use already has a mean percentage error of around 9%, see Supplementary Note 11.1 for details).

In the case of the photoswitches, we have seen that the GPT-3 model can generate new molecules that are quite different from the training set. To explore in detail how far we can stretch the limits of what new molecules we can generate, we choose an application for which quantum calculations are known to predict the experimental values sufficiently accurately. The HOMO-LUMO gap is such an application. The HOMO-LUMO gap is relevant, for instance, in electronic applications that aim to excite a molecule at a specific energy. This HOMO-LUMO gap can be predicted accurately using semi-empirical quantum mechanics (GFN2-xTB ), which is computationally affordable enough for us to compute for all generated molecules (Supplementary Note 77). Moreover, the QMugs dataset has listed these HOMO-LUMO calculations for 665,000 molecules.

In Supplementary Note 11.3, we show that with the training of only 500 samples, we can get a reasonable estimate of the HOMO-LUMO gap of the molecules in the QMugs dataset. Also, by reverting the question, we have our model trained for inverse design. In Supplementary Note11.3, we show that by asking the model ‘What is a molecule with a HOMO-LUMO gap of , we get similar to the photoswitches-a set of novel molecules. These novel molecules are not part of our training set and not even part of the QMugs dataset.

We now conduct some experiments on a dummy task to test how well the GPT-3 model can extrapolate to HOMO-LUMO gaps for which it has not received any training. To mimic this situation, we retrained our inverse design model using a dataset that has only molecules with

HOMO-LUMO gaps smaller than 3.5 eV , and subsequently query the model with a question that requires the GPT-3 model to extrapolate (and, for example, to find that very small molecules are associated with large HOMO-LUMO gaps; a task we selected for only demonstration purposes and that can be exploited by generating small molecules). We do this by asking more than 1,000 times the question:’What is a molecule with a HOMO-LUMO gap of <XX>’, where each time we slightly change the value of the HOMO-LUMO gap, that is, we sample XX from a Gaussian centred at 4 eV . Interestingly, the GPT-3 model does provide structures with a distribution of which our quantum calculations confirm that a meaningful fraction has a HOMO-LUMO gap . Again, this is a remarkable result. In our training set, there was not a single molecule with a bandgap , which shows that the GPT-3 model can make extrapolations. We can do a similar experiment for the photoswitches, for which we might have a library of photoswitches whose transition wavelengths are all below 350 nm . For practical applications, however, it can often be essential to have adsorption at larger wavelengths. In this case, we can successfully use a fine-tuned GPT-3 model to generate photoswitch molecules that adsorb at lower energy (Supplementary Fig. 75, which we also validated with time-dependent density functional theory in Supplementary Note 11.2.2).

These findings inspired us to do an inverse design experiment to design molecules with properties that take us far from the training set . We are interested in molecules that have a HOMO-LUMO gap . From the distribution of HOMO-LUMO gaps in the QMugs database (Fig. 5), we see that the average bandgap is around 2.58 eV . Only a handful of molecules in this database have a HOMO-LUMO gap above 5 eV .

Hence, this is a challenging inverse design problem, as only a few materials in the database have the desired properties. Here our experiment is the quantum calculation, and we typically assume that we can evaluate hundreds to thousands of materials in a reasonable time. From a machine learning point of view, a set of thousands of materials is in a very low-data regime. However, from an experimental point of view, this is a large but sometimes doable effort. Of course, this is a somewhat arbitrary limit, and in Supplementary Fig. 83, we also give data for fewer experiments.

We start with the training using a set of hundreds of molecules randomly selected from the QMugs dataset (blue distribution in

Fig.5). These selected molecules will have bandgap distribution similar to the QMugs dataset. We then query for HOMO-LUMO gaps, now around 1,000 times requesting a molecule with a bandgap taken from a normal distribution with shifted mean (mean 4.0 eV , s.d. 0.2 eV ). We evaluated these new molecules (green curve in Fig. 5), which indeed shows a shift of the distribution to higher HOMO-LUMO gaps. In the next iteration, we retrain the model with the new data and query again higher HOMO-LUMO gaps. Figure 5 shows that we have achieved our aim after four iterations.

Our results raise a very important question: how can a natural language model with no prior training in chemistry outperform dedicated machine learning models, as we were able to show in the case of high-entropy alloys in Fig. 2 and for various molecule, material and chemical reaction properties in Extended Data Table 2? To our knowledge, this fundamental question has no rigorous answer. The fact that we get good results independent of the chemical representation illustrates that these language models are very apt at extracting correlations from any text . For example, we found promising results using both conventional chemical names and entirely hypothetical representations. In both cases, the model could quantitatively correlate the pattern of repeating units correctly to different kinds of properties.

Of course, if we say that the GPT-3 model is successful, it implies only that we have established that the GPT-3 model has identified correlations in the current training data that can be successfully exploited to make predictions. However, this does not imply that the correlations are always meaningful or related to cause-effect relationships. Hence, our research does not stop here. The next step will be to use GPT-3 to identify these correlations and ultimately get a deeper understanding. In this context, we argue that GPT-3 is only a tool to make more effective use of the knowledge scientists have collected over the years. It is also important to mention that while the training corpus contains chemistry information, many, if not most, scientific articles and results (including
all failed or partially successful experiments ) have not been seen by GPT-3. Hence, one can expect an even more impressive performance if these data are added to the training data.

As we show in this Article, a machine learning system built using GPT-3 works impressively well for a wide range of questions in chemis-try-even for those for which we cannot use conventional line representations such as SMILES. Compared with conventional machine learning, it has many advantages. GPT-3 can be used for many different applications. Each application uses the same approach, in which the training and use of the model are based on questions formulated in natural language. This raises the bar for future machine learning studies, as any new models should at least outperform this simple approach instead.

The other important practical point is that using a GPT-3 model in a research setting is similar to a literature search. It will allow chemists to leverage the chemical knowledge we have collected. GPT-3 has been designed to discover correlations in text fragments, and the fact that these correlations are extremely relevant to chemistry opens many possibilities for chemists and material scientists alike.

For all the results shown in the main text, we used the smallest ada variant of GPT-3 available via the OpenAI API. For fine-tuning, we used the same setting for all case studies (8 epochs, learning rate multiplier of 0.02). Error bands show, if not otherwise indicated, the standard error of the mean.

To compare the data-efficiency of the GPT-3 models with our baselines, we fitted all learning curves to power laws ( ). We then used these power laws to find where the best-performing baseline shows the same performance as the best GPT-3-based approach at the first learning curve point (that performs better than random, as measured using the Cohen’s kappa ( ) metric).

To check the validity of the generated SMILES we use the is_valid method from the Guacamol package , which effectively considers a SMILES as valid if it can be parsed using RDKit.

We also performed some of our experiments by fine-tuning the GPT-J-6B model (which has been trained on the Pile dataset ) on consumer hardware using 8 -bit quantization and 8 -bit optimizers in addition to the low-rank adaptation (LoRA) technique .

All data used in this work was obtained from public sources and can be downloaded from GitHub (https://github.com/kjappelbaum/ gptchem) .

All code created in this work is available on GitHub. The gptchem repository (https://github.com/kjappelbaum/gptchem) contains all experiments with the OpenAI API. The chemlift repository (https://github. com/lamalab-org/chemlift) contains an implementation supporting open-source LLMs.

K.M.J., A.O.-G. and B.S. were supported by the MARVEL National Centre for Competence in Research funded by the Swiss National Science Foundation (grant agreement ID 51NF40-182892). P.S. acknowledges support from NCCR Catalysis (grant number 180544), a National Centre of Competence in Research funded by the Swiss National Science Foundation. The research of K.M.J. and B.S. was also supported by the USorb-DAC Project, which is funded by a grant from The Grantham Foundation for the Protection of the Environment to RMI’s climate tech accelerator programme, Third Derivative. In addition, the work of K.M.J. was supported by the Carl-Zeiss Foundation.

K.M.J. developed the machine learning approach with feedback from P.S. and B.S. K.M.J. and B.S. wrote the article. A.O.-G. contributed to the density functional theory calculations.

Open access funding provided by EPFL Lausanne.

The authors declare no competing interests.

Extended data is available for this paper at https://doi.org/10.1038/ s42256-023-00788-1.

Supplementary information The online version contains supplementary material available at https://doi.org/10.1038/s42256-023-00788-1.

Correspondence and requests for materials should be addressed to Berend Smit.

Peer review information Nature Machine Intelligence thanks Guillaume Godin, Glen Hocky and the other, anonymous, reviewer(s) for their contribution to the peer review of this work.

Reprints and permissions information is available at www.nature.com/reprints.

Publisher’s note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons license, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons license, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons license and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this license, visit http://creativecommons. org/licenses/by/4.0/.
© The Author(s) 2024

Extended Data Fig. 1 | Molecule Cloud for randomly generated photoswitch molecules. Molecule Cloud generated using the tool reported by Ertl and Rohde . Aquamarine background indicates samples from molecules in the database reported by Griffiths et al. that our model did not generate, coral indicates the molecules our model generated and that are part of

Griffiths et al ‘s database, light steel blue background indicates samples that are generated by our model and that are not part of the database of Griffiths et al. but part of the PubChem database. Pale violet-red background indicates molecules that our model generated but that are part neither of PubChem nor the database of Griffiths et al. .

These models have been trained using a self-supervised approach, that is, to predict the next token given an input text sequence. This implies we offer the list of questions and answers as one large string. The program learns that in our string ‘###’ indicates the end of a prompt and ‘ @ ‘ the end of a completion. Here, we used the fact that learning one character is cheaper and easier, hence multi-phase.

For the best comparison, we also split into (pre-trained) deep-learning (DL)-based baselines (here, MolCLR , ModNet , CrabNet , and TabPFN ) and baselines not using (pre-trained) deep-learning approaches (n-Gram, Gaussian Process Regression, XGBoost, random forests, automated machine learning optimized for materials science ) on hand-tuned feature sets. For the analysis in this table, we fit the learning curves for the GPT-3 models and for the baselines and measure where the learning curves intersect, that is, we determine the factor of how much more (or less) data we would need to make the best baseline perform equal to the GPT-3 models in the low-data regime of the learning curves. Full learning curves for all models can be found in Supplementary Note 6. In parentheses, we mention the baseline we considered for each case study. In doing so, we use the following acronyms: for TabPFN , for MolCLR , n for n-Gram, g for , x for XGBoost on molecular descriptors such as fragprints , xmo for XGBoost model similar to the one in Moosavi et al. , xj for an XGBoost model similar to the one in Jablonka et al. , mo for the atom-centered model from Moosavi et al. , c for , prf for the random forest model reported by Pei et al. , a for automatminer , mod for ModNet , drfp for differentiable reaction fingerprints as input for a GPR . For the case studies on reaction datasets, we did not consider a deep learning baseline. There are several caveats to this analysis. First, focusing on the low-data regime might not always be the most relevant perspective. Second, we only focus on the binary classification setting in this table. Third, we focus on the macro score for this table (all cases are class-balanced). Fourth, we consider the performance of the GPT-3 model for ten training data points as a reference. We provide more details in Supplementary Note 6. The version of GPT-3 we utilized in this work has been trained on data up to Oct 2019 that mostly comes from web scraping (Common Crawl and WebText ) along with books corpora and Wikipedia. Structured datasets, however, have not been part of the training. Also, note that our approach works well on representations that have not been used for the original datasets (for example, SELFIES, InChI). For the case studies on reaction datasets, we did not consider a deep learning baseline, hence the corresponding values have been omitted in the table. For computing the table, we utilized data reported in Refs. 78-88.