DOI: https://doi.org/10.1162/tacl.a.611
تاريخ النشر: 2026-01-09
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تقنيات معالجة اللغة الطبيعية
نظرة عامة
يتناول هذا القسم النقاش المستمر حول ما تعلمته نماذج اللغة (LMs) عن القواعد وتأثيراتها على النظرية اللغوية. يجادل المؤلفون بأنه بينما تعتبر الاحتمالية والقواعد مفاهيم متميزة، فإن فهم العلاقة بينهما أمر بالغ الأهمية. يقترحون إطارًا نظريًا يربط بين القواعد والمعنى واحتمالية السلاسل، استنادًا إلى افتراضات أساسية حول كيفية توليد بيانات الكوربوس.
يؤدي الإطار إلى ثلاث توقعات تجريبية، يقوم المؤلفون بالتحقق منها باستخدام مجموعة بيانات تضم 280,000 زوج من الجمل باللغة الإنجليزية والصينية. تشمل هذه التوقعات: (1) وجود علاقة بين احتمالات السلاسل ضمن أزواج الحد الأدنى—الأزواج التي تختلف فقط قليلاً في المعنى؛ (2) وجود علاقة بين دلتا الاحتمالية للنماذج والأحكام البشرية ضمن هذه الأزواج؛ و(3) عدم وجود فصل واضح في فضاء الاحتمالية بين السلاسل القواعدية وغير القواعدية. توفر النتائج أساسًا نظريًا للاستفادة من الاحتمالية للحصول على رؤى حول المعرفة الهيكلية لنماذج اللغة وتبرز الطرق المحتملة للبحث المستقبلي في تقييم القواعد في نماذج اللغة.
مقدمة
تناقش مقدمة هذه الورقة البحثية آثار فهم نماذج اللغة الاحتمالية (LMs) فيما يتعلق بالقواعد، مع تسليط الضوء على النقاش المستمر حول كفاءتها القواعدية. بينما تشير بعض الدراسات إلى أن نماذج اللغة قد حققت مستوى من الفهم القواعدي، يعبر آخرون عن الشك، مشيرين إلى أن نماذج اللغة تعطي بطبيعتها احتمالات غير صفرية لجميع السلاسل، بما في ذلك غير القواعدية. تعقد هذه السمة تقييم المعرفة القواعدية، حيث قد تقلل الطرق التقليدية لاستجواب النماذج حول القواعد من قدراتها. يجادل المؤلفون بأن نهجًا أكثر فعالية يتضمن قياس الاحتمالات المعطاة للسلاسل، خاصة من خلال استخدام أزواج الحد الأدنى—أزواج الجمل التي تختلف قليلاً وتشكل تباينًا قواعديًا.
تقترح الورقة إطارًا نظريًا حيث تتأثر احتمالية سلسلة ما بمتغيرين كامنَين: رسالة السلسلة وقواعديتها. يدعم هذا الإطار استخدام أزواج الحد الأدنى لعزل التباينات القواعدية مع الاعتراف بأن احتمالات الرسائل يمكن أن تطغى على القواعدية. يحدد المؤلفون ثلاث توقعات تجريبية استنادًا إلى إطارهم، بما في ذلك العلاقات بين احتمالات الجمل القواعدية وغير القواعدية التي تنقل رسائل مشابهة، وتوافق أحكام القبول البشرية مع اختلافات الاحتمالية اللوغاريتمية في أزواج الحد الأدنى، وغياب الفصل في فضاء الاحتمالية بين الجمل القواعدية وغير القواعدية غير المزدوجة. في النهاية، يهدف المؤلفون إلى تقديم أساس نظري لمقارنات احتمالية أزواج الحد الأدنى المستخدمة عادة في تقييم المعرفة القواعدية لنماذج اللغة، داعين إلى فهم أكثر دقة لقدراتها.
طرق البحث
في هذا القسم، يحدد المؤلفون المواد والأساليب المستخدمة لتقييم ثلاث توقعات تتعلق بالقواعدية وأحكام القبول في اللغة الإنجليزية والصينية الماندرين. بالنسبة للتوقع 1، يستخدمون خمسة مجموعات بيانات—BLiMP، SCaMP، SyntaxGym باللغة الإنجليزية، وZhoBLiMP وSLING باللغة الصينية—تتكون من جمل قواعدية وغير قواعدية متزايدة الدرجات من “الحد الأدنى”. تتميز هذه المجموعات بمستويات مختلفة من المعقولية الدلالية، مما يسمح باستكشاف القواعدية بشكل مستقل عن احتمالية الرسالة.
لتقييم التوقع 2، يعتمد المؤلفون على مجموعات بيانات موجودة توفر أحكام قبول بشرية لجمل معزولة. تستند مجموعة البيانات الإنجليزية (LI) إلى دراسات أجراها Sprouse وآخرون (2013) وMahowald وآخرون (2016)، بينما تستند مجموعة البيانات الصينية (HLL) إلى عمل Chen وآخرون (2020). تم قياس القبول على مقياس ليكرت من 7 نقاط، وحسب المؤلفون متوسط درجات z لتحديد الفروق في القبول بين الجمل القواعدية وغير القواعدية. يؤكدون على أهمية تصفية “الأزواج المتطابقة في المعنى” لتخفيف التحيزات النظامية التي قد تنشأ من الجمل غير المتطابقة بشكل جيد.
بالنسبة للتوقع 3، ينتقل المؤلفون من الجمل المزدوجة إلى مجموعات كبيرة من الجمل القواعدية وغير القواعدية لحساب المقاييس ذات الصلة. يستمرون في استخدام مجموعات البيانات المذكورة سابقًا، بما في ذلك CoLA، لتسهيل هذا التحليل. بشكل عام، تم تصميم المنهجية لتقييم الإطار النظري بدقة مع معالجة العوامل المربكة المحتملة في البيانات.
النتائج
تدعم نتائج الدراسة إلى حد كبير التوقعات الأولية المتعلقة بالعلاقة بين القواعدية والاحتمالية اللوغاريتمية. على وجه الخصوص، توضح الشكل 2a وجود علاقة إيجابية قوية بين الاحتمالات اللوغاريتمية للجمل غير القواعدية والقواعدية عبر مجموعات بيانات ونماذج مختلفة، مما يتماشى مع التوقع 1a. بالإضافة إلى ذلك، تشير الشكل 2b إلى أن معامل الارتباط بيرسون ينخفض مع زيادة المسافة الكوسينية بين أزواج الجمل، مما يؤكد التوقع 1b. هذه الاتجاهات متسقة عبر لغات ومجموعات نماذج متعددة.
تظهر تحليلات إضافية مقدمة في الشكل 3 أن اختلافات درجات ليكرت البشرية تتوافق مع اختلافات الاحتمالية اللوغاريتمية، مما يدعم التوقع 2. ومع ذلك، بينما ينخفض معامل الارتباط بيرسون لمجموعة البيانات الإنجليزية LI مع زيادة المسافة الكوسينية، كما هو متوقع في التوقع 2b، فإن الأدلة المماثلة تفتقر لمجموعة البيانات الصينية HLL. قد تنشأ هذه الفجوة من اختلافات في انتشار المسافات الكوسينية أو تباينات في أحكام القبول البشرية بين اللغات. يظهر الشكل 4a أن كل من الجمل القواعدية وغير القواعدية تتلقى درجات مشابهة من النماذج، مع تداخل كبير عبر المقاييس. تشير منحنيات ROC ودرجات AUC في الشكل 4b إلى أنه بينما تظهر مقاييس الاحتمالية اللوغاريتمية المتوسطة ومقاييس SLOR تحسينًا في الفصل، فإن أداء النماذج في مقارنات أزواج الحد الأدنى (∼80% دقة) يشير إلى حساسية للتباينات القواعدية التي لا يتم التقاطها بالكامل من خلال تحولات بسيطة للاحتمالية السلسلة، كما تم الافتراض في الإطار النظري.
المناقشة
في هذا القسم، يستكشف المؤلفون العلاقة بين السلاسل والرسائل والقواعدية ضمن إطار احتمالي. يعرفون سلسلة \( s \) كسلسلة من الكلمات من مفردات \( \Sigma \) ويقدمون متغيرات عشوائية للسلاسل \( S \)، والرسائل \( M \)، والقواعدية \( G \). يتم التعبير عن احتمالية سلسلة \( s \) كـ \( P(s) = \sum_{m \in M} \sum_{g \in \{0,1\}} P(s|m, g) P(g|m) P(m) \)، مما يشير إلى أن احتمال سلسلة ما يتأثر بالرسالة الأساسية وتجسيدها القواعدي. يؤسس المؤلفون تعريفات للسلاسل القواعدية وغير القواعدية، مشددين على أن السلاسل القواعدية تتوافق مع رسائل فريدة، بينما لا تمتلك السلاسل غير القواعدية رسالة مميزة ولكن يمكن ربطها بتوزيع احتمالي على الرسائل المحتملة.
يستخدم المؤلفون إطارهم من خلال مثال توضيحي يتضمن سلاسل قواعدية وغير قواعدية تتكون من تباينات للعناصر النحوية. يعرفون “الأزواج المتطابقة في المعنى” و”أزواج الحد الأدنى”، حيث يتكون الأخير من سلسلة قواعدية وسلسلة غير قواعدية تختلف بخطأ واحد. يقترح المؤلفون ثلاث توقعات: (1) وجود علاقة بين الاحتمالات اللوغاريتمية للسلاسل القواعدية وغير القواعدية ضمن أزواج الحد الأدنى، (2) وجود علاقة بين اختلافات الاحتمالية اللوغاريتمية وأحكام القبول البشرية، و(3) إمكانية وجود فصل ضعيف بين السلاسل القواعدية وغير القواعدية بناءً على الاحتمالية وحدها. تختتم القسم بتحديد الاختبارات التجريبية المصممة للتحقق من صحة هذه التوقعات، مع التأكيد على التفاعل بين القواعدية واحتمالية الرسالة في معالجة اللغة.
DOI: https://doi.org/10.1162/tacl.a.611
Publication Date: 2026-01-09
Author(s): Zhenyun Du et al.
Primary Topic: Natural Language Processing Techniques
Overview
This section addresses the ongoing debate regarding what language models (LMs) have learned about grammar and its implications for linguistic theory. The authors argue that while probability and grammaticality are distinct concepts, understanding the relationship between them is crucial. They propose a theoretical framework that connects grammar, meaning, and string probability, based on fundamental assumptions about how corpus data is generated.
The framework leads to three empirical predictions, which the authors validate using a dataset of 280,000 sentence pairs in English and Chinese. These predictions include: (1) a correlation between the probabilities of strings within minimal pairs—pairs that differ only slightly in meaning; (2) a correlation between the probability deltas of models and human judgments within these pairs; and (3) a lack of clear separation in probability space between grammatical and ungrammatical strings. The findings provide a theoretical basis for leveraging probability to gain insights into LMs’ structural knowledge and highlight potential avenues for future research in evaluating grammaticality in language models.
Introduction
The introduction of this research paper discusses the implications of understanding probabilistic language models (LMs) in relation to grammar, highlighting the ongoing debate about their grammatical competence. While some studies suggest that LMs have achieved a level of grammatical understanding, others express skepticism, noting that LMs inherently assign non-zero probabilities to all strings, including ungrammatical ones. This characteristic complicates the assessment of grammatical knowledge, as traditional methods of querying models about grammaticality may underestimate their capabilities. The authors argue that a more effective approach involves measuring the probabilities assigned to strings, particularly through the use of minimal pairs—sentence pairs that differ slightly and form a grammaticality contrast.
The paper proposes a theoretical framework where the probability of a string is influenced by two latent variables: the string’s message and its grammaticality. This framework supports the use of minimal pairs to isolate grammatical contrasts while acknowledging that the probabilities of messages can overshadow grammaticality. The authors outline three empirical predictions based on their framework, including correlations between the probabilities of grammatical and ungrammatical sentences conveying similar messages, alignment of human acceptability judgments with log-probability differences in minimal pairs, and the lack of separation in probability space between unpaired grammatical and ungrammatical sentences. Ultimately, the authors aim to provide a theoretical basis for the minimal-pair probability comparisons commonly used in evaluating LMs’ grammatical knowledge, advocating for a more nuanced understanding of their capabilities.
Methods
In this section, the authors outline the evaluation materials and methodologies employed to test three predictions regarding grammaticality and acceptability judgments in English and Mandarin Chinese. For Prediction 1, they utilize five datasets—BLiMP, SCaMP, SyntaxGym in English, and ZhoBLiMP and SLING in Chinese—comprising paired grammatical and ungrammatical sentences with varying degrees of “minimalness.” These datasets are characterized by differing levels of semantic plausibility, allowing for an exploration of grammaticality independent of message probability.
To assess Prediction 2, the authors rely on existing datasets that provide human acceptability judgments for isolated sentences. The English dataset (LI) draws from studies by Sprouse et al. (2013) and Mahowald et al. (2016), while the Chinese dataset (HLL) is based on work by Chen et al. (2020). Acceptability was measured on a 7-point Likert scale, and the authors calculated mean z-scores to quantify differences in acceptability between grammatical and ungrammatical sentences. They emphasize the importance of filtering for “meaning-matched” pairs to mitigate systematic biases that could arise from poorly matched sentences.
For Prediction 3, the authors shift focus from paired sentences to large sets of grammatical and ungrammatical sentences to compute relevant metrics. They continue to use the previously mentioned datasets, including CoLA, to facilitate this analysis. Overall, the methodology is designed to rigorously evaluate the theoretical framework while addressing potential confounding factors in the data.
Results
The results of the study largely support the initial predictions regarding the relationship between grammaticality and log probability. Specifically, Figure 2a illustrates a strong positive correlation between the log probabilities of ungrammatical and grammatical sentences across various datasets and models, aligning with Prediction 1a. Additionally, Figure 2b indicates that the Pearson correlation coefficient decreases as the cosine distance between sentence pairs increases, confirming Prediction 1b. These trends are consistent across multiple languages and model sets.
Further analyses presented in Figure 3 reveal that human Likert score differences correlate with log probability differences, supporting Prediction 2. However, while the Pearson correlation for the English LI dataset decreases with increasing cosine distance, as predicted by Prediction 2b, similar evidence is lacking for the Chinese HLL dataset. This discrepancy may arise from differences in the spread of cosine distances or variations in human acceptability judgments between languages. Figure 4a shows that both grammatical and ungrammatical sentences receive similar scores from the models, with substantial overlap across metrics. The ROC curves and AUC scores in Figure 4b indicate that while mean log probability and SLOR metrics demonstrate improved separability, the models’ performance on minimal pair comparisons (∼80% accuracy) suggests sensitivity to grammatical distinctions that is not fully captured by simple string probability transformations, as posited in the theoretical framework.
Discussion
In this section, the authors explore the relationship between strings, messages, and grammaticality within a probabilistic framework. They define a string \( s \) as a sequence of words from a vocabulary \( \Sigma \) and introduce random variables for strings \( S \), messages \( M \), and grammaticality \( G \). The probability of a string \( s \) is expressed as \( P(s) = \sum_{m \in M} \sum_{g \in \{0,1\}} P(s|m, g) P(g|m) P(m) \), indicating that the likelihood of a string is influenced by the underlying message and its grammatical realization. The authors establish definitions for grammatical and ungrammatical strings, emphasizing that grammatical strings correspond to unique messages, while ungrammatical strings do not have a distinct message but can be associated with a probability distribution over potential messages.
The authors illustrate their framework using a toy example involving grammatical and ungrammatical strings formed from variations of syntactic elements. They define “meaning-matched pairs” and “minimal pairs,” where the latter consists of a grammatical string and an ungrammatical string differing by a single error. The authors propose three predictions: (1) a correlation between the log-probabilities of grammatical and ungrammatical strings within minimal pairs, (2) a correlation between differences in log-probability and human acceptability judgments, and (3) the potential for poor separation between grammatical and ungrammatical strings based on probability alone. The section concludes by outlining the empirical tests designed to validate these predictions, emphasizing the interplay between grammaticality and message probability in language processing.