DOI: https://doi.org/10.1007/s11263-025-02654-6
تاريخ النشر: 2026-01-09
المؤلف: Antonio Ríos-Vila وآخرون
الموضوع الرئيسي: الموسيقى ومعالجة الصوت
نظرة عامة
تقدم ورقة البحث نظامًا جديدًا للتعرف على الموسيقى البصرية (OMR) من البداية إلى النهاية مصممًا لتحويل تخطيطات النوتات الموسيقية المعقدة مباشرة إلى تنسيقات رقمية، متجاوزًا قيود خطوط المعالجة التقليدية متعددة المراحل. يدمج النموذج المقترح الطبقات التلافيفية مع المحولات الذاتية الانحدار، مما يمكّنه من معالجة صفحات النوتات الموسيقية الكاملة وإخراج النسخ بتنسيق ترميز موسيقي. تستخدم منهجية التدريب التعلم المنهجي من خلال توليد بيانات اصطناعية تدريجية، مما يعزز أداء النموذج. تظهر التقييمات التي أجريت على مجموعات بيانات البيانو – التي تعتبر من بين الأكثر تحديًا في OMR – أن النظام يتفوق على برامج OMR التجارية الرائدة في كل من إعدادات عدم وجود بيانات مسبقة وبعد التعديل الدقيق، مما يمثل تقدمًا كبيرًا في هذا المجال.
في الختام، يؤسس هذا العمل معيارًا جديدًا لتدوين الموسيقى المتعددة الأصوات على الصفحة الكاملة، ممثلاً أول حل حقيقي للتعرف على الموسيقى البصرية من البداية إلى النهاية. تساهم بنية النموذج واستراتيجيات التدريب، بما في ذلك التدريب المسبق على مستوى النظام والتعلم المنهجي، في فعاليته. تشمل اتجاهات البحث المستقبلية تحسين مولد البيانات الاصطناعية لزيادة تنوع الصور، وتعزيز هيكل مجموعة البيانات، واستكشاف استراتيجيات التحسين والتعلم الذاتي (SSL) لتقليل الاعتماد على مجموعات البيانات الموسومة الكبيرة. لا تبرز هذه الدراسة فقط إمكانيات النهج المقترح ولكنها تفتح أيضًا آفاقًا لمزيد من التقدم في تكنولوجيا OMR.
طرق
تم هيكلة منهجية التدريب للنماذج المعتمدة على المحولات في هذه الدراسة في عملية من ثلاث مراحل للتعامل بفعالية مع التدوين الكامل للصفحة من النوتات الموسيقية. في البداية، يخضع النموذج لتدريب مسبق على مستوى النظام باستخدام صور لأنظمة فردية، مما يساعد على تأسيس فهم أساسي لترتيب القراءة. بعد ذلك، يتم استخدام نهج التعلم المنهجي التدريجي، حيث يتم تدريب النموذج تدريجيًا على صور اصطناعية تحتوي على عدد متزايد من الأنظمة، الانتقال من تدوين نظام فردي إلى النوتات الموسيقية الكاملة. أخيرًا، يتم تنفيذ مرحلة تعديل دقيق تعتمد على التعلم المنهجي، تجمع بين صفحات النوتات الموسيقية الاصطناعية والحقيقية، مع زيادة تدريجية في نسبة العينات الحقيقية. تمكن هذه الاستراتيجية النموذج من الاستفادة من المعرفة المكتسبة من البيانات الاصطناعية أثناء التكيف مع تفاصيل النوتات الموسيقية في العالم الحقيقي.
تم تصميم الإعداد التجريبي لتقييم أداء النهج التدريبي المقترح بدقة، مما يضمن أن المنهجية قوية وفعالة في تعزيز قدرات النموذج في التدوين.
النتائج
في هذا القسم، يتم تقييم أداء نظام التدوين الموسيقي بدون تقسيم (SMT f NeXt) المقترح عبر سيناريوهين: بيئة مسيطر عليها باستخدام مجموعة بيانات FP-GrandStaff وتطبيق في العالم الحقيقي مع مجموعات بيانات Mozarteum و Polish Digital Scores. تشير النتائج إلى أن SMT f NeXt يظهر أداءً تنافسيًا مقارنة بأدوات التعرف على الموسيقى البصرية (OMR) التجارية، خاصة في مجموعات البيانات الصعبة. من الجدير بالذكر أنه بينما يحقق SMT NeXt نتائج مماثلة لـ SoundSlice في مجموعة بيانات Mozarteum، فإنه يظهر تحسنًا كبيرًا على طرق أخرى متطورة، متفوقًا على طريقة TrOMR بنسبة 16% و36% في مجموعات البيانات المعنية.
تكشف التحليلات أن النهج الشامل لـ SMT f NeXt في نمذجة التخطيط والمحتوى دون تقسيم الصفحة يعزز قدرته على التقاط الاعتماديات بعيدة المدى، مما يؤدي إلى تحسين دقة التدوين. يحقق النظام معدل خطأ رمزي (SER) بنسبة 14.1% في مجموعة بيانات Mozarteum و25.9% SER في Polish Digital Scores، مما يمثل تحسنًا تقريبيًا بنسبة 33% و23% مقارنة بأفضل البدائل أداءً. علاوة على ذلك، تسلط النتائج الضوء على أهمية التعديل الدقيق، حيث يستفيد أداء SMT f NeXt من التكيف مع خصائص مجموعة البيانات المحددة، على الرغم من تدريبه على أقل من 100 عينة. توضح التقييمات النوعية المزيد من مزايا SMT f NeXt، خاصة في قدرته على وضع الأصوات الموسيقية بدقة والتكيف مع اختلافات المفردات، على الرغم من ملاحظة بعض الأخطاء، مثل السلاسل والنقاط المفقودة.
مناقشة
تناقش ورقة البحث المحول الموسيقي (SMT)، وهو شبكة عصبية ذاتية الانحدار مصممة للتعرف على الموسيقى البصرية (OMR) التي تقوم بتحويل صور النوتات الموسيقية. يتكون SMT من مشفر، يستخدم شبكة عصبية تلافيفية (CNN) لاستخراج الميزات من الصورة المدخلة، ومفكك المحولات الذي يتنبأ بالرمز الموسيقي التالي بناءً على التمثيل المشفر والرموز التي تم توليدها سابقًا. يستخدم النموذج ترميزًا مكانيًا ثنائي الأبعاد للحفاظ على الوعي المكاني للنوتات الموسيقية المتعددة الأصوات، مما يعزز قدرته على معالجة الهياكل الموسيقية المعقدة.
تتناول الورقة أيضًا تنسيقات الترميز المستخدمة لتدريب SMT، مفضلة تنسيق Humdrum Kern على MusicXML بسبب بساطته وتوافقه مع تطبيقات التعلم العميق. يتم استكشاف ثلاث طرق للتجزئة: kern الخام، Kern الموسع الأساسي (bekern)، وKern الموسع (ekern)، كل منها يختلف في حجم المفردات وترابطه مع المعلومات الرسومية. تشمل استراتيجية تدريب SMT مولد نوتات موسيقية اصطناعية لإنشاء عينات تدريب متنوعة ونهج التعلم المنهجي الذي يزيد تدريجيًا من تعقيد المهام. تشير النتائج الأولية إلى أن تكوين SMT NeXt، خاصة عند اقترانه بتشفير bekern، يتفوق على التكوينات الأخرى، محققًا تحسينات كبيرة في دقة التدوين كما تقيسها معدلات الخطأ المختلفة. تؤكد النتائج على فعالية SMT في تدوين الوثائق الكاملة من نوع البيانو وتبرز أهمية مراحل التدريب المنظمة في تعزيز أداء النموذج.
DOI: https://doi.org/10.1007/s11263-025-02654-6
Publication Date: 2026-01-09
Author(s): Antonio Ríos-Vila et al.
Primary Topic: Music and Audio Processing
Overview
The research paper presents a novel end-to-end Optical Music Recognition (OMR) system designed to transcribe complex music score layouts directly into digital formats, overcoming the limitations of traditional multi-stage processing pipelines. The proposed model integrates convolutional layers with autoregressive Transformers, enabling it to process entire music score pages and output transcriptions in a music encoding format. The training methodology employs curriculum learning through incremental synthetic data generation, which enhances the model’s performance. Evaluations conducted on pianoform corpora—considered among the most challenging in OMR—demonstrate that the system outperforms leading commercial OMR software in both zero-shot settings and after fine-tuning, marking a significant advancement in the field.
In conclusion, this work establishes a new benchmark for full-page polyphonic music transcription, representing the first true end-to-end OMR solution. The model’s architecture and training strategies, including system-level pre-training and curriculum learning, contribute to its effectiveness. Future research directions include refining the synthetic data generator for improved image variety, enhancing the dataset backbone, and exploring optimization strategies and Self-Supervised Learning (SSL) to further reduce dependency on large labeled datasets. This study not only highlights the potential of the proposed approach but also opens avenues for further advancements in OMR technology.
Methods
The training methodology for the Transformer-based models in this study is structured into a three-stage process to effectively handle end-to-end full-page transcription of pianoform music scores. Initially, the model undergoes system-level pre-training using images of single systems, which helps establish a foundational understanding of the reading order. Following this, an incremental curriculum learning approach is employed, where the model is progressively trained on synthetic images that contain an increasing number of systems, transitioning from single system transcription to full-page scores. Finally, a curriculum learning-based fine-tuning phase is implemented, combining both synthetic and real music score pages, with a gradual increase in the proportion of real samples. This strategy enables the model to leverage the knowledge gained from synthetic data while adapting to the nuances of real-world music scores.
The experimental setup is designed to rigorously evaluate the performance of the proposed training approach, ensuring that the methodology is both robust and effective in enhancing the model’s transcription capabilities.
Results
In this section, the performance of the proposed Segmentation-free Music Transcription (SMT f NeXt) system is evaluated across two scenarios: a controlled environment using the FP-GrandStaff dataset and a real-world application with the Mozarteum and Polish Digital Scores corpora. The results indicate that the SMT f NeXt demonstrates competitive performance compared to commercial Optical Music Recognition (OMR) tools, particularly in challenging datasets. Notably, while the SMT NeXt achieves similar results to SoundSlice in the Mozarteum dataset, it shows a significant improvement over other state-of-the-art approaches, outperforming the TrOMR method by 16% and 36% in the respective datasets.
The analysis reveals that the SMT f NeXt’s holistic approach to modeling layout and content without segmenting the page enhances its ability to capture long-range dependencies, leading to improved transcription accuracy. The system achieves a 14.1% Symbol Error Rate (SER) in the Mozarteum dataset and a 25.9% SER in the Polish Digital Scores, marking an approximate improvement of 33% and 23% over the best-performing alternatives. Furthermore, the results highlight the importance of fine-tuning, as the SMT f NeXt’s performance benefits from adapting to specific corpus characteristics, despite being trained on fewer than 100 samples. Qualitative assessments further illustrate the advantages of the SMT f NeXt, particularly in its ability to accurately place musical voices and adapt to vocabulary divergences, although some errors, such as missed slurs and dots, were noted.
Discussion
The research paper discusses the Sheet Music Transformer (SMT), an autoregressive neural network designed for optical music recognition (OMR) that transcribes music score images. The SMT comprises an encoder, which utilizes a Convolutional Neural Network (CNN) to extract features from the input image, and a Transformer decoder that predicts the next musical symbol based on the encoded representation and previously generated symbols. The model employs a two-dimensional positional encoding to maintain spatial awareness of polyphonic scores, enhancing its ability to process complex musical structures.
The paper also details the encoding formats used for training the SMT, favoring the Humdrum Kern format over MusicXML due to its simplicity and compatibility with deep learning applications. Three tokenization methods are explored: raw kern, Basic Extended Kern (bekern), and Extended Kern (ekern), each varying in vocabulary size and correlation with graphical information. The SMT’s training strategy includes a synthetic music score generator to create diverse training samples and a curriculum learning approach that gradually increases task complexity. Preliminary results indicate that the SMT NeXt configuration, particularly when paired with bekern encoding, outperforms other configurations, achieving significant improvements in transcription accuracy as measured by various error rates. The findings underscore the effectiveness of the SMT in transcribing full-page pianoform documents and highlight the importance of structured training stages in enhancing model performance.
