Deep Learning Approach for Multimodal Biometric Recognition System
Loading...
Date
2025-04-21
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
University of M'Sila
Abstract
Multimodal biometric recognition has emerged as a powerful approach to enhance recognition
performance by leveraging multiple data sources. This thesis investigates unimodal and multimodal
systems, focusing on finger vein (FV) and palmprint recognition, which are highly secure and reliable
modalities due to their unique characteristics and resistance to forgery. Finger vein patterns, located
beneath the skin, are invisible to the eye and difficult to replicate, making them ideal for high-security
applications such as access control and financial transactions. Similarly, palmprint recognition relies
on the distinct patterns of lines, wrinkles, and textures on the palm, which remain consistent
throughout an individual’s life, even among identical twins. However, both modalities face
challenges: finger vein recognition is affected by variations in lighting and image quality, while
palmprint systems struggle with illumination changes, rotation, and scale variations, particularly in
contactless environments.
To address these challenges, we propose a series of experiments. First, we develop unimodal
systems for each modality, evaluating their performance using transfer learning with three CNN
models (VGG16, VGG19, and MobileNetV2). The best-performing model, MobileNetV2, is selected
to extract more relevant features, and we fine-tune the top layers of the model. Additionally, we
enhance the images using preprocessing techniques such as histogram equalization and
contrast-limited adaptive histogram equalization (CLAHE). To account for potential issues like
injuries or dirt, we propose leveraging information from both the left and right instances of each
modality. This system is further evaluated by replacing the classifier with machine learning classifiers.
All experiments are conducted under three protocols: Protocol 1 (P1), which uses 70% of the dataset
for training and the remaining 30% for testing; Protocol 2 (P2), which uses 50% for training and the
remaining 50% for testing; and Protocol 3 (P3), which uses 90% for training and the remaining 10%
for testing. For finger vein recognition, we utilize the SDUMLA and FV-USM datasets, achieving
first-rank accuracies of 99.57%, 97.58%, and 99.76% for SDUMLA and 99.90%, 99.60%, and
99.80% for FV-USM. For palmprint recognition, we employ the CASIA and IIT Delhi datasets,
achieving accuracies of 99.13%, 99.69%, and 100% for CASIA and 99.46%, 98.50%, and 99.35% for
IIT Delhi.
Next, we preprocess finger vein and palmprint images to enhance system performance. For
multimodal recognition, we propose a method to isolate the region of interest (ROI) from raw images,
improve image quality using techniques such as CLAHE and data augmentation, and extract features
from both modalities. These features are concatenated and fed into machine learning classifiers. To
further improve performance, we apply score-level fusion using the outputs of MobileNetV2 and the
classifiers. Experiments are conducted using the SDUMLA-HMT dataset for finger vein recognition
and the IIT Delhi dataset for palmprint recognition. Three protocols (P1, P2, and P3) are evaluated.
For finger vein recognition, first-rank accuracy rates reach 97.88%, 98.27%, and 99.06% for the left
finger vein and 97.41%, 96.23%, and 97.64% for the right finger vein across the three protocols.
Palmprint recognition achieves first-rank accuracies of 98.35%, 96.70%, and 99.06% for the left
palmprint and 99.06%, 95.30%, and 99.50% for the right palmprint. The P3 protocol consistently
demonstrates the highest performance.
The proposed multimodal fusion approach achieves perfect recognition accuracy (100%) at both
feature and score levels, significantly outperforming unimodal methods across all protocols. This
superior performance is measured in precision, recall, F1 score, AUC, R1, and R5 metrics, with the
fusion system consistently achieving optimal results. These findings underscore the effectiveness of
our multimodal approach in enhancing the accuracy and reliability of biometric recognition systems.
Description
لقد برز التعرف البيومتري المتعدد الوسائط كنهج قوي لتعزيز أداء التعرف من خلال الاستفادة من مصادر بيانات متعددة. تدرس
هذه الأطروحة الأنظمة أحادية الوسائط ومتعددة الوسائط، مع التركيز على التعرف على أوردة الإصبع وبصمات اليد، وهي طرق
آمنة وموثوقة للغاية بسبب خصائصها الفريدة ومقاومتها للتزوير. إن أنماط أوردة الإصبع، الموجودة تحت الجلد، غير مرئية للعين
ويصعب تكرارها، مما يجعلها مثالية للتطبيقات عالية الأمان مثل التحكم في الوصول والمعاملات المالية. وبالمثل، يعتمد التعرف
على بصمات اليد على الأنماط المميزة للخطوط والتجاعيد والملمس على راحة اليد، والتي تظل ثابتة طوال حياة الفرد، حتى بين
التوائم المتطابقة. ومع ذلك، يواجه كلا الطريقتين تحديات: يتأثر التعرف على أوردة الإصبع باختلافات في الإضاءة وجودة
الصورة، بينما تكافح أنظمة بصمات اليد مع تغييرات الإضاءة والدوران واختلافات الحجم، خاصة في البيئات غير التلامسية.
ولمعالجة هذه التحديات، نقترح سلسلة من التجارب. أولاً، نقوم بتطوير أنظمة أحادية النمط لكل نمط، وتقييم أدائها باستخدام التعلم
،MobileNetV يتم اختيار النموذج الأفضل أداءً، 2 MobileNetV و 2 VGG و 19 VGG الانتقالي مع ثلاثة نماذج 16
لاستخراج المزيد من الميزات ذات الصلة، ونقوم بضبط الطبقات العليا من النموذج. بالإضافة إلى ذلك، نقوم بتعزيز الصور
contrast-limited adaptive histogram و histogram equalization باستخدام تقنيات المعالجة المسبقة مثل
لمراعاة المشكلات المحتملة مثل الإصابات أو الأوساخ، نقترح الاستفادة من المعلومات من كل من .equalization CLAHE
الحالات اليمنى واليسرى لكل نمط. يتم تقييم هذا النظام بشكل أكبر عن طريق استبدال المصنف بمصنفات التعلم الآلي. يتم إجراء
٪ والذي يستخدم 70 ٪ من مجموعة البيانات للتدريب و 30 ،)P1( جميع التجارب بموجب ثلاثة بروتوكولات: البروتوكول 1
والذي ،)P3( والذي يستخدم 50 ٪ للتدريب و 50 ٪ المتبقية للاختبار؛ والبروتوكول 3 ،)P2( المتبقية للاختبار؛ البروتوكول 2
SDUMLA يستخدم 90 % للتدريب وال 10 % المتبقية للاختبار. للتعرف على أوردة الإصبع، نستخدم مجموعات بيانات
% و 99.90 SDUMLA ونحقق دقة من الدرجة الأولى بنسبة 99.57 % و 97.58 % و 99.76 % ل ،FV-USM و
ونحقق ،IIT Delhi و CASIA للتعرف على بصمات اليد، نستخدم مجموعات بيانات .FV-USM و 99.60 % و 99.80 % ل
.IIT Delhi و 99.46 % و 98.50 % و 99.35 % ل CASIA دقة 99.13 % و 99.69 % و 100 % ل
بعد ذلك، نقوم بمعالجة مسبقة لصور أوردة الإصبع وبصمات اليد لتحسين أداء النظام. للتعرف المتعدد الوسائط، نقترح طريقة لعزل
وزيادة البيانات، واستخراج CLAHE من الصور الخام، وتحسين جودة الصورة باستخدام تقنيات مثل )ROI( منطقة الاهتمام
الميزات من كلتا الطريقتين. يتم ربط هذه الميزات وإدخالها في مصنفات التعلم الآلي. لتحسين الأداء بشكل أكبر، نطبق دمج مستوى
SDUMLA-HMT والمصنفات. يتم إجراء التجارب باستخدام مجموعة بيانات MobileNetV النتيجة باستخدام مخرجات 2
.)P و 3 P و 2 P للتعرف على بصمة اليد. يتم تقييم ثلاثة بروتوكولات ) 1 IIT Delhi للتعرف على أوردة الإصبع ومجموعة بيانات
بالنسبة للتعرف على أوردة الإصبع، تصل معدلات الدقة من الدرجة الأولى إلى 97.88 ٪ و 98.27 ٪ و 99.06 ٪ لوريد الإصبع
الأيسر و 97.41 ٪ و 96.23 ٪ و 97.64 ٪ لوريد الإصبع الأيمن عبر البروتوكولات الثلاثة. يحقق التعرف على بصمة اليد دقة من
الدرجة الأولى بنسبة 98.35 % و 96.70 % و 99.06 % لبصمة اليد اليسرى و 99.06 % و 95.30 % و 99.50 % لبصمة اليد
باستمرار أعلى أداء. P اليمنى. يُظهِر بروتوكول 3
يحقق نهج الاندماج المتعدد الوسائط المقترح دقة التعرف المثالية ) 100 %( على مستوى السمات والدرجات، متفوقًا بشكل كبير
R و 1 AUC و F على الطرق أحادية النمط عبر جميع البروتوكولات. يتم قياس هذا الأداء المتفوق من حيث الدقة والتذكر ودرجة 1
مع تحقيق نظام الاندماج باستمرار لنتائج مثالية. تؤكد هذه النتائج على فعالية نهجنا المتعدد الوسائط في تعزيز دقة وموثوقية ،R و 5
أنظمة التعرف البيومترية.
Keywords
Multimodal, Finger Vein, Palmprint, Unimodal, Feature fusion, Score fusion., متعدد الوسائط، وريد الإصبع، وبصمة اليد، أحادي النمط، اندماج السمات، اندماج الدرجات