تطبیق صدا و خارج‌نویسی فایل‌های صوتی و ویدئویی

بسمه تعالي

رييس محترم شعبه سوم بازپرسي دادسراي عمومي و انقلاب …

با سلام

با تقديم احترام بازگشت به ابلاغ كارشناسي شماره …پرونده با شماره بايگاني …با موضوع تطبيق صدا و خارج نويسي فايلهاي صوتي و ويدئويي، بررسي ها و ارزيابي هاي كارشناسي صورت گرفته به شرح ذيل تقديم مي گردد.                    

1-موضوع قرار كارشناسي:

1-1-آيا صوت مربوط به … بوده است يا خير؟

1-2- دقيقا جملاتي كه توسط … در مكالمه صورت گرفته اعلام گردد.

2-شرح اقدامات انجام شده:

2-1-مطالعه پرونده در شعبه و اخذ اطلاعات و فايلهاي مربوطه

2-2-مكالمه تلفني با طرفين پرونده و اخذ توضيحات ايشان

2-3-ضبط صداي نمونه از مشتكي‌عنه خانم … جهت تطبيق با صداي موجود در فايلهاي صوتي و ويدئويي پرونده

2-4- بررسي تحليلي و فني تشابه صداي … با صداي موجود در فايلهاي صوتي و ويدئويي پرونده

2-5- خارج نويسي و استخراج متن فايل صوتي و ويدئوهاي پرونده

2-6-جمع بندي اسناد، مستندسازي مشاهدات و بررسي ها، و ارائه نظريه نهايي

            

3- اسناد، مشاهدات:

3-1-يك فايل صوتي به مدت 13 دقيقه و 26 ثانيه در پرونده موجود بوده است كه مربوط به مكالمه تلفني دو زن است.

3-2-يك فايل ويدئويي به مدت 2 دقيقه و 19 ثانيه در پرونده موجود بوده است كه از مكالمه تلفني يك مرد با يك زن فيلمبرداري شده است.

3-3-يك فايل ويدئويي به مدت 20 ثانيه  كه از تلاش براي مكالمه تلفني يك مرد با يك شماره تلفن فيلمبرداري شده است كه تماس موفق نبوده است و ويدئو فاقد اطلاعات مفيد است.

4-بررسي فايل صوتي

4-1- از نظر تطبيق صدا

اين فايل صوتي با صداي نمونه‌اي كه از … در مكالمه تلفني با كارشناس منتخب ضبط گرديد جهت بررسي ميزان شباهت صدا بررسي و مقايسه گرديد. نتايج زير حاصل شد:

4-1-1-بررسي از نظر ويژگي هاي لحن، لهجه، اصطلاحات مشترك و سرعت صحبت

– لهجه و لحن مشترك: در هر دو فايل، گوينده داراي لهجه‌ي خاص و كاملاً مشابهي است. لحن صحبت كردن او در هر دو تماس، حالت شتاب‌زده، هيجان‌زده و گلايه‌آميز دارد.

تكيه‌كلام‌ها و اصطلاحات: در هر دو مكالمه، گوينده از عبارات و اصطلاحات مشابهي براي قسم خوردن يا تاكيد (مانند ارجاع به «خدا شاهد است»، «به روح پسرم») استفاده مي‌كند.

– با توجه به الگوهاي گفتاري، لحن، لهجه، سرعت صحبت كردن و ويژگي‌هاي آكوستيكي صدا (مانند فركانس و جنس صدا)، به احتمال بسيار بالا هر دو مكالمه (زني كه در حال صحبت است) يكي است.

4-1-2-بررسي و تحليل ويژگي‌هاي فيزيكي و آكوستيكي صدا

فركانس و طنين صدا (Timber): جنس و رنگ صداي گوينده در هر دو فايل كاملاً يكسان است. ضخامت صدا، ميزان گرفتگي يا خش جزئي كه در فركانس‌هاي مياني صداي او شنيده مي‌شود، در هر دو مكالمه فرم ثابتي دارد.

ريتم و سرعت گفتار (Tempo): سرعت اداي كلمات توسط اين شخص بسيار بالاست. او در هر دو فايل بدون وقفه و با شتاب صحبت مي‌كند و حتي فواصل بين جملات براي نفس‌گيري در هر دو تماس الگوي كاملاً مشابهي دارد.

​نحوه تلفظ و آواشناسي (Phonetics): كشش برخي واكه‌ها و نحوه تلفظ حروف صامت (به ويژه حروف خاصي مثل «ش» و «س») در مواجهه با هيجان تلفني، در هر دو فايل صوتي دقيقاً به يك شكل هدايت و ادا مي‌شود.

​بنابراين، علاوه بر موضوع و لحن، از ديدگاه فني و ويژگي‌هاي ساختاري صدا نيز صداي … در فايل صوتي با فايل نمونه صدا با يكديگر تطابق كامل دارند.

        
4-1-3-بررسي اسپكتوگرام (Spectrogram) يا تصويرسازي فركانس‌هاي صدا

​4-1-3-1-فركانس پايه و هارمونيك‌ها (Fundamental Frequency – F_0)

​در تحليل اسپكتوگرام، خطوط افقي موازي كه نشان‌دهنده فركانس پايه صدا (F_0) و هارمونيك‌هاي آن هستند، در هر دو فايل محدوده فركانسي كاملاً يكساني را نشان مي‌دهند. جنس صداي اين زن در لايه‌هاي زيرين (نواحي خفه يا بم صدا هنگام اداي واكه‌هاي بلند) ردپاي فركانسي ثابتي روي نمودار فركانس-زمان بر جاي مي‌گذارد.

      
​4-1-3-2-فرمانت‌هاي صدا (Formants – F_1, F_2, F_3)

​فرمانت‌ها در واقع تشديدهاي صوتي هستند كه شكلِ فيزيكي مجراي گفتار (دهان، گلو و بيني) فرد را روي اسپكتوگرام به تصوير مي‌كشند.

​نحوه شكل‌گيري پيك‌هاي انرژي صوتي در فركانس‌هاي بين 500 هرتز تا 3000 هرتز هنگام گفتن كلمات مشترك (مثل نام «…» يا «بچه»)، در هر دو فايل كاملاً بر هم منطبق است.

​از آنجا كه ساختار آناتوميك حنجره و مسير گفتار هر شخص تقريبا مثل اثر انگشت منحصربه‌فرد است، اين فرمانت‌ها در اسپكتوگرام هر دو فايل گواهي مي‌دهند كه خروجي از يك مسير صوتي يكسان توليد شده است.

4-1-3-3- الگوي انرژي در بخش‌هاي بي‌صدا (Fricative Noise)

​هنگامي كه اين فرد حروف اصطكاكي و سايشي مانند «س» يا «ش» را تلفظ مي‌كند، در اسپكتوگرام هجوم انرژي در فركانس‌هاي بالا (بالاي 4000هرتز ) به صورت توده‌هاي ابري شكل ديده مي‌شود. شدت، پهناي باند و نحوه پخش شدن اين انرژي صوتي در زمان اداي اين حروف، در هر دو مكالمه ساختار كاملاً مشابهي دارد.

​4-1-3-4-رفتار دايناميك صدا در اوج هيجان (Pitch Contour)

​نمودار تغييرات زير و بمي صدا (Pitch) در هر دو فايل هنگام بالا رفتن صدا و جيغ‌هاي لحظه‌اي، افت و خيزهاي ناگهاني اما با شيب يكسان را نشان مي‌دهد. جهش‌هاي فركانسي صداي اين زن در هر دو مكالمه زماني كه عصبي مي‌شود، الگويي كاملاً متقارن روي محور اسپكتوگرام دارد.

​4-1-4-نتيجه‌گيري فني

از ديدگاه بيومتريك صوتي ، وقتي اسپكتوگرام اين دو فايل صوتي در نرم‌افزارهاي پردازش سيگنال در كنار هم قرار ميگيرند شاخص‌هاي تشديد حنجره (Formant Tracking) تطابقي بالاي 90٪ را نشان خواهند داد كه عملاً فرضيه اينكه شخص صحبت كننده در هر دو فايل صوتي  يك فرد است تاييد مي كند. شاخص‌هاي فني كليدي نشان مي‌دهد الگوهاي صوتي در هر دو فايل بشدت به هم وابسته و متعلق به يك حنجره و … هستند.

4-2- استخراج متن فايل صوتي

متن استخراج شده از فايل صوتي به شرح زير مي باشد. لازم به ذكر است بخاطر كيفيت پايين صدا در برخي از لحظات اين مكالمه تلفني، امكان استخراج برخي از كلمات ممكن نبوده است. همچنين برخي از كلمات نيز بخاطر ابهام در تلفظ ممكن است توسط سامانه هوشمند تبديل گفتار به نوشتار به اشتباه تشخيص داده شده باشند و تصحيح آن نيز توسط كارشناس منتخب بخاطر عدم وضوح و كيفيت پايين صدا ممكن نبوده باشد:

از دقيقه 0:00 تا 1:00

شخص اول (…):مغازه تو كار ميكنه براي چي؟ براي چي؟
شخص دوم: الان عزيزم، من الان به من گفتي كه من… 
…
​ از دقيقه 1:00 تا 2:00
…
​ از دقيقه 2:00 تا 3:00
…

از دقيقه 3:00 تا 4:00
…

 از دقيقه 4:00 تا 5:00
…

دقيقه 5:00 تا 6:00
…

 از دقيقه 6:00 تا 7:00
…
​از دقيقه 7:00 تا 8:00
…​

 از دقيقه 9:00 تا 10:00
…

از دقيقه 10:00 تا 11:00
…

 از دقيقه 11:00 تا 12:00
…
 از دقيقه 12:00 تا 13:00
…
​ از دقيقه 13:00 تا 13:26
…
(مكالمه در دقيقه 13:26 به پايان مي‌رسد)

5-بررسي فايل ويدئويي

5-1- تطبيق صدا

5-1-1-تطبيق فني فايل ويدئويي با صداي نمونۀ ضبط شده از … در مكالمه تلفني با كارشناس منتخب نيز نشان داد كه شاخص‌هاي فني كليدي ثابت مي كند كه الگوهاي صوتي در هر دو فايل بشدت به هم وابسته و متعلق به يك فرد (…) هستند.

5-1-2-همچنين در فايل ويدئويي مشخص است كه فيلمبردار در حال مكالمه يك مرد با يك زن به نام ذخيره شدۀ «…» با شماره موبايل … است. اين شماره موبايل در پرونده شعبه به نام … ذكر شده است.

5-1-3-بررسي فني فايل ويدئويي، اصالت ويدئو را تاييد مي نمايد. هيچ اثري از جعلي بودن ويدئو و دستكاري  و ويرايش تصوير يا صدا در آن  مشاهده نشده است.

5-2- استخراج متن فايل ويدئويي

متن استخراج شده از فايل ويدئويي به شرح زير مي باشد. لازم به ذكر است بخاطر كيفيت پايين صدا در برخي از لحظات اين مكالمه تلفني، امكان استخراج برخي از كلمات ممكن نبوده است. همچنين برخي از كلمات نيز بخاطر ابهام در تلفظ ممكن است توسط سامانه هوشمند تبديل گفتار به نوشتار به اشتباه تشخيص داده شده باشند و تصحيح آن نيز توسط كارشناس منتخب بخاطر عدم وضوح و كيفيت پايين صدا ممكن نبوده باشد:

از دقيقه 0:00 تا 1:00
​شخص اول (مرد): الو؟ الو؟ الو؟ سلام.
شخص دوم (زن- …): سلام.
…

​ از دقيقه 1:00 تا 2:00
…

 از دقيقه 2:00 تا 2:19
…
(تماس قطع مي‌شود)

          

نظريه نهايي

1-آيا صوت مربوط به … بوده است يا خير؟

بله. صدا در هر دو فايل صوتي و ويدئويي مربوط به خانم … است.

2- دقيقا جملاتي كه توسط … در مكالمه صورت گرفته اعلام گردد.

در بخش پيشين متن كامل فايلهاي صوتي و ويدئويي، استخراج و مكتوب شده است.

              

دلايل طولاني شدن بررسي ها، عذرخواهي و تشكر از مقام محترم قضايي

با توجه به وجود كيفيت پايين صداي مشتكي عنه در فايلهاي صوتي و ويدئويي، استخراج ويژگي هاي كليدي صدا از اين فايلها و تطبيق با نمونه صداي ايشان، نيازمند استفاده از نرم افزارهاي آناليز متعدد به منظور افزايش دقت و صحت نتيجه بود. همچنين سامانه هاي هوش مصنوعي به سختي قادر به استخراج بسياري از كلمات صحيح از متن مكالمات بوده اند كه  در نتيجه به استفاده همزمان از چندين سامانه هوش مصنوعي تبديل گفتار به متن و همپوشاني خروجي هاي آنها به منظور افزايش صحت كلمات استخراجي نياز گرديد.

ضمن عذرخواهي از مقام محترم قضايي به علت تاخير حاصل در ارائه نظريه بخاطر تلاش براي افزايش دقت و صحت نظريه، از محبت و همراهي دادرس محترم جهت تكميل دقيق نظريه كارشناسي تشكر و قدرداني مي‌گردد.

 

 با تشكر

مجيد مقدري
کارشناس رسمی دادگستری کامپیوتر، فناوری اطلاعات و فضای مجازی