LAION مجموعهداده ویدیویی بزرگ خود، Big Video Dataset (BVD)، را منتشر کرد. فرایند ساخت مجموعه از استخراج 1.3 میلیارد آدرس ویدیویی از Common Crawl آغاز شد و پس از دانلود حدود 80,000,000 ویدیو، حجم نهایی معادل 10,000,000 ساعت محتوا گزارش شده است. از این منابع، تیم LAION 55,000,000 کلیپ همراه با توضیحات خودکار برای ویدیو و صوت و همچنین 300,000,000 تصویر ثابت استخراج کرده است.
محتوای کلیدی مجموعهداده ویدیویی BVD
BVD مجموعهای وسیع از ویدیوها و کلیپهای کوتاه است که هر مورد با متن و برچسبهای صوتی خودکار همراه شده تا آموزش مدلهای چندرسانهای را تسهیل کند. بخشهای اصلی مجموعه شامل موارد زیر است:
- 55,000,000 کلیپ ویدیویی کوتاه با توضیحات متنی و برچسبهای صوتی
- 300,000,000 فریم یا تصاویر ایستا استخراجشده از ویدیوها
- متادیتا و شاخصهای قابل جستجو برای بازیابی و نمونهگیری
- کد استخراج و ابزارهای مرتبط بهصورت متنباز
عملکرد مدلها پس از آموزش با BVD
نتایج منتشرشده نشان میدهد مدلهایی که با BVD آموزش دیدهاند، در بنچمارکهای تبدیل ویدیو به متن تا 2.1 واحد درصد نسبت به مدلهای مبتنی بر مجموعه InternVid عملکرد بهتر دارند. عامل کلیدی این پیشرفت، آموزش همزمان ویدیو، صوت و متن است که به مدل اجازه میدهد همبستگی دقیقتری بین محتوای بصری، توصیفها و مؤلفههای صوتی بیاموزد.
ملاحظات حقوقی و اخلاقی
LAION اعلام کرده که دسترسی به BVD صرفاً برای پژوهشهای غیرتجاری فراهم شده و از کاربران خواسته شده به حقوق خالقان محتوا احترام بگذارند. از منظر حقوقی، این نهاد میتواند به حکم دادگاه منطقهای هامبورگ در 2024 استناد کند که جمعآوری محتوای دارای حق مؤلف برای پژوهش غیرتجاری را مجاز دانسته است. با این حال مسئولیت رعایت قوانین محلی و حقوق نشر هنگام استفاده از دادهها بر عهده پژوهشگر یا مؤسسه استفادهکننده است.
نحوه دسترسی و کاربردها
مجموعهداده و کدهای مرتبط بهصورت آزاد قابل دانلود هستند و کاربردهای متداول شامل موارد زیر است:
- آموزش و ارزیابی مدلهای چندرسانهای و تبدیل ویدیو به متن
- جستجوی محتوای ویدیویی و بازیابی فریمهای مرتبط
- تحلیل صوت و تصویر و توسعه سامانههای شناسایی رویداد یا احساسات
- توسعه دیتاستهای پیادهسازی و آزمایشی برای پژوهش غیرتجاری
برای دانلود مجموعه و مطالعه مستندات، میتوان از منابع رسمی LAION در سایت LAION و پیشچاپهای مرتبط در arXiv استفاده کرد.
پرسشهای کلیدی پیش رو
- چگونه میتوان حفاظت از حریم خصوصی و اخلاقیات را در مجموعههای ویدیویی وسیعتر تضمین کرد؟
- چه محدودیتهای قانونی و اخلاقی باید هنگام بهرهبرداری از BVD برای اهداف تجاری رعایت شود؟
- آیا افزایش مقیاس دادههای ویدیویی میتواند به پیشرفتهای مشابه در پردازش صوت یا تحلیل احساسات منجر شود؟
انتشار مجموعهداده ویدیویی BVD گامی مهم در پژوهشهای چندرسانهای محسوب میشود؛ تأثیر واقعی این مجموعه زمانی روشن خواهد شد که پژوهشگران و توسعهدهندگان با رعایت اصول حقوقی و اخلاقی، روشهای نوآورانهای برای بهرهبرداری از آن ارائه دهند. دسترسی آزاد به چنین منابعی فرصت گستردهای برای شکلدهی نسل بعدی مدلهای چندرسانهای فراهم میآورد.
