کتابخانه
@mediapipe/tasks-vision بسته جاوااسکریپتی گوگله که کارهای بینایی ماشین رو مستقیم توی مرورگر انجام می ده؛ از تشخیص چهره و ردیابی دست و بدن تا تشخیص اشیا، دسته بندی تصویر و جداسازی بخش های عکس. اگه می خوای تصویر یا دوربین کاربر رو بدون سرور جدا و روی خود دستگاهش پردازش کنی، گزینه خوبیه.
نسخه رسمی و بدون تغییر، از منبع رسمی با مجوز Apache-2.0؛ هش هر فایل با منبع بررسی شده است.
۳۹٫۲ مگابایت· ۱۰ فایل· انتشار
SHA-256: f0872a70b45c5bb7bdb8b497eb5011057064c797a988caccb4eac46ab79d3dc4
@mediapipe/tasks-vision بخش بینایی ماشین از مجموعه MediaPipe Tasks گوگله که به شکل بسته npm منتشر شده و مجوزش آپاچیه. تصویر یا ویدیو رو همون توی مرورگر تحلیل می کنه. هسته اش با WebAssembly اجرا می شه و بسته به دستگاه می تونه از GPU هم کمک بگیره، برای همین به سرور پردازشی جدا نیازی نداری.
کارهایی که باهاش می شه کرد این هاست: تشخیص چهره و نقاط کلیدی صورت، ردیابی دست و تشخیص اشاره، ردیابی حالت بدن، تشخیص اشیا، دسته بندی تصویر و جداسازی بخش های مختلف عکس. چند مثال واقعی: فروشگاه عینکی که می خواد مشتری عینک رو با دوربین روی صورت خودش ببینه، یه صفحه آموزشی که حرکت ورزشی رو دنبال می کنه، یا یه ارائه آنلاین که با اشاره دست اسلاید عوض می شه. چون پردازش سمت کاربر انجام می شه، لازم نیست هر فریم دوربین رو به سرورت بفرستی و فشار روی پهنای باند و CPU سرور هم بالا نمی ره.
ولی همه جا به کار نمی آد. اگه سایتت فقط محتوا و فرم داره، این بسته فقط حجم اضافه می کنه. روی گوشی های ضعیف هم ممکنه تجربه روون نباشه، پس قبل از انتشار روی چند دستگاه معمولی تستش کن. یه نکته دیگه: این کتابخونه چهره رو پیدا می کنه و نقاطش رو مشخص می کنه، ولی هویت آدم ها رو تشخیص نمی ده. اگه سناریوی احراز هویت داری، باید سراغ راه حل دیگه ای بری. دسترسی به دوربین هم توی مرورگرها معمولا فقط روی صفحه های HTTPS کار می کنه، و بهتره به کاربر بگی دوربین برای چی روشن می شه.
برای سایت های ایرانی یه نکته از همه مهم تره: خود بسته فقط بخشی از ماجراست. برای اجرا، فایل های WebAssembly و یه فایل مدل جدا (مثلا مدل تشخیص دست یا چهره) هم لازم داری. توی نمونه های رسمی این فایل ها معمولا از سرویس های خارجی لود می شن و وقتی اینترنت بین الملل مختل بشه، قابلیتت از کار می افته. بهترین کار اینه که همه رو روی هاست خودت بذاری. نسخه های رسمی و بدون تغییر این بسته توی مخزن داخلی ما هم در دسترسه، پس برای گرفتنش لازم نیست به npm بین المللی وصل باشی.
کد آماده پایین همین صفحه هست. مراحل کلی کار اینه:
چند نکته هم یادت باشه. اجرا رو می شه روی GPU یا CPU تنظیم کرد؛ اگه روی بعضی دستگاه ها مشکل داشت، CPU رو امتحان کن. سایت رو روی HTTPS بالا بیار تا دوربین کار کنه. و اگه چند قابلیت لازم نداری، فقط همونی رو بساز که لازمه تا مصرف منابع بالا نره.
یه کتابخونه جاوااسکریپت از گوگله که تصویر و ویدیو رو توی مرورگر تحلیل می کنه. باهاش می تونی چهره، دست، حالت بدن و اشیا رو تشخیص بدی، تصویر رو دسته بندی کنی یا بخش های عکس رو جدا کنی، بدون اینکه تصویر رو برای پردازش به سرور بفرستی.
بله، به شرطی که همه چیز رو روی هاست خودت بذاری. خود پردازش روی دستگاه کاربر انجام می شه، ولی فایل های WebAssembly و فایل مدل باید از مسیر داخلی لود بشن. اگه به آدرس های خارجی وابسته بمونی، با محدودیت اینترنت قابلیت از کار می افته.
نه. علاوه بر خود بسته، به فایل های WebAssembly و برای هر کار به یه فایل مدل جدا هم نیاز داری. مثلا برای تشخیص دست، مدل مخصوص دست لازمه. این فایل ها رو هم مثل بقیه فایل های سایت روی هاست بذار و مسیرشون رو توی کد بده.
نه، کار اصلی این کتابخونه شناسایی هویت نیست. چهره رو پیدا می کنه و نقاط کلیدیش رو مشخص می کنه، ولی نمی گه این آدم کیه. برای احراز هویت یا تطبیق چهره باید سراغ راه حل مخصوص همون کار بری و قوانین مربوط به داده های شخصی رو هم در نظر بگیری.
توی مرورگرهای مدرن موبایل معمولا اجرا می شه، ولی سرعتش به قدرت گوشی بستگی داره. روی دستگاه های ضعیف ممکنه فریم ریت پایین بیاد. قبل از انتشار روی چند گوشی معمولی تست کن و اگه لازم شد، اندازه تصویر ورودی یا تعداد فریم های پردازش شده در ثانیه رو کم کن.
نام کتابخانه، افزونه یا قالب را بفرستید؛ پس از بررسی، نسخه‌های رسمی آن به مخزن اضافه می‌شود.