Google-მა I/O 2023-ზე წარადგინა პროექტი Gameface – ღია კოდის მქონე, ხელების გარეშე თამაშის “მაუსი”.
ის ადამიანებს საშუალებას აძლევს მართონ კომპიუტერის კურსორი თავის მოძრაობისა და სახის ჟესტების გამოყენებით.
ამ წელს კომპანიამ კიდევ უფრო განავითარა პროექტი Gameface.
გახსნა მისი კოდის დიდი ნაწილი და შესაძლებელი გახადა Android აპლიკაციების შექმნა ამ ინოვაციური ტექნოლოგიის გამოყენებით.
როგორ მუშაობს პროექტი Gameface?
პროექტი Gameface იყენებს თავის მოძრაობას კურსორის გადასაადგილებლად და სახის გამომეტყველებას “დაწკაპუნებისა” და “გადათრევის” მოქმედებების შესასრულებლად.
ინსტრუმენტი ეყრდნობა ტელეფონის წინა კამერას, რომელიც აფიქსირებს სახის მიმიკებსა და თავის მოძრაობებს, რათა მართოს ვირტუალური კურსორი.
მომხმარებლებს შეუძლიათ მაგალითად, გაიღიმონ ეკრანზე ელემენტების ასარჩევად ან აწიონ მარცხენა წარბი Android-ის მთავარ ეკრანზე დასაბრუნებლად.
პროექტი Gameface ასევე შეიცავს მორგებად პარამეტრებს, რაც მომხმარებლებს აძლევს საშუალებას დააყენონ ზღვრები ან ჟესტების ზომები.
ეს იმისთვის, რომ განსაზღვრონ რამდენად მკვეთრი უნდა იყოს თითოეული გამომეტყველება მაუსის კონკრეტული ქმედების გამოსაწვევად.
როგორ შეიქმნა Gameface?
Google-ის პროექტი Gameface-ის შექმნა დაიწყო კვადრიპლეგიური ვიდეო თამაშების სტრიმერის, ლანს კარის ისტორიით.
ლანსს აქვს კუნთოვანი დისტროფია – პროგრესირებადი დაავადება, რომელიც თანდათან ასუსტებს კუნთებს.
მიუხედავად ამ გამოწვევისა, ის მაინც ახერხებდა ვიდეო თამაშების სტრიმინგს სპეციალური, თავით მართვადი მაუსის გამოყენებით.
სამწუხაროდ, ხანძარმა გაანადგურა ლანსის სახლი და ძვირადღირებული აღჭურვილობა, რაც მას სტრიმინგისთვის ჰქონდა გამოყენებული.
ამ ამბავმა Google-ის ინჟინრების ყურადღება მიიპყრო და მათ გადაწყვიტეს, რომ ლანსისთვის დახმარების ხელი გაეწოდებინათ.
Google-მა დაიწყო მუშაობა ინოვაციურ გადაწყვეტაზე, რომელიც ლანსს და სხვა ადამიანებს მისცემდა საშუალებას, ეთამაშათ და ესტრიმინგათ ვიდეო თამაშები ხელების გამოყენების გარეშე.
ასე დაიბადა პროექტი Gameface – სახის გამომეტყველებასა და თავის მოძრაობაზე დაფუძნებული მართვის სისტემა.
პროექტის ადრეულ ეტაპზე, Google-ის გუნდი მჭიდროდ თანამშრომლობდა ლანსთან, რათა შეემუშავებინათ სისტემა, რომელიც მაქსიმალურად მოერგებოდა მომხმარებლის საჭიროებებს.
ისინი იყენებდნენ ვებ კამერას სახის მიმიკებისა და თავის მოძრაობების ამოსაცნობად.
მაგრამ მალევე მიხვდნენ, რომ ამ ტექნოლოგიას ბევრად უფრო ფართო გამოყენება შეიძლებოდა ჰქონოდა.
Project Gameface-ის განვითარებისთვის Google-მა გამოიყენა თავისი MediaPipe machine learning ფრეიმვორკი, კერძოდ მისი Face Landmarks Detection API.
რომელსაც შეუძლია 478 სამგანზომილებიანი სახის ორიენტირისა და 52 სახის გამომეტყველების ქულის ამოცნობა რეალურ დროში.
ეს ტექნოლოგია საშუალებას აძლევს ნებისმიერ დეველოპერს შექმნას დეტალური სახის მოდელი და გამოიყენოს იგი ჟესტებით სამართავად.
მაუსის და კლავიატურის კონტროლის განსახორციელებლად გუნდმა გამოიყენა PyAutoGUI და PyDirectInput ბიბლიოთეკები.
მათ ასევე მოირგეს პარამეტრები მომხმარებლის კომფორტის გასაზრდელად და მოქნილობის მისაცემად.
მაგალითად შესაძლებელი გახადეს კურსორის სიჩქარის, სიზუსტის თუ ჟესტების ზომის რეგულირება.
პროექტის საბოლოო ვერსია მოიცავდა ინტუიტიურ სამომხმარებლო ინტერფეისს, შექმნილს CustomTkinter-ის გამოყენებით Python-ში.
UI დიზაინის პროცესშიც Google-ი აქტიურად ითვალისწინებდა ლანსის გამოხმაურებას, რათა შედეგი მაქსიმალურად მოსახერხებელი ყოფილიყო შეზღუდული შესაძლებლობების მქონე მომხმარებლებისთვის.
Project Gameface-ის კოდი ღიად ხელმისაწვდომია GitHub-ზე, რაც ნებისმიერ დაინტერესებულ დეველოპერს საშუალებას აძლევს გამოიყენოს, მოირგოს და გააუმჯობესოს იგი.
Google აქტიურად უჭერს მხარს ამგვარ ინიციატივებს, რადგან სწამს, რომ ღია კოლაბორაცია და ცოდნის გაზიარება არის გზა უფრო ინკლუზიური ტექნოლოგიური მომავლისკენ.
ზოგიერთი პოტენციური გამოყენების მაგალითი:
- ვიდეო თამაშები, რომლებიც სრულად ადაპტირებული იქნება სახის გამომეტყველებით და თავის მოძრაობებით სამართავად, რაც მათ უფრო ხელმისაწვდომს გახდის შშმ პირებისთვის.
- განათლების აპლიკაციები, რომლებიც საშუალებას მისცემს მოსწავლეებს და სტუდენტებს ისწავლონ ხელების გამოყენების გარეშე, რაც სასარგებლო იქნება მათთვის, ვისაც აქვს მოძრაობის შეზღუდვები.
- კომუნიკაციის ინსტრუმენტები, რომლებიც დაეხმარება შეზღუდული შესაძლებლობების მქონე პირებს გაამარტივონ ინტერაქცია კომპიუტერებთან და მობილურ მოწყობილობებთან.
- ჯანდაცვის აპლიკაციები, მაგალითად რეაბილიტაციის ან ფიზიკური თერაპიის ინტერაქტიული პროგრამები, სადაც პაციენტები სახის გამომეტყველებით და თავის მოძრაობით შეძლებენ სავარჯიშო პროცესში ჩართვას.
- ხელოვნების და შემოქმედებითი პროექტები, რომლებიც საშუალებას მისცემს შეზღუდული მოტორული ფუნქციების მქონე ხელოვანებს, შექმნან ნამუშევრები ან მიიღონ მონაწილეობა ინტერაქტიულ ინსტალაციებში.
აღსანიშნავია, რომ ყველა ზემოთ ჩამოთვლილი პოტენციური გამოყენება ჯერჯერობით თეორიულ დონეზეა და დამოკიდებულია დეველოპერთა კრეატიულობასა და ინიციატივაზე.
რატომ არის ეს ტექნოლოგია მნიშვნელოვანი?
Project Gameface Google-ის მნიშვნელოვანი ნაბიჯია ტექნოლოგიების უფრო ინკლუზიურად ქცევისა და შეზღუდული შესაძლებლობების მქონე პირთათვის ციფრულ სამყაროზე წვდომის გაუმჯობესების გზაზე.
- სახის გამომეტყველებით მართვა არამხოლოდ გაამარტივებს კომპიუტერულ თამაშებს, არამედ გახსნის ახალ შესაძლებლობებს განათლების, კომუნიკაციისა და დასაქმების სფეროებში.
- ღია კოდის გაზიარებით Google ხელს უწყობს დეველოპერთა საზოგადოებას შექმნას მეტი ინოვაციური და ინკლუზიური პროექტი, რაც საბოლოდ გააუმჯობესებს ყველას ცხოვრებას.
როგორ გააუმჯობესებს Gameface შშმ პირების ცხოვრებას?
შეზღუდული შესაძლებლობების მქონე პირებს, განსაკუთრებით მათ, ვისაც აქვს მოძრაობის პრობლემები ან შეზღუდული მოტორული ფუნქციები, შეუძლიათ გამოიყენონ პროექტი Gameface სხვადასხვა გზით:
1. კომპიუტერის კონტროლი: Project Gameface -ის გამოყენებით, შშმ პირებს შეუძლიათ აკონტროლონ კომპიუტერის კურსორი თავის მოძრაობითა და სახის გამომეტყველებით, ხელების ნაცვლად.
2. ვიდეო თამაშების მართვა: Project Gameface განსაკუთრებით სასარგებლოა იმ გეიმერებისთვის, რომელთაც უჭირთ ან არ შეუძლიათ სტანდარტული კონტროლერების გამოყენება. ამ ტექნოლოგიის დახმარებით, ისინი თავის მოძრაობებითა და სახის ჟესტებით შეძლებენ თამაშს.
3. კომუნიკაციისა და ურთიერთობის გაუმჯობესება: შშმ პირები, რომლებსაც შეზღუდული აქვთ მეტყველების ან მოძრაობის უნარი, შესაძლოა სასარგებლოდ გამოიყენონ Project Gameface-ის შესაძლებლობები კომუნიკაციის პროგრამებსა და მოწყობილობებთან ინტერაქციისთვის.
4. დამოუკიდებლობის გაზრდა: იმის გათვალისწინებით, რომ Project Gameface შეიძლება გამოყენებულ იქნას სხვადასხვა ყოველდღიური ამოცანისთვის, იგი მნიშვნელოვნად შეუწყობს ხელს შშმ პირების დამოუკიდებლობის ზრდას.
5. სარეაბილიტაციო პროცესში ჩართვა: Project Gameface-ის ინტეგრაცია ფიზიკური თერაპიის ან რეაბილიტაციის პროგრამებში დაეხმარება შშმ პირებს სახისა და კისრის კუნთების სტიმულირებაში სხვადასხვა ინტერაქტიური ვარჯიშების მეშვეობით.
პროექტი Gameface წარმოადგენს ინოვაციურ გადაწყვეტას თამაშების ხელმისაწვდომობის გაზრდისთვის მათთვის, ვისაც აქვს მოტორული შეზღუდვები.
Google-ის ძალისხმევა, გახადოს ეს ინსტრუმენტი ფართოდ ხელმისაწვდომი, კიდევ ერთი ნაბიჯია ინკლუზიური და ხელმისაწვდომი მომავლისკენ.