Projekt:
Numer referencyjny programu pomocowego: SA.41471(2015/X)
Przeznaczenie pomocy publicznej: art. 25 rozporządzenia KE nr 651/2014 z dnia 17 czerwca 2014 r. uznające niektóre rodzaje pomocy za zgodne z rynkiem wewnętrznym w stosowaniu art. 107 i 108 Traktatu (Dz. Urz. UE L 187/1 z 26.06.2014).
Podstawowym celem projektu było opracowanie innowacyjnej technologii rozpoznawania języka symbolicznego w obszarze wirtualnej rzeczywistości i rzeczywistości rozszerzonej przeznaczonej na najnowsze urządzenia wirtualnej i rozszerzonej rzeczywistości. Wyżej wymieniony język symboliczny oparty na innowacyjnym systemie gestów 3D i analizie obrazu realnych symboli rysowanych przez gracza w realnym świecie przy użyciu prawdziwych przyrządów piśmienniczych bądź wirtualnych symboli w wirtualnym świecie lub dowolnej kombinacji wyżej wymienionych będzie umożliwiał tworzenie innowacyjnych systemów interfejsu użytkownika i innowacyjnych systemów grywalności.
Efekt ten zostanie uzyskany za pomocą stworzenia skończonego zestawu „pod symboli 3D”, z których będzie można tworzyć sekwencje bardziej złożonych symboli oraz opracowanie systemu rozpoznającego je z dużą skutecznością. Wykorzystanie skończonych zestawów “pod symboli 3D” pozwoli na łatwiejsze rozpoznawanie całych symboli 3D oraz umożliwi „uczenie systemu” (projektowanie nowych symboli 3D, które będą? automatycznie rozpoznawane, z dostępnych znaków pod symboli). System ten zostanie zaimplementowany w dedykowanej mu grze wideo dostępnej na najnowszych platformach sprzętowych wykorzystujących technologię VR wraz z opracowanym równolegle modułem komunikacyjnym działającym w oparciu o słownik i podpowiadającym wyrazy na podstawie „wpisywanych” w przestrzeni wirtualnej liter za pomocą symboli 3D. Moduł będzie umożliwiał chatowanie w grach i programach VR bez użycia dodatkowych urządzeń wejścia ( i interfejsu), co wydaje się być konieczną i logiczną konsekwencją przeniesienia
W ramach prac i badań w trakcie projektu zunifikowano sygnały dostarczane przez różne urządzenia wejścia na jeden zestaw sygnałów zrozumiałych dla wewnętrznego systemu/algorytmu rozpoznawania. Faktycznie badania powtórzono ze względu na pojawienie się kolejnych technologii.
Przygotowano zestaw 18 pod symboli w przestrzeni 3d oraz system rozpoznający wyżej wymienione pod symbole 3d z przynajmniej 80% skutecznością̨, co udokumentowało testowanie systemu na różnych platformach i w różnych warunkach.
Opracowano i przygotowano system rozpoznawania 40 złożonych symboli 3d zaprojektowanych przy pomocy języka symboli 3d.
Rozbudowano system rozpoznawania o wykrywanie liter alfabetu łacińskiego. Tym niemniej, wyniki należy uznać za mało efektywne, czego przyczyną są „błędy wieku dziecięcego” używanych kontrolerów i urządzeń. W chwili obecnej należy z dużą rezerwą podchodzić do możliwości uzasadnienia komercyjnego wypracowanego tej części rozwiązania.
Cel: Stworzenie prototypu gry wykorzystującej zastosowanie języka gestów.
Przeprowadzone prace:
-
Przygotowanie zestawu gestów dla wykonywanych czarów oraz przywoływania czarodziejek
-
Stworzenie wirtualnego świata 3d jako środowiska gry
-
Zaprojektowanie mechanizmów sztucznej inteligencji dla przeciwników w grze
-
Testowanie różnych wariantów wykonywanych gestów dla jak najwygodniejszego zastosowania ich w grze
Założenia dotyczące gry:
Tytuł roboczy:
“DTMV”
Typ:
Prototyp gry nawiązujący do tower defense. Pod VR, 3d, unity z systemem gestów
Klimat wikingowski, lekko stylizowany na kreskówkowy
Główne założenia rozgrywki:
Zadaniem gracza jest walka z kolejnymi falami przeciwników i niedopuszczenie do wykradzenia przez nich dziewic. Z każdą następną falą zwiększa się liczba bądź siła przeciwników. Gracz przemieszcza się od wierzy do wierzy, co pozwala na zajęcie przez niego najlepszej w danej chwili pozycji do obrony. Ponadto rozmieszcza na mapie postacie czarodziejek, które mają pomóc mi w obronie dziewic.
System rozwoju:
System rozwoju opiera się na ulepszeniach czarów jak i odblokowywaniu nowych symboli.
Widok:
Gracz widzi swoje dłonie jako dłonie czarodzieja. Rozgrywka prowadzona jest zatem z widoku pierwszoosobowego.
Przeciwnicy:
Przeciwnikami w grze będą trole, gobliny, smoki, barbarzyńcy, jaszczury, golemy, demony, gryfy i inne tego typu istoty. Przeciwnicy mogą nas atakować zabierając nam punkty żywotności, bądź walczyć z wezwanymi pezez nas czarodziejkami.
Zastosowano język gestów w prototypie jako podstawową mechanikę w grze. Bronić się możemy rzucając czary lub przywoływać do pomocy inne czarodziejki. Wszystkie te czynności są wykonywane za pomocą języka gestów. Każdy czar i przywołanie ma przypisany charakterystyczny zestaw pod symboli która go uruchamia.
Wnioski:
-
rzucanie czarów prostymi gestami sprawia bardzo pozytywne odczucia
-
gra oparta na wykonywaniu różnych gestów udoskonala zmysł zapamiętywania
-
gra oparta na wykonywaniu gestów poprawia sprawność fizyczną
-
generowanie skomplikowanych gestów powoduje poczucie irytacji. W dzisiejszych czasach gra musi być uproszczona do granic możliwości
-
po dłuższej chwili grania odczuwane zaczyna być zmęczenie
Sprawozdanie z rozpowszechniania wyników badań przemysłowych i prac rozwojowych
Beneficjent przedstawia sprawozdanie z rozpowszechniania wyników badań przemysłowych i prac rozwojowych, albo prac rozwojowych niezwłocznie po spełnieniu warunków określonych w umowie, jeżeli uzyskał premię w ramach pomocy publicznej. Warunek rozpowszechniania wyników musi być spełniony w okresie 3 lat od zakończenia realizacji projektu.
W przypadku pozyskania premii powinny być spełnione poniższe warunki (rozłącznie):
-
wyniki uzyskane przez Beneficjenta zostaną zaprezentowane na co najmniej 3 konferencjach naukowych i technicznych, w tym co najmniej jednej o randze ogólnokrajowej lub
-
opublikowane w co najmniej dwóch czasopismach naukowych lub technicznych z listy czasopism opracowanej przez Ministerstwo Nauki i Szkolnictwa Wyższego (w części A wykazu czasopism) lub
-
umieszczone w bazach danych zapewniających swobodny dostęp do uzyskanych wyników projektu (surowych danych badawczych) lub w całości rozpowszechnione za pośrednictwem oprogramowania bezpłatnego lub oprogramowania z licencją otwartego dostępu.
Z uwagi na wybuch pandemii COVID-19, okres, w którym planowano szerokie rozpowszechnianie wyników projektu, stał się niemożliwy w realizacji. Nigdy wcześniej nie znaleźliśmy się w podobnej sytuacji, zarówno pod względem zdrowotnym, jak i zawodowym, niezależnie od miejsca zamieszkania, wieku, statusu społecznego czy pełnionej roli. Pandemia SARS-CoV-2 wpłynęła zasadniczo na wszystkie aspekty naszego życia we współczesnym świecie, zarówno na poziomie lokalnym, regionalnym, jak i globalnym. Wiele konferencji nie odbyło się, wiele z nich przeniesiono do przestrzeni internetowej (odbywając się w trybie zdalnym).
Uznaliśmy, iż wyniki naszego projektu „Stworzenie innowacyjnej technologii rozpoznawania języka symbolicznego w obszarze wirtualnej rzeczywistości i rzeczywistości rozszerzonej, jako podstawowego interfejsu” udostępnimy dla wszystkich chcących je wypróbować, przetestować – licząc, iż stanie się to przyczynkiem do dyskusji, bądź pozwoli nam uzyskać informację zwrotną w zakresie koniecznych zmian, bądź poprawek.
Udostępniliśmy wyniki naszego projektu na GitHub z licencją OpenSource dla każdego, kto chciałby pracować i rozwijać osiągnięte przez nas rezultaty.
Wcześniej dostęp do rezultatów projektu był dostępny pod adresem https://github.com/SpectralGamesSA. Ze względów niezależnych od nas konto zostało usunięte.
Obecnie dostęp do rezultatów projektu jest dostępny dla wszystkich na zasadach open source pod adresem https://github.com/SpectralGames/POIR.01.02.00-00-0147-16
Najnowsza kompilacja projektu znajduje się pod tym adresem https://github.com/SpectralGames/POIR.01.02.00-00-0147-16/releases/tag/v1.0
Open Source jest oprogramowaniem, którego licencja pozwala na legalne i nieodpłatne kopiowane, zarówno kodu wynikowego, jak i źródłowego oraz na dowolne modyfikacje kodu źródłowego. Aby dany program został zakwalifikowany jako Open Source, musi spełnić następujące kryteria:
-
wolna redystrybucja,
-
otwarty kod źródłowy,
-
prace pochodne,
-
integralność kodów źródłowych autora,
-
niedyskryminowanie osób lub grup,
-
niedyskryminowanie pól zastosowań,
-
rozpowszechnianie licencji,
-
licencja nie musi być szczególna dla produktu,
-
licencja nie może wpływać na inne oprogramowanie.
Jako licencję open source wybraliśmy licencję GNU GPL 3.0