Spectral Games

Projekt:

Numer referencyjny programu pomocowego: SA.41471(2015/X)

Przeznaczenie pomocy publicznej: art. 25 rozporządzenia KE nr 651/2014 z dnia 17 czerwca 2014 r. uznające niektóre rodzaje pomocy za zgodne z rynkiem wewnętrznym w stosowaniu art. 107 i 108 Traktatu (Dz. Urz. UE L 187/1 z 26.06.2014).

Podstawowym celem projektu było opracowanie innowacyjnej technologii rozpoznawania języka symbolicznego w obszarze wirtualnej rzeczywistości i rzeczywistości rozszerzonej przeznaczonej na najnowsze urządzenia wirtualnej i rozszerzonej rzeczywistości. Wyżej wymieniony język symboliczny oparty na innowacyjnym systemie gestów 3D i analizie obrazu realnych symboli rysowanych przez gracza w realnym świecie przy użyciu prawdziwych przyrządów piśmienniczych bądź wirtualnych symboli w wirtualnym świecie lub dowolnej kombinacji wyżej wymienionych będzie umożliwiał tworzenie innowacyjnych systemów interfejsu użytkownika i innowacyjnych systemów grywalności.

Efekt ten zostanie uzyskany za pomocą stworzenia skończonego zestawu „pod symboli 3D”, z których będzie można tworzyć sekwencje bardziej złożonych symboli oraz opracowanie systemu rozpoznającego je z dużą skutecznością. Wykorzystanie skończonych zestawów “pod symboli 3D” pozwoli na łatwiejsze rozpoznawanie całych symboli 3D oraz umożliwi „uczenie systemu” (projektowanie nowych symboli 3D, które będą? automatycznie rozpoznawane, z dostępnych znaków pod symboli). System ten zostanie zaimplementowany w dedykowanej mu grze wideo dostępnej na najnowszych platformach sprzętowych wykorzystujących technologię VR wraz z opracowanym równolegle modułem komunikacyjnym działającym w oparciu o słownik i podpowiadającym wyrazy na podstawie „wpisywanych” w przestrzeni wirtualnej liter za pomocą symboli 3D. Moduł będzie umożliwiał chatowanie w grach i programach VR bez użycia dodatkowych urządzeń wejścia ( i interfejsu), co wydaje się być konieczną i logiczną konsekwencją przeniesienia

W ramach prac i badań w trakcie projektu zunifikowano sygnały dostarczane przez różne urządzenia wejścia na jeden zestaw sygnałów zrozumiałych dla wewnętrznego systemu/algorytmu rozpoznawania. Faktycznie badania powtórzono ze względu na pojawienie się kolejnych technologii.

Przygotowano zestaw 18 pod symboli w przestrzeni 3d oraz system rozpoznający wyżej wymienione pod symbole 3d z przynajmniej 80% skutecznością̨, co udokumentowało testowanie systemu na różnych platformach i w różnych warunkach.

Opracowano i przygotowano system rozpoznawania 40 złożonych symboli 3d zaprojektowanych przy pomocy języka symboli 3d.

Rozbudowano system rozpoznawania o wykrywanie liter alfabetu łacińskiego. Tym niemniej, wyniki należy uznać za mało efektywne, czego przyczyną są „błędy wieku dziecięcego” używanych kontrolerów i urządzeń. W chwili obecnej należy z dużą rezerwą podchodzić do możliwości uzasadnienia komercyjnego wypracowanego tej części rozwiązania.

Cel: Stworzenie prototypu gry wykorzystującej zastosowanie języka gestów.

Przeprowadzone prace:

  • Przygotowanie zestawu gestów dla wykonywanych czarów oraz przywoływania czarodziejek

  • Stworzenie wirtualnego świata 3d jako środowiska gry

  • Zaprojektowanie mechanizmów sztucznej inteligencji dla przeciwników w grze

  • Testowanie różnych wariantów wykonywanych gestów dla jak najwygodniejszego zastosowania ich w grze

Założenia dotyczące gry:

Tytuł roboczy:

“DTMV”

Typ:
Prototyp gry nawiązujący do tower defense. Pod VR, 3d, unity z systemem gestów
Klimat wikingowski, lekko stylizowany na kreskówkowy

Główne założenia rozgrywki:
Zadaniem gracza jest walka z kolejnymi falami przeciwników i niedopuszczenie do wykradzenia przez nich dziewic. Z każdą następną falą zwiększa się liczba bądź siła przeciwników. Gracz przemieszcza się od wierzy do wierzy, co pozwala na zajęcie przez niego najlepszej w danej chwili pozycji do obrony. Ponadto rozmieszcza na mapie postacie czarodziejek, które mają pomóc mi w obronie dziewic.

System rozwoju:
System rozwoju opiera się na ulepszeniach czarów jak i odblokowywaniu nowych symboli.

Widok:
Gracz widzi swoje dłonie jako dłonie czarodzieja. Rozgrywka prowadzona jest zatem z widoku pierwszoosobowego.

Przeciwnicy:
Przeciwnikami w grze będą trole, gobliny, smoki, barbarzyńcy, jaszczury, golemy, demony, gryfy i inne tego typu istoty. Przeciwnicy mogą nas atakować zabierając nam punkty żywotności, bądź walczyć z wezwanymi pezez nas czarodziejkami.
Zastosowano język gestów w prototypie jako podstawową mechanikę w grze. Bronić się możemy rzucając czary lub przywoływać do pomocy inne czarodziejki. Wszystkie te czynności są wykonywane za pomocą języka gestów. Każdy czar i przywołanie ma przypisany charakterystyczny zestaw pod symboli która go uruchamia.

Wnioski:

  • rzucanie czarów prostymi gestami sprawia bardzo pozytywne odczucia

  • gra oparta na wykonywaniu różnych gestów udoskonala zmysł zapamiętywania

  • gra oparta na wykonywaniu gestów poprawia sprawność fizyczną

  • generowanie skomplikowanych gestów powoduje poczucie irytacji. W dzisiejszych czasach gra musi być uproszczona do granic możliwości

  • po dłuższej chwili grania odczuwane zaczyna być zmęczenie

Sprawozdanie z rozpowszechniania wyników badań przemysłowych i prac rozwojowych

Beneficjent przedstawia sprawozdanie z rozpowszechniania wyników badań przemysłowych i prac rozwojowych, albo prac rozwojowych niezwłocznie po spełnieniu warunków określonych w umowie, jeżeli uzyskał premię w ramach pomocy publicznej. Warunek rozpowszechniania wyników musi być spełniony w okresie 3 lat od zakończenia realizacji projektu.

W przypadku pozyskania premii powinny być spełnione poniższe warunki (rozłącznie):

  1. wyniki uzyskane przez Beneficjenta zostaną zaprezentowane na co najmniej 3 konferencjach naukowych i technicznych, w tym co najmniej jednej o randze ogólnokrajowej lub

  1. opublikowane w co najmniej dwóch czasopismach naukowych lub technicznych z listy czasopism opracowanej przez Ministerstwo Nauki i Szkolnictwa Wyższego (w części A wykazu czasopism) lub

  1. umieszczone w bazach danych zapewniających swobodny dostęp do uzyskanych wyników projektu (surowych danych badawczych) lub w całości rozpowszechnione za pośrednictwem oprogramowania bezpłatnego lub oprogramowania z licencją otwartego dostępu.

Z uwagi na wybuch pandemii COVID-19, okres, w którym planowano szerokie rozpowszechnianie wyników projektu, stał się niemożliwy w realizacji. Nigdy wcześniej nie znaleźliśmy się w podobnej sytuacji, zarówno pod względem zdrowotnym, jak i zawodowym, niezależnie od miejsca zamieszkania, wieku, statusu społecznego czy pełnionej roli. Pandemia SARS-CoV-2 wpłynęła zasadniczo na wszystkie aspekty naszego życia we współczesnym świecie, zarówno na poziomie lokalnym, regionalnym, jak i globalnym. Wiele konferencji nie odbyło się, wiele z nich przeniesiono do przestrzeni internetowej (odbywając się w trybie zdalnym).

Uznaliśmy, iż wyniki naszego projektu „Stworzenie innowacyjnej technologii rozpoznawania języka symbolicznego w obszarze wirtualnej rzeczywistości i rzeczywistości rozszerzonej, jako podstawowego interfejsu” udostępnimy dla wszystkich chcących je wypróbować, przetestować – licząc, iż stanie się to przyczynkiem do dyskusji, bądź pozwoli nam uzyskać informację zwrotną w zakresie koniecznych zmian, bądź poprawek.

Udostępniliśmy wyniki naszego projektu na GitHub z licencją OpenSource dla każdego, kto chciałby pracować i rozwijać osiągnięte przez nas rezultaty.

Wcześniej dostęp do rezultatów projektu był dostępny pod adresem https://github.com/SpectralGamesSA. Ze względów niezależnych od nas konto zostało usunięte.

Obecnie dostęp do rezultatów projektu jest dostępny dla wszystkich na zasadach open source pod adresem https://github.com/SpectralGames/POIR.01.02.00-00-0147-16

Najnowsza kompilacja projektu znajduje się pod tym adresem https://github.com/SpectralGames/POIR.01.02.00-00-0147-16/releases/tag/v1.0

Open Source jest oprogramowaniem, którego licencja pozwala na legalne i nieodpłatne kopiowane, zarówno kodu wynikowego, jak i źródłowego oraz na dowolne modyfikacje kodu źródłowego. Aby dany program został zakwalifikowany jako Open Source, musi spełnić następujące kryteria:

  1. wolna redystrybucja,

  2. otwarty kod źródłowy,

  3. prace pochodne,

  4. integralność kodów źródłowych autora,

  5. niedyskryminowanie osób lub grup,

  6. niedyskryminowanie pól zastosowań,

  7. rozpowszechnianie licencji,

  8. licencja nie musi być szczególna dla produktu,

  9. licencja nie może wpływać na inne oprogramowanie.

Jako licencję open source wybraliśmy licencję GNU GPL 3.0