Kategoria: Bez kategorii

W ramach projektu Inkubator Innowacyjności 4.0 ogłoszono wyniki konkursu na realizację prac przedwdrożeniowych.
Komitet Inwestycyjny zadecydował o przyznaniu wsparcia i objęciu dofinansowaniem projektu pod kierownictwem dr hab. inż. Mikołaja Leszczuka, prof. AGH nr WPP/4.0/2/2021 pn. „Zaawansowane indykatory jakości wizualnej”.

O co dokładnie chodzi?
Jednym z problemów w przesyłaniu sygnału wideo jest pomiar jakości postrzeganej przez odbiorców systemu, dlatego dla dostawcy treści jest bardzo istotnym szybkie wykrycie zniekształceń. Obecnie na rynku istnieją już pierwsze automatyczne systemy wykrywające zniekształcenia obrazu. Także i w ramach prac prowadzonych w Instytucie Telekomunikacji zostały opracowane algorytmy wykrywające takie zniekształcenia (https://qoe.agh.edu.pl/indicators/).
Obecne jednak próby licencjonowania tych algorytmów w realiach biznesowych spotykają się problemami związanymi niestabilnością pracy algorytmów w warunkach zmian rozdzielczości obrazu. Dlatego, planowane jest przygotowanie do wdrożenia indykatorów zniekształceń jakości wizualnej, które zostaną przygotowane do pracy w warunkach produkcyjnych i zostaną przystosowane do zmian rozdzielczości obrazu.
Nasze aktualne wskaźniki jakości wideo są dostępne i licencjonowane jako niezależne oprogramowanie, które można pobrać i uruchomić. Chcielibyśmy móc dokonywać demonstracji ostatecznej wersji technologii, uwzględniającej zmiany rozdzielczości, w formie oprogramowania, jako usługi (ang. Software as a Service, SaaS). Użytkownik będzie mógł przesyłać strumieniowo lub ładować materiały wideo na nasz serwer, a my odpowiadaliśmy użytkownikowi (przez przeglądarkę lub specjalne API) z wynikami analizy w postaci wartości indykatorów.

Katedra Telekomunikacji AGH uzyskała dofinansowanie na projekt „Technologie wspierające streszczanie sekwencji wizyjnych” w ramach Wspólnego Przedsięwzięcia Narodowego Centrum Badań i Rozwoju oraz Narodowego Centrum Nauki w celu wsparcia praktycznego użycia wyników badań podstawowych – TANGO.

Kierownikiem projektu B&R (badawczo-rozwojowego) jest dr hab. inż. Mikołaj Leszczuk, a innymi osobami zaangażowanymi w projekt są dr inż. Michał Grega, dr hab. inż. Lucjan Janowski i mgr inż. Jakub Nawała.

Głównym celem proponowanego projektu jest podniesienie gotowości technologicznej wyników projektu bazowego „Dostęp do wielojęzycznych informacji i opinii” (AMIS) do poziomu gotowości technologicznej (TRL) VII, gdzie możliwe jest zademonstrowanie prototypu technologii w warunkach eksploatacyjnych oraz prowadzenie przedwdrożeniowych prac koncepcyjnych.

Dokładniej, celem B+R jest tworzenie/rozwijanie technik (algorytmów i ich implementacji) wspierających tworzenie systemów podsumowania sekwencji wideo. Tworzone technologie będą opierać się przede wszystkim na tzw. Wskaźnikach Jakości (QI), które analizują treści audio-wideo (sekwencje wideo) i przypisują wartości liczbowe („wagi”) poszczególnym jej fragmentom. Takie QI pozwalają określić, na ile dany fragment (np. ujęcie) może zainteresować użytkownika, a także jak ocenia się jego jakość audiowizualną. Oczekuje się, że projekt dostarczy technologie podsumowujące, które uwzględniają wartości QI podczas procesu podsumowywania (abstrakcji) oryginalnej treści. Projekt zakłada zarówno stworzenie/opracowanie wstępnych rozwiązań zarówno poszczególnych QIs, jak i całych narzędzi do tworzenia wizualnych podsumowań, stworzonych wcześniej przez Katedrę Telekomunikacji AGH. Rezultatem projektu AMIS był system podsumowania wiadomości. Realizacja projektu pozwoli na stworzenie technologii bliskiej komercjalizacji dostosowanej do aktualnych wymagań treści audiowizualnych – zarówno jako całości, jak i pojedynczych wybranych komponentów.

Jednocześnie celem projektu jest przeprowadzenie prac koncepcyjnych mających na celu określenie gospodarczego użycia wyników badań, przeprowadzenie analiz rynkowych, pozyskanie partnerów zainteresowanych współpracą badawczo-rozwojową i wdrożeniem wyników projektu oraz opracowanie strategii działań mające na celu zabezpieczenie praw do ochrony własności intelektualnej wyników badań.

W dzisiejszych czasach mamy wiele metryk ogólnej jakości doświadczenia (QoE), zarówno tych z pełnym odniesieniem (FR), jak szczytowy stosunek sygnału do szumu (PSNR) lub podobieństwa strukturalnego (SSIM) i bez odniesienia (NR), jak wskaźniki jakości wideo (VQI), z powodzeniem stosowane w systemach przetwarzania wideo do oceny jakości wideo. Nie nadają się jednak do zadań analitycznych rozpoznawania w wideo służącym do rozpoznawania celów (TRV).
W związku z tym prawidłowe oszacowanie wydajności potoku przetwarzania wideo jest nadal istotnym wyzwaniem badawczym w zadaniach Computer Vision (CV). Istnieje potrzeba obiektywnej metody oceny jakości wideo do zadań rozpoznawania.

W odpowiedzi na tę potrzebę, w niniejszym projekcie pokazujemy, że możliwe jest dostarczenie nowej propozycji koncepcji metody obiektywnej oceny jakości wideo dla zadań rozpoznawczych (realizowanej jako prototyp oprogramowania będącego dowodem/demonstracją). Metoda została przeszkolona i przetestowana na reprezentatywnym zestawie sekwencji wideo.

Niniejszy artykuł jest opisem propozycji nowego innowacyjnego podejścia wykorzystywanej przez oprogramowanie:

@inproceedings{kawa2020survey,

title = {Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment in Recognition Tasks},

author = {Kamil Kawa and Mikołaj Leszczuk and Atanas Boev},

year  = {2020},

date = {2020-01-01},

booktitle = {International Conference on Multimedia Communications, Services and Security},

pages = {332--350},

organization = {Springer, Cham},

keywords = {},

pubstate = {published},

tppubtype = {inproceedings}

}

Projekt wspierany przez program badań nad innowacjami Huawei (HIRP):

Obecnie opracowujemy nowy wskaźnik jakości wideo (VQI) o nazwie Lip Sync VQI.

Jego głównym celem jest wykrycie braku synchronizacji pomiędzy strumieniami audio i wideo. Ta desynchronizacja zwykle objawia się jako sygnał mowy podążający przed (lub opóźnionym za) ruchem ust (stąd nazwa Lip Sync).

Proces rozwoju realizowany jest w ścisłej współpracy z naszym partnerem biznesowym. Gwarantuje to, że produkt końcowy spełnia wymagania klasy branżowej. Na każdym etapie testujemy działanie rozwiązania w realistycznym środowisku. W ten sposób upewniamy się, że pozostajemy w zgodzie z początkowymi założeniami i wymaganiami dotyczącymi wydajności.

Aby uzyskać więcej informacji zachęcamy do przeczytania:

@article{fernandez2018monitoring,

title = {Monitoring of audio visual quality by key indicators},

author = {Ignacio Blanco Fernández and Mikołaj Leszczuk},

year  = {2018},

date = {2018-01-01},

journal = {Multimedia Tools and Applications},

volume = {77},

number = {2},

pages = {2823--2848},

publisher = {Springer US},

keywords = {},

pubstate = {published},

tppubtype = {article}

}

Lub skontaktuj się z nami, wysyłając e-mail na adres qoe@agh.edu.pl.

HORYZONT 2020 (H2020)

2015 – 2017

Projekt SCISSOR projektuje ramy monitorowania bezpieczeństwa SCADA (kontrola nadzorcza i akwizycja danych) nowej generacji.

W tradycyjnych przemysłowych systemach sterowania i infrastrukturze krytycznej bezpieczeństwo było domyślnie zakładane przez oparcie się na zastrzeżonych technologiach (bezpieczeństwo przez ukrywanie), fizyczną ochronę dostępu i odłączenie od Internetu. Masowy ruch w ostatniej dekadzie w kierunku otwartych standardów i łączności IP, rosnąca integracja technologii Internetu rzeczy oraz zakłócanie spokoju ukierunkowanych cyberataków wymaga nowatorskich, zaprojektowanych środków bezpieczeństwa cybernetycznego. Przyjmując holistyczne podejście, projekt SCISSOR proponuje nową strukturę monitorowania bezpieczeństwa systemów SCADA (ang. Supervisory Control and Data Acquisition) składającą się z czterech warstw:

1. Warstwa monitorująca, zapewniająca programowalną analizę ruchu, nowe technologie sensorowe o bardzo niskich kosztach/poborze energii oraz rozwiązania w zakresie nadzoru wizyjnego do automatycznego wykrywania i klasyfikacji obiektów;
2. Warstwa kontroli i koordynacji – adaptacyjnie zarządza zdalnymi sondami/czujnikami, zapewniająca jednolitą reprezentację monitorowanych danych zebranych z różnych źródeł oraz egzekwowanie kryptograficznej ochrony danych, w tym oparte na tożsamości i atrybutach schematy szyfrowania;
3. Warstwa decyzji i analizy w postaci innowacyjnego narzędzia SIEM (ang. Security Information and Event Management) związana zarówno z różnorodnymi zdarzeniami pochodzącymi z monitoringu jak również sygnałami kontroli procesów;
4. Warstwa człowiek-maszyna opracowana w celu przedstawienia w prosty i użyteczny sposób w czasie rzeczywistym zachowania systemu pod kątem jego funkcjonalności dla użytkownika końcowego.

SCISSOR będzie zweryfikowany przez:

• Platformę SCADA, aby uwydatnić zdolność do wykrywania i udaremniania ukierunkowanych zagrożeń;
• „Testy polowe” na rzeczywistych systemach smart-grid.

Grupa badawcza pod kierunkiem Prof. Andrzeja Dziecha, zajmująca się tematyką przetwarzania danych, inteligentnym monitoringiem i multimediami koordynuje zadania poświęcone technikom i rozwiązaniom dla monitoringu. Zespół będzie projektował i implementował następujące elementy

• Mechanizmy pozyskiwania i przesyłania danych wideo z wielu typów kamer (CCTV, kamery na podczerwień);
• Automatyczne rozpoznawanie obiektów, ich pozycji oraz cech;
• System Analizy Zdarzeń - opracowanie wymagań oraz metod analizy danych i podejmowania decyzji w odniesieniu do integracji informacji pochodzących z wielu źródeł;
• Privacy protection of processed and transmitted digital data using digital watermarks
• System Analizy Zdarzeń - integracja algorytmów, realizacja i ocena modułu do generowania danych do wizualizacji i podejmowania decyzji;
• Zintegrowany system dla przetwarzania i przechowywania danych.

Zespół AGH będzie również zaangażowany w inne działania takie jak:

• Sterowanie i monitorowanie systemu;
• Walidacja i demonstracja na zaawansowanej platformie SCADA w warunkach rzeczywistych.

Prace zespołu badawczego AGH mają znaczący potencjał zastosowań praktycznych co pozwoli na zintensyfikowanie współpracy z przemysłem.

Partnerzy:

• ASSYSTEM ENGINEERING AND OPERATION SERVICES
• UNIVERSITE PIERRE ET MARIE CURIE
• SIXSQ SARL
• CONSORZIO NAZIONALE INTERUNIVERSITARIO PER LE TELECOMUNICAZIONI
• RADIO6ENSESRL
• SALZBURG RESEARCH FORSCHUNGSGESELLSCHAFT M.B.H
• KATHOLIEKE UNIVERSITEIT LEUVEN
• SEA SOCIETÀ ELETTRICA DI FAVIGNANA SPA

EUREKA

2013-2015

Projekt IMCOP dotyczy interaktywnego wyszukiwania informacji w systemie WWW i telewizji internetowej (tzw. IPTV) oraz udostępniania znalezionych i zarchiwizowanych w ten sposób złożonych treści multimedialnych – tzw. obiektów CMO (ang. Complex Multimedia Objects). Udostępnianie tych treści następuje na zasadzie dynamicznego, multimedialnego serwisu informacyjnego dla wybranych, określanych również przez użytkownika, tematów. Obiekty CMO należy rozumieć, jako autonomiczne kontenery, łączące w sobie różne formy multimedialne, np. sekwencje wideo, prezentacje zdjęciowe, komentarze audio, itp. Obiekty CMO są tworzone manualnie lub automatycznie - przy pomocy technik automatycznego indeksowania, na podstawie treści pozyskiwanych z sieci.

Partnerzy:

• DGT Sp. z o.o.
• Viaccess – Orca
• Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie
• Wyższa Szkoła Technik Komputerowych i Telekomunikacji

EUREKA

2013-2016

Głównym celem projektu MITSU (Nowa generacja wydajnych, skalowanych i stabilnych technologii dostarczania treści multimedialnych) jest stworzenie nowych rozwiązań w zakresie systemów strumieniowania wideo w sieciach bezprzewodowych.

Biorąc pod uwagę najnowsze osiągnięcia na tym polu, zamierzeniem projektu MITSU jest analiza oraz implementacja rozwiązań poprawiających obecny poziom interoperacyjności systemów dystrybucji wideo, przy szczególnym nacisku na minimalizację złożoności obliczeniowej i na wymagania energetyczne proponowanych rozwiązań.

Partnerzy:

• Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)
• Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie
• Uniwersytet im. Adama Mickiewicza w Poznaniu
• Instituto Tecnológico de Aragón (ITA)
• Ebesis, S.L.
• Arantia 2010, SL
• ADTEL Sistemas de Telecomunicación SL
• Embou Nuevas Tecnologías, S.L.
• ARGELA Yazılım ve Bilişim Teknolojileri San. ve Tic. A.Ş (ARGELA)
• C Tech Bilişim Teknolojileri A.Ş.
• TeamNet World Professional Services
• AUTONOMOUS SYSTEMS SRL