W skrócie
- Model multimodalny to jeden system, który przyjmuje i rozumie więcej niż jeden rodzaj informacji: tekst, obraz i dźwięk.
- Każdy rodzaj danych jest zamieniany na zapis liczbowy, dzięki czemu model może łączyć zdjęcie, mowę i słowa w jednej odpowiedzi.
- Najbardziej praktyczne zastosowania to opis zdjęcia, odczyt paragonu i rozmowa głosowa z asystentem.
- Model potrafi się pomylić przy drobnym druku, zamazanym zdjęciu i w hałasie, a czasem dopowiada szczegóły, których nie ma na obrazie.
- Przed wysłaniem zdjęcia lub nagrania usuń dane wrażliwe, a przy ważnych dokumentach sprawdź wynik ręcznie.
- Możliwości zależą od konkretnego modelu i aplikacji, dlatego sprawdzaj je w aktualnej ofercie i na stronie producenta.
Co znaczy „multimodalny”
Słowo składa się z dwóch części: „multi”, czyli wiele, i „modalny”, czyli dotyczący sposobu, w jaki informacja do nas dociera. Każdy sposób to inny kanał. Oczami odbierasz obraz, uszami dźwięk, a tekst czytasz wzrokiem albo słyszysz go w rozmowie.
Model multimodalny to AI, która potrafi obsługiwać kilka takich kanałów naraz. Możesz mu pokazać zdjęcie, zadać pytanie głosem albo wkleić fragment tekstu i dostać jedną, spójną odpowiedź. Wcześniej wiele programów obsługiwało każdy rodzaj danych osobno, a wyniki trzeba było ręcznie składać w całość.
Dobry przykład z życia: doświadczony sprzedawca w sklepie z elektroniką słucha, o co pyta klient, patrzy na pudełko, które klient trzyma w ręku, i czyta etykietę z parametrami. Robi to wszystko jednocześnie i łączy informacje w głowie. Model multimodalny próbuje zrobić coś podobnego, choć działa zupełnie inaczej niż człowiek.
Jak model łączy obraz, dźwięk i tekst
Komputer nie widzi zdjęcia tak jak Ty. Dla niego to siatka punktów, z których każdy ma określoną barwę i jasność. Dźwięk to z kolei zapis drgań powietrza w czasie. Żeby model mógł na tym pracować, każdy rodzaj informacji trzeba zamienić na liczby. To ten sam pomysł, który opisujemy w poradniku o tokenach: tekst dzieli się na kawałki, a każdy kawałek dostaje swoją liczbową reprezentację.
Kolejny krok to tak zwana wspólna przestrzeń. Mówiąc prosto, model uczy się układać obrazy, dźwięki i słowa tak, że pojęcia związane ze sobą leżą blisko siebie w jego wewnętrznym zapisie. Zdjęcie psa znajduje się więc w pobliżu słowa „pies” i nagrania szczekania. Mechanizm podobny do tego opisujemy w poradniku o embeddingach.
Taki model nie ma jednego działu od obrazu i drugiego od tekstu. Uczy się na połączonych danych, na przykład na zdjęciach z podpisami albo nagraniach z przepisanym tekstem. Dzięki temu potrafi opisać zdjęcie własnymi słowami, a nie tylko podać jedną etykietę. Nie znaczy to jednak, że rozumie świat tak jak człowiek. Przewiduje raczej, jakie słowa pasują do tego, co widzi.
Przykłady z życia: co taki model potrafi
Najłatwiej zrozumieć multimodalność, patrząc na konkretne sytuacje. Poniżej kilka, w których ludzie korzystają z takich narzędzi na co dzień.
Wspólny mianownik tych zadań jest prosty: informacja przychodzi w jednej formie, a potrzebujesz jej w innej. Zdjęcie zamieniasz w tekst, nagranie w streszczenie, a długą etykietę w krótką odpowiedź.
- Opis zdjęcia: robisz zdjęcie ulotki leku albo menu w restauracji, a model czyta i streszcza najważniejsze informacje. Przy lekach zawsze zweryfikuj szczegóły u lekarza lub farmaceuty.
- Odczyt paragonu: zdjęcie paragonu z zakupów zamienia się w listę pozycji i kwot, które możesz wkleić do arkusza.
- Pomoc przy obcej instrukcji: pokazujesz zdjęcie tablicy rozdzielczej albo tylnej ścianki sprzętu i pytasz, do czego służy dane gniazdo.
- Rozmowa głosowa: mówisz pytanie na głos, a model rozumie je ze słuchu i odpowiada głosem albo tekstem.
- Notatki z tablicy: fotografia tablicy po lekcji zamienia się w uporządkowany tekst, który łatwo przepisać.
- Zakupy: wrzucasz zdjęcie produktu i pytasz, czy wygląda na ten sam model, który widzisz w opisie oferty. Przy porównywaniu ofert na allee.pl zdjęcia i parametry z kilku sklepów dobrze zestawić obok siebie.
Odczyt paragonu krok po kroku
Paragon to dobry przykład, bo pokazuje zarówno zaletę, jak i słabość. Wygląda prosto, ale bywa trudny: wydruk termiczny blednie, składniki są drobne, a skróty nazw towarów bywają mylące.
Zrób zdjęcie na płaskiej powierzchni, przy dobrym świetle, bez cienia i odblasku. Kadruj tak, żeby było widać cały paragon, od nagłówka do sumy. Jeśli paragon jest długi, zrób dwa zdjęcia i wyślij je w jednej wiadomości.
W poleceniu napisz wprost, czego oczekujesz. Na przykład: „Wypisz pozycje w tabeli z kolumnami: nazwa, ilość, cena jednostkowa, wartość. Osobno podaj sumę i datę.” Dzięki temu dostaniesz wynik, który łatwo sprawdzić.
Na koniec sprawdź wynik sam. Dodaj wartości pozycji i porównaj z sumą na paragonie. Jeśli nie zgadza się choćby jedna cyfra, popraw ją ręcznie, zanim wpiszesz wynik do rozliczeń.
- Zdjęcie jest ostre i dobrze oświetlone.
- Widać nagłówek, wszystkie pozycje i sumę.
- Dane wrażliwe są zasłonięte, na przykład część numeru karty, jeśli pojawia się na wydruku.
- Suma z pozycji zgadza się z sumą na paragonie.
- Liczby z wyniku zostały sprawdzone ręcznie.
Gdzie multimodalność się myli
Model multimodalny nie jest nieomylny. Jego błędy bywają szczególnie zdradliwe, bo wyglądają wiarygodnie: odpowiedź jest płynna, uporządkowana i pewna siebie. Najczęściej spotykane problemy są takie:
Nie ma jednej miary tego, jak dobrze model czyta obrazy. Przy ważnych zadaniach, na przykład przy rozliczeniu firmowym, traktuj wynik jak szkic do sprawdzenia, a nie gotową prawdę.
- Drobny druk i zamazany tekst: cyfra 8 może zostać odczytana jako 6, przecinek jako kropka, a jedna pozycja z paragonu może zniknąć.
- Zmyślanie szczegółów: model potrafi dopowiedzieć brakujący fragment zdania albo nazwę produktu, której na zdjęciu nie ma. To samo zjawisko opisujemy w poradniku o halucynacjach AI.
- Brak kontekstu: model widzi tylko to, co mu pokazałeś. Nie wie, że zdjęcie zrobiono w innym sklepie albo że etykieta została podmieniona.
- Dźwięk w hałasie: rozmowa w tramwaju, w kuchni pełnej garnków albo w hali sklepowej utrudnia rozpoznanie słów.
- Słaba jakość zdjęcia: rozmazane, ciemne, prześwietlone lub robione pod kątem zdjęcia są trudniejsze do odczytania.
- Limity techniczne: duże pliki, długie nagrania i wiele obrazów naraz mogą być niedostępne albo ograniczone, zależnie od aplikacji. Konkretne limity znajdziesz w aktualnym opisie usługi.
Multimodalny model a zwykły czat i program do OCR
Zwykły czat tekstowy pracuje wyłącznie na słowach. Multimodalny dostaje dodatkowe wejścia, takie jak zdjęcia i głos. OCR, czyli rozpoznawanie tekstu na obrazie, to starsza i bardziej wyspecjalizowana technika. Zamienia obraz na tekst, ale poza tym niczego z nim nie robi.
W praktyce różnica wygląda tak: program OCR w skanerze przeniesie stronę książki na tekst bardzo wiernie, ale nie wyjaśni trudnego zdania. Model multimodalny może przeczytać tę samą stronę, streścić ją i odpowiedzieć na pytanie do jej treści. Słabszą stroną jest to, że może zmienić słowo, którego nie był pewien, i nie zawsze to zaznaczy.
Do wielu prostych zadań wystarczy jedno narzędzie. Przy masowym przetwarzaniu wielu podobnych dokumentów zwykle lepiej sprawdza się program zaprojektowany właśnie do tego. Wybieraj według tego, co chcesz osiągnąć, a nie według samego słowa „AI” w opisie.
Jak sprawdzić, co dany model potrafi
Określenie „multimodalny” bywa używane w ofertach różnie. Jedna aplikacja pozwala tylko na tekst, inna przyjmuje zdjęcia, a jeszcze inna rozmowę głosową. Nie zakładaj więc, że skoro program jest nowy, to obsługuje wszystkie tryby.
Zacznij od strony producenta albo od opisu aplikacji. Szukaj informacji o tym, jakie typy plików można dołączać, czy działa rozmowa głosowa i w jakich językach. Sprawdź też, które funkcje są w wersji bezpłatnej, a które w płatnej, bo to się zmienia. Ceny i warunki bierz z aktualnej oferty producenta, nie z artykułów, które mogły się zdezaktualizować.
Jeśli kupujesz sprzęt, na którym chcesz uruchamiać podobne zadania, porównuj konkretne parametry w opisach, a nie same hasła marketingowe. Zanim wybierzesz produkt, zestaw dane z kilku ofert i sprawdź, czego brakuje w każdej z nich.
- Czy model przyjmuje zdjęcia i pliki, a nie tylko tekst?
- Czy rozumie mowę i w jakich językach?
- Jakie są limity rozmiaru plików i długości nagrań?
- Które funkcje są w wersji bezpłatnej, a które w płatnej?
- Czy producent opisuje ograniczenia, a nie tylko zalety?
Bezpieczeństwo i prywatność: co wysyłać, a czego nie
Zdjęcie i nagranie to dane, które mogą zdradzić więcej, niż myślisz. Na paragonie bywa adres sklepu i godzina zakupu, na zdjęciu dokumentu numer, a w nagraniu głos i tło z Twojego domu. Zanim wyślesz plik, zastanów się, co on zawiera.
Nie wysyłaj do AI skanów dowodów, numerów PESEL, danych kart płatniczych, haseł ani dokumentów medycznych innych osób bez ich zgody. Zdjęcia cudzych twarzy udostępniaj tylko wtedy, gdy osoby na nich widoczne się na to zgodziły. Przy pytaniach o przetwarzanie danych osobowych sprawdź zasady u dostawcy usługi i na stronach właściwego urzędu ochrony danych.
Pamiętaj też, że odpowiedź modelu na zdjęcie jest interpretacją, a nie pewnością. W sprawach zdrowia, pieniędzy i prawa nie traktuj jej jak porady. AI nie zastępuje lekarza, a przy decyzjach finansowych i prawnych warto skonsultować się z odpowiednim specjalistą.
Najczęstsze pytania
Czym różni się model multimodalny od zwykłego czatu?
Zwykły czat przyjmuje głównie tekst. Model multimodalny przyjmuje też obrazy, a w wielu aplikacjach dźwięk, i potrafi odpowiedzieć na pytanie dotyczące tych danych. Samo określenie nie gwarantuje jednak, że każda aplikacja obsługuje wszystkie formy, dlatego sprawdź opis konkretnego narzędzia.
Czy AI poprawnie odczyta paragon?
Często dobrze, zwłaszcza gdy zdjęcie jest ostre i równe. Mogą się jednak zdarzyć pomyłki w cyfrach i pominięte pozycje. Sumę i pozycje zawsze sprawdź ręcznie, zanim wpiszesz je do rozliczeń.
Czy model multimodalny rozumie mowę?
Wiele modeli i aplikacji potrafi przyjąć mowę i odpowiedzieć głosem lub tekstem, ale jakość zależy od języka, akcentu, hałasu i konkretnego produktu. Sprawdź w opisie funkcji, czy obsługiwany jest język, którym mówisz.
Czy mogę wysłać zdjęcie dowodu osobistego do AI?
Nie warto tego robić. Dokumenty tożsamości zawierają dane, których nie powinieneś udostępniać w czatach, a nie zawsze wiadomo, gdzie trafią i jak długo będą przechowywane. Jeśli musisz coś odczytać, zasłoń numery i wpisz do rozmowy tylko potrzebne informacje.
Gdzie sprawdzić aktualne możliwości modelu?
Najpewniejsze źródło to strona producenta modelu albo opis aplikacji, z której korzystasz. Ceny, limity i dostępne funkcje zmieniają się, więc odnoś się do aktualnej oferty, a nie do opisów sprzed miesięcy. Przy zakupach sprzętu porównuj parametry bezpośrednio w ofertach sprzedawców.