ChatGPT Plus czy Claude Pro: który asystent lepiej pisze teksty

Co właściwie porównujemy

Porównanie dotyczy dwóch płatnych planów asystentów opartych na dużych modelach językowych: ChatGPT Plus od OpenAI oraz Claude Pro od Anthropic. Płatny plan daje zwykle dostęp do mocniejszych wariantów modelu, wyższe limity i dodatkowe funkcje, ale nie gwarantuje lepszego pisania w każdym zadaniu.

Kreatywność w tekście to zdolność do nieoczywistego doboru słów, obrazów i struktury, przy zachowaniu sensu i spójności. Styl to z kolei rytm zdań, rejestr, dobór konstrukcji i sposób traktowania czytelnika. Oba pojęcia są mierzalne tylko przy zadaniach o jasno określonym celu.

Nie porównujemy tu wiedzy faktograficznej ani generowania kodu. Te obszary wymagają osobnych testów, z weryfikacją danych w źródłach. Zakres ogranicza się do tekstów: artykułów, opisów, dialogów, streszczeń i redakcji.

Jak działa generowanie tekstu

Model językowy przewiduje kolejny fragment tekstu, zwany tokenem, na podstawie poprzednich fragmentów i instrukcji. Token to nie zawsze słowo: może to być rdzeń wyrazu, końcówka albo znak interpunkcyjny. Dlatego ta sama treść po polsku zwykle zajmuje więcej tokenów niż po angielsku.

Temperatura steruje rozkładem prawdopodobieństw przy wyborze kolejnego tokenu. Niska wartość daje wynik bardziej przewidywalny i zachowawczy, wysoka większą różnorodność i większe ryzyko błędów logicznych. Typowy zakres parametru w interfejsach programistycznych to 0–1 albo 0–2, zależnie od dostawcy.

Parametr top-p ogranicza pulę możliwych tokenów do najbardziej prawdopodobnych. Interfejsy czatu zwykle nie pozwalają ustawiać temperatury wprost, więc część kontroli przenosi się na treść promptu. Istotne jest też okno kontekstu, czyli ilość tekstu, jaką model widzi jednocześnie. Przy długich materiałach model może tracić wcześniejsze szczegóły, zwłaszcza gdy instrukcje są rozproszone.

Wynik zależy więc nie tylko od modelu, lecz także od układu rozmowy: długości instrukcji, przykładów, historii czatu i tego, czy poprzednie wersje tekstu nadal są w kontekście.

Kreatywność: co realnie mierzyć

Kreatywność w tekście ocenia się przez kilka cech. Pierwsza to oryginalność obrazów i metafor: czy tekst unika klisz typu „w dzisiejszym świecie” lub „kluczowa rola”. Druga to konsekwencja narracji, czyli czy bohater, ton i tempo utrzymują się od początku do końca. Trzecia to zdolność do zmiany rejestru bez utraty sensu, na przykład z reportażu na humor lub z eseju na zwięzły komunikat.

W praktyce oba asystenty potrafią napisać tekst, który wygląda dobrze przy pierwszym czytaniu. Różnice ujawniają się przy dłuższej formie. Warto sprawdzić, czy zakończenie nie powtarza wstępu, czy przykłady są konkretne, a argumenty nie opierają się na ogólnikach. Słabe teksty często mają równy, uporządkowany rytm, bez wyraźnego akcentu.

Dobrym sprawdzianem jest zadanie z ograniczeniem: tekst w określonej liczbie słów, bez przymiotników, z jednym konkretnym szczegółem. Model, który lepiej radzi sobie z ograniczeniami, zwykle daje też bardziej przekonującą prozę przy wolnym zadaniu, choć nie jest to reguła.

• Oryginalność metafor i unikanie klisz.
• Spójność narracji i tonu na całej długości tekstu.
• Zdolność do zmiany rejestru bez utraty sensu.
• Konkret zamiast ogólników w przykładach i argumentach.
• Dyscyplina w ograniczeniach: długość, forma, zakazane słowa.

Styl wypowiedzi: rytm, rejestr i polszczyzna

Styl asystenta widać w nawykach. Część modeli chętniej tworzy listy, nagłówki i pogrubienia, nawet gdy tekst ma być ciągły. Inne piszą dłuższe, bardziej rozwinięte zdania i rzadziej sięgają po formatowanie. Obie tendencje można zmieniać instrukcją, ale ich bazowy charakter wpływa na wynik, zwłaszcza przy tekstach długich.

Przy polszczyźnie kluczowe są odmiana, szyk zdania i kalki z angielskiego. Typowe błędy to nadużywanie strony biernej, konstrukcji typu „należy zauważyć” i zwrotów kalkowanych z angielskiego, jak „w kontekście” w miejscu, gdzie wystarczy „przy”. Dobry test to przekład fragmentu angielskiego artykułu na polski z wymogiem naturalności, a potem czytanie na głos.

Warto też sprawdzić rejestr. Tekst dla magazynu technologicznego wymaga innego tonu niż opis produktu w sklepie czy komunikat dla klienta. Model, który dobrze utrzymuje rejestr w dłuższej rozmowie, lepiej nadaje się do pracy redakcyjnej, ale to trzeba zmierzyć na własnych materiałach.

Kontrola wyniku: instrukcje, przykłady i kontekst

Najskuteczniejszym sposobem wpływu na styl jest przykład. Dołączenie dwóch lub trzech akapitów wzorcowego tekstu, z opisem, co w nich działa, zwykle daje lepszy efekt niż najdłuższa lista zasad. Ta technika, nazywana few-shot, pozwala modelowi naśladować rytm i długość zdań, a nie tylko ogólny ton.

Drugim narzędziem są trwałe instrukcje: opis grupy odbiorców, zakazane słowa, wymagana długość i zasady formatowania. Obie usługi oferują mechanizmy przechowywania takich wytycznych, choć ich zakres i sposób działania się zmieniają, więc przed pracą nad dłuższym projektem warto sprawdzić aktualną dokumentację dostawcy.

Trzecim czynnikiem jest kontekst. Długi wątek z wieloma poprawkami może sprawić, że model zacznie przywiązywać nadmierną wagę do wcześniejszych wersji. Przy większych zmianach lepiej zacząć nową rozmowę z czystym promptem, który zawiera tylko aktualne wymagania i tekst bazowy.

Typowe błędy w ocenie

Najczęstszy błąd to ocena na podstawie jednej generacji. Każdy model może wygenerować wyjątkowo dobry albo wyjątkowo słaby wynik, więc wniosek z jednego promptu nie ma wartości statystycznej. Minimalnie warto przeprowadzić trzy do pięciu prób tego samego zadania i porównać rozrzut jakości.

Drugi błąd to mylenie płynności z jakością. Tekst gładki może być pusty, a zdanie poprawne gramatycznie może nic nie mówić. Ocena powinna obejmować konkrety: liczby, nazwy, przykłady i to, czy czytelnik po lekturze wie więcej niż przed nią.

Trzeci błąd to pomijanie weryfikacji faktów. Modele mogą podawać nieprawdziwe daty, nazwiska i parametry w sposób pewny siebie. W tekstach dziennikarskich każdą liczbę i nazwę trzeba sprawdzić w źródle pierwotnym. Czwarty błąd to porównywanie wyników z różnymi instrukcjami, co zmienia wynik bardziej niż sam model.

Jak przetestować obie usługi samodzielnie

Rzetelny test wymaga stałego zestawu zadań: notka prasowa, opis produktu, streszczenie raportu, dialog, tekst z ograniczeniem długości i redakcja cudzego tekstu. Każde zadanie powinno mieć identyczną instrukcję w obu usługach, bez dodatkowego kontekstu, którego jedna nie widzi.

Oceniać należy w ślepej próbie. Redaktor nie powinien wiedzieć, który wynik pochodzi z którego narzędzia. Ocena powinna obejmować czas potrzebny na doprowadzenie tekstu do publikacji, liczbę poprawek merytorycznych i liczbę poprawek stylistycznych. Ten ostatni wskaźnik najlepiej pokazuje praktyczną wartość narzędzia.

Wyniki warto zapisywać i powtarzać po kilku miesiącach, bo modele i ich plany zmieniają się. Test przeprowadzony dziś opisuje dzisiejszy stan, a nie trwały ranking. Najrozsądniej traktować go jako procedurę, którą można powtórzyć, a nie jako ostateczny werdykt.