Jak analizujemy przekaz

W skrócie

1. 1Selekcja

   Strażnik czyta nowe wpisy i wybiera te z tezą do sprawdzenia.

2. 2Konsylium

   Kilka modeli różnych firm osobno ocenia ten sam wpis.

3. 3Dowody

   Twierdzenia trafiają do wyszukiwarki; ocena faktu wymaga źródła.

4. 4Publikacja

   Diagnoza ukazuje się automatycznie. Człowiek może ją tylko wycofać.

Selekcja wpisów

Czytamy wpisy z obserwowanych kont X polityków i partii z ostatnich 3 dni. Strażnik daje każdemu wstępny wynik — to nie jest siła spinu.

To próba wybranych wypowiedzi, nie cała debata. Więcej diagnoz jednej strony nie znaczy, że ta strona częściej stosuje spin. Brak diagnozy nie oznacza „bez spinu”.

Zakres analizy

Wywiady mają osobny proces: transkrypcja i osobne oceny gościa oraz prowadzącego.

Werdykty i siła spinu

• Spin

  Wyraźne techniki perswazji lub manipulacyjne przedstawienie treści.

• Częściowy spin

  Takie elementy są, ale nie określają całego komunikatu.

• Bez spinu

  Brak istotnego spinu w badanym materiale. To nie certyfikat prawdy.

• Nie da się ocenić

  Dane nie pozwalają rozstrzygnąć oceny.

Werdykt to środkowa ocena Konsylium; przy remisie wybieramy łagodniejszą. Głosy „nie da się ocenić” nie wchodzą do mediany. Nie dopisujemy fikcyjnych głosów tam, gdzie oceniał jeden model.

Zgodność modeli

Modele mogą popełnić ten sam błąd, więc zgoda nie jest dowodem. Docelowo: co najmniej 4 odpowiedzi z 3 firm i model polski; przy limitach usług — 3 odpowiedzi z opisem braków. Aktualny skład

Statusy twierdzeń

• Potwierdzoneźródła wspierają twierdzenie
• Sprzeczne ze źródłamiźródła przeczą twierdzeniu
• Wprowadzające w błądistotne pominięcie, zniekształcenie lub nieuprawniony wniosek
• Niezweryfikowanebrak źródła albo nie da się tego sprawdzić

Status faktu wymaga źródła z wyszukiwania — bez niego twierdzenie zostaje niezweryfikowane. Podobne twierdzenia łączymy przed liczeniem. W zestawieniach grupa „opinie” obejmuje dziś także fakty, których nie udało się sprawdzić.

Rodziny technik

21 kategorii w trzech rodzinach oraz „Inne”. Technika trafia do diagnozy tylko z cytatem z materiału i gdy wskaże ją co najmniej 2 członków Konsylium (przy 1–2 rozstrzygniętych głosach wystarczy jedno wskazanie). Najwyżej 6 technik na diagnozę.

Zgodność z SemEval 2023

SemEval 2023 Task 3 to międzynarodowe zadanie badawcze, którego podzadanie 3 dotyczy rozpoznawania 23 technik perswazji w 6 grupach, także w tekstach po polsku. Poniższe przypisanie jest nasze i orientacyjne. Kategorie dotyczące rzetelności danych, faktów i wnioskowania wykraczają poza ten katalog perswazji językowej. Przypisanie nie oznacza walidacji skuteczności naszego systemu w SemEval.

Techniki SemEval, których nie rozpoznajemy osobno:

• Appeal to Hypocrisy
• Appeal to Popularity
• Consequential Oversimplification
• Slogans
• Conversation Killer
• Appeal to Time
• Obfuscation/Vagueness/Confusion
• Repetition

Słowa nacechowane

• strach i zagrożenie
• gniew i oburzenie
• pogarda i wyśmiewanie
• duma i wspólnota
• współczucie i krzywda

Najpierw bierzemy wskazania modeli (słowo musi być we wpisie), a gdy ich brak — polski słownik. Liczymy różne słowa i zwroty, nie wszystkie wystąpienia. Samo nacechowane słowo nie przesądza o spinie.

Jak liczymy dane

Wykresy obejmują opublikowane, nieukryte diagnozy. Porównania dotyczą 30 dni według daty diagnozy.

Poniżej 10 obserwacji oznaczamy małą próbę. To sygnał ostrożności, nie test statystyczny.

Ograniczenia

• AI może pomylić cytat, kontekst, ironię, ocenę faktu albo kategorię techniki.
• Modele różnych firm mogą mieć wspólne dane treningowe i uprzedzenia.
• Wyszukiwanie nie obejmuje całej wiedzy; źródła bywają nieaktualne.
• Limity usług zmieniają skład Konsylium i zakres badań.
• Wnioski dotyczą tej próby komunikatów — nie oceniamy prawdomówności osób.

Błędy i wycofanie

Operator może wycofać całą diagnozę – zapisujemy datę i powód. Treści, werdyktu ani siły nie poprawia się ręcznie. Każde wycofanie, ukrycie prawne i odpowiedź autora znajdziesz w publicznym rejestrze korekt i odpowiedzi. Karta Konsylium