Podczas pracy nad generatorem landing page zintegrowanym z AI zauważyłem coś, co można porównać do znalezienia igły w stogu siana – albo raczej do igły, która przemyka bokiem, bo stóg nie został wystarczająco przeszukany. Testując swoją aplikację, trafiłem na problem z moderowaniem treści przy użyciu Moderation API od OpenAI.

Na przykład, wygenerowałem stronę w języku angielskim i wplotłem w nią kilka polskich słów. Efekt? Typowy „pstryk” – API przepuściło tekst, a moje polskie „kwiatki” o jednoznacznym charakterze seksualnym ominęły radar super AI. Wygląda na to, że Moderation API jest trochę jak dev w nowym języku – świetnie radzi sobie z „Hello world”, ale jak przyjdzie zahaczyć o wielowątkowość to się mu appka psuje.

Dlaczego tak się dzieje?

Choć API imponuje skutecznością w wykrywaniu nieodpowiednich treści w języku angielskim, to mieszanie języków w tekście może go wyprowadzić w pole. Wielojęzyczność? Cóż, w tym przypadku API wciąż „uczy się życia”. W moim przykładzie frazy w języku polskim, które bez dwóch zdań powinny zostać oflagowane, zostały zupełnie zignorowane.

Moje rozwiązanie

Nie zamierzałem siedzieć z założonymi rękami, jak moderator przy piwie. Wprowadziłem dodatkową warstwę walidacji opartą na słowach kluczowych w kilku językach, takich jak polski, angielski i inne. Taki mały, ale skuteczny „upgrade” w walce z problematycznymi treściami. Trochę pracy, ale teraz żadne mieszane języki nie zaskoczą mojego generatora.

Wnioski:

  1. Moderation API to solidne narzędzie, ale jeśli tekst wygląda jak „Rosyjska ruletka językowa” – AI może polec. Wielojęzyczne dane wymagają więcej uwagi.

  2. Algorytmy walidacji? Stara, dobra znajomość regexp wciąż potrafi uratować dzień. Tak, wiem, brzmi to staromodnie, ale czasem zastosowanie tablicy słów kluczowych działa najlepiej.

A Ty?
Pracujesz z wielojęzycznymi danymi? Może i Tobie zdarzyły się „dziury” w moderacji treści? Daj znać w komentarzach – wszyscy lubimy historie, które zaczynają się od „a myślałem, że to się nie zdarzy”.