Współczesne narzędzia oparte na modelach językowych (LLM – Large Language Models) wykorzystują różne mechanizmy dostarczania danych wejściowych, aby generować odpowiedzi które są precyzyjne, spójne i kontekstowe. Każdy z tych mechanizmów, często określanych jako „typy pamięci”, pełni kluczową rolę w organizacji i przetwarzaniu danych dostarczanych modelom. W artykule omówię, czym charakteryzują się krótkotrwała pamięć (STM), długotrwała pamięć (LTM), pamięć zewnętrzna (RAG) oraz pamięć konsensusowa, a także jakie są ich zalety i ograniczenia w praktycznym zastosowaniu.

Omówienie rodzajów pamięci

Krótkotrwała pamięć (STM – Short Term Memory)

Krótkotrwała pamięć obejmuje dane dostarczane do modelu w ramach bieżącej sesji. Są to informacje przekazywane modelowi w oknie kontekstowym – jeśli zostanie ono przekroczone, starsze dane mogą zostać odrzucone, co skutkuje utratą części informacji i generowaniem błednych odpowiedzi.

W praktyce STM to:
– Ograniczone okno przetwarzania danych – zazwyczaj kilkadziesiąt do kilku tysięcy tokenów.
– Dynamiczna obsługa kontekstu – model przetwarza tylko dane bieżące, ignorując wcześniejsze rozmowy, jeśli nie są ponownie przekazane.

Kluczowym wyzwaniem w STM jest skuteczne zarządzanie ograniczeniami okna kontekstowego. Niewłaściwe podejście może prowadzić do generowania odpowiedzi nie na temat lub błędnych.

Długotrwała pamięć (LTM – Long Term Memory)

Długotrwała pamięć w narzędziach opartych na LLM polega na dostarczaniu modelowi danych, które rozciągają się poza jednorazowe okno kontekstowe. LTM może mieć dwa główne zastosowania:

  1. Wiedza zakodowana w modelu – podczas procesu uczenia, model zapamiętuje ogromne ilości danych, które są wykorzystywane podczas generowania odpowiedzi. Jest to niezmienna część jego struktury.
  2. Historia konwersacji – dane, które są wielokrotnie przesyłane do modelu w celu zachowania spójności. Może to obejmować pełną historię interakcji użytkownika z systemem.

W kontekście LTM należy uwzględnić:
– Ochronę prywatności – dane z historii konwersacji mogą zawierać wrażliwe informacje, które wymagają szczególnej ochrony.
– Koszty operacyjne – długie dane wejściowe generują większe obciążenia finansowe w systemach korzystających z API.

Pamięć zewnętrzna (RAG – Retrieval-Augmented Generation)

RAG nie jest klasycznym typem pamięci, lecz metodą dynamicznego wzbogacania danych przekazywanych do modelu. Polega na wyszukiwaniu informacji w zewnętrznych bazach danych, dokumentach czy źródłach online i dostarczaniu ich jako kontekst dla modelu.

Cechy RAG:
– Aktualność danych – umożliwia modelowi dostęp do informacji, które nie zostały zakodowane podczas jego trenowania.
– Wsparcie dla specjalistycznych zastosowań – modele mogą odpowiadać na pytania dotyczące wąskich dziedzin, wykorzystując specjalistyczne bazy wiedzy.

Zastosowanie RAG wiąże się jednak z pewnymi wyzwaniami:
– Jakość źródeł danych – wyniki modelu są ściśle zależne od rzetelności dostarczanych informacji.
– Bezpieczeństwo – wykorzystanie zewnętrznych źródeł rodzi pytania o ochronę prywatności i bezpieczeństwo danych.

Pamięć konsensusowa (Consensus Memory)

Pamięć konsensusowa odnosi się do sytuacji, w której wiele agentów wymienia się danymi w celu osiągnięcia wspólnego rozumienia kontekstu. Tego typu mechanizmy są używane w systemach wieloagentowych, gdzie różne jednostki (agenci) muszą współpracować, aby rozwiązać złożone problemy.

Mechanizm ten obejmuje:
– Synchronizację danych – dzięki wspólnym bazom danych czy interfejsom API.
– Współpracę w czasie rzeczywistym – agenci mogą wymieniać się informacjami i uczyć na podstawie doświadczeń innych.

Pamięć konsensusowa pozwala systemom na działanie w sposób bardziej inteligentny i zorganizowany, szczególnie w dynamicznie zmieniających się środowiskach.

Podsumowanie

Dostarczanie danych do modeli językowych w różnych formach – krótkotrwałej, długotrwałej, zewnętrznej czy konsensusowej – jest kluczowe dla ich efektywnego działania. Krótkotrwała pamięć umożliwia obsługę bieżących danych, długotrwała pozwala na spójność w dłuższym okresie, a RAG wspiera dostęp do aktualnych i precyzyjnych informacji. Pamięć konsensusowa zaś optymalizuje współpracę między wieloma agentami.