prediction-next-token-v1.0.0

Этот архив содержит инструмент, демонстрирующий вероятности следующего токена с использованием моделей LLM (только LLaMA в формате .gguf?) через llama.cpp/GGML

Инструмент может быть полезен для проверки и измерения результатов тонкой настройки на примерах.
(Пока только на CPU)

Использование

prediction-next-token --model <model_path> --prompt [--hypothesis <первое_слово>]
или сокращённая форма:
prediction-next-token -m <model_path> -p [-h <первое_слово>]

Пример:
prediction-next-token -m "models\llama-3.2-1B-q4_k_m-128k.gguf" -p "Who invented E=mc^2?" -h "Einstein"

Примечания для текста в кодировке UTF-8, отличного от английского (например, русского):

Рекомендуется использовать Терминал Windows:
.\prediction-next-token -m "models\llama-3.2-1B-q4_k_m-128k-ru.gguf" -p "Здравствуйте!" -h "Привет"
chcp 65001

• Это обеспечивает корректную обработку символов UTF-8 как для входных аргументов, так и для вывода в консоль.

Примечания о поведении

• Аргумент --hypothesis необязателен и указывает ожидаемое/необходимое первое слово ответа модели для оценки.
• После тонкой настройки на наборе данных неопределенность (низкая вероятность самого вероятного токена) модели на тестовом наборе должна уменьшаться с течением эпох обучения.