МЕТОДИ РЕАЛІЗАЦІЇ RETRIEVAL-AUGMENTED GENERATION У ПОЄДНАННІ З СУЧАСНИМИ ВЕЛИКИМИ МОВНИМИ МОДЕЛЯМИ
DOI: 10.31673/2786-8362.2025.012843
Анотація
Розглянуто сучасні методи генерації з
доповненням пошуком (Retrieval-Augmented Generation, RAG) у контексті інтеграції з великими
мовними моделями GPT-4 та відкритими моделями рівня GPT-4 (GPT-4o). Проаналізовано
експериментальні результати 2023-2025 років із відкритих джерел (Arxiv, HuggingFace,
PapersWithCode), які демонструють переваги нових підходів: RAG 2.0 із спільним навчанням
компонентів, адаптивний динамічний пошук, генеративні підказки для ретривера, self-refine
pipeline’и із зворотним зв’язком, модульну архітектуру для інтеграції API-моделей. Показано, як ці
інновації долають недоліки традиційного RAG – знижують рівень «галюцинацій» та підвищують
фактичну точність відповідей. Наведено опис механізмів моделей, структурні схеми роботи
системи, табличне порівняння метрик (рівень галюцинацій, достовірність відповіді, прецизійність
пошуку). Обґрунтовано потенціал використання вдосконаленого RAG у інформаційних системах,
чат-ботах і аналітичних платформах. Сформульовано перспективну ідею подальшого розвитку –
інтеграція RAG з динамічно оновлюваними базами знань та пошуковими API для підвищення
актуальності відповідей.
Ключові слова: великі мовні моделі, генерація з доповненням пошуком, RAG 2.0, динамічний
ретривер, self-reflection, галюцинації LLM, фактична достовірність
Список використаної літератури
1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / Lewis M. et al.
NeurIPS, 2020. URL: https://medium.com/@adnanmasood/contextually-enriched-knowledgeenhanced-and-externally-grounded-retrieval-models-for-fun.
2. RAG 101: Demystifying Retrieval-Augmented Generation Pipelines / Wolff H. NVIDIA
Technical Blog, 2023. URL: https://developer.nvidia.com/blog/rag-101-demystifying-retrievalaugmented-generation-pipelines.
3. Self-RAG: Self-Reflective Retrieval-Augmented Generation / Asai A. et al.
arXiv:2310.11511, 2023. https://doi.org/10.48550/arXiv.2310.11511.
4. Contextual AI. Introducing RAG 2.0 / Kiela D. Medium blog post, 2024. URL:
https://medium.com/@jackdrummond_16745/introducing-rag-2-0-revolutionising-ai-and-llmdevelopment-71a1f85cc0dd.
5. Active Retrieval-Augmented Generation / Mallen E. et al. arXiv: 2409.11136, 2023. URL:
https://doi.org/10.48550/arXiv.2409.11136.
6. Contextually Enriched, Knowledge-Enhanced, and Externally Grounded Retrieval Models /
Masood A. Medium, 2025.
7. Promptriever: Promptable Retrieval Models / Weller O. et al. EMNLP, 2024 (preprint). URL:
https://medium.com/@techsachin/promptriever-first-zero-shot-promptable-instruction-trainedretriever-model-72e9f2eecbb2.
8. Speculative RAG: Enhancing RAG through Drafting / Wang Z. et al. arXiv:2407.08223, 2024.
URL: https://doi.org/10.48550/arXiv. 2407.08223.
