PROMPT ENGINEERING: СОВРЕМЕННЫЕ ПОДХОДЫ И ПЕРСПЕКТИВЫ РАЗВИТИЯ
DOI:
https://doi.org/10.52578/2305-9397-2025-2-5-227-237%20Ключевые слова:
инженерия подсказок, большие языковые модели, нулевое обучение, малое обучение, цепочка рассуждений, самосогласованность, математическое рассуждениеАннотация
Инженерия подсказок (prompt engineering) стала неотъемлемой частью работы с большими языковыми моделями (LLM), особенно в сценариях нулевого (zero-shot) и малого (few-shot) обучения, где модели должны выполнять задачи без или с минимальным количеством примеров. Настоящая статья представляет систематический обзор и сравнительный анализ различных методов инженерии подсказок, сосредотачиваясь на их эффективности в улучшении точности LLM на задачах математического рассуждения. Для анализа были выбраны стандартные датасеты: GSM8K, SVAMP и AQuA. Методы включали нулевое обучение, малое обучение, цепочку рассуждений (CoT), самосогласованность (self-consistency) и другие. Ключевые результаты показывают, что CoT значительно повышает точность, особенно в сочетании с самосогласованностью, особенно для крупных моделей, таких как PaLM-540B, где точность на GSM8K выросла с 25,1% до 74,4% с использованием самосогласованности. Исследование предоставляет ценные рекомендации для исследователей и практиков в выборе подходящих методов для конкретных задач. Дополнительно обсуждаются перспективы применения гибридных подсказок в мультимодальных системах, а также потенциальная интеграция техник когнитивного поиска и само адаптивного обучения в образовательных и промышленных сценариях, что позволит повысить интерпретируемость выводов и ускорить внедрение ИИ-технологий.
Библиографические ссылки
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Advances in Neural Information Processing Systems 33. arXiv preprint arXiv:2005.14165.
Lester, B., Al-Rfou, R., & Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv preprint arXiv:2104.08691.
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv preprint arXiv:2201.11903.
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv preprint arXiv:2203.11171.
Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large Language Models are Zero-Shot Reasoners. arXiv preprint arXiv:2205.11916.
Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2021). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. arXiv preprint arXiv:2107.13586.
Sanh, V., Webson, A., Raffel, C., Bach, S. H., Sutawika, L., Alyafeai, Z., ... & Rush, A. M. (2022). Multitask Prompted Training Enables Zero-Shot Task Generalization. arXiv preprint arXiv:2110.08207.
Zhou, Y., Muresanu, A. I., Han, Z., Paster, K., Pitis, S., Chan, H., & Ba, J. (2022). Large Language Models are Human-Level Prompt Engineers. arXiv preprint arXiv:2211.01910.
Shin, T., Razeghi, Y., Logan IV, R. L., Wallace, E., & Singh, S. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv preprint arXiv:2010.15980.
Reynolds, L., & McDonell, K. (2021). Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm. arXiv preprint arXiv:2102.07350.
Lu, Y., Bartolo, M., Moore, A., Riedel, S., & Stenetorp, P. (2022). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv preprint arXiv:2104.08786.
Zhong, R., Lee, K., Zhang, Z., & Klein, D. (2021). Adapting Language Models for Zero-Shot Learning by Meta-Tuning on Dataset and Prompt Collections. arXiv preprint arXiv:2104.04670.
Schick, T., & Schütze, H. (2021). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. arXiv preprint arXiv:2001.07676.
Gao, T., Fisch, A., & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. arXiv preprint arXiv:2012.15723.
Li, X. L., & Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv preprint arXiv:2101.00190.
Schorcht, S., Buchholtz, N., & Baumanns, L. (2024). Prompt the problem – investigating the mathematics educational quality of AI-supported problem solving by comparing prompt techniques. Frontiers in Education, 9, 1386075.
Zou, X., et al. (2023). Segment Everything Everywhere All at Once. In Advances in Neural Information Processing Systems 36.
Wang, W., et al. (2023). VisionLLM: Large Language Model is also an Open-Ended Decoder for Vision-Centric Tasks. In Advances in Neural Information Processing Systems 36.
Yang, L., et al. (2023). Fine-Grained Visual Prompting. In Advances in Neural Information Processing Systems 36.
Hsu, J., et al. (2023). What's Left? Concept Grounding with Logic-Enhanced Foundation Models. In Advances in Neural Information Processing Systems 36.
