إتقان هندسة RAG10 / 10
معمارية مرجعية الـ RAG للإنتاج
كل عنصر في مكانه: الاستيعاب، الاسترجاع الهجين، إعادة الترتيب، التوليد المدعوم بالمصادر، الضمانات، التقييم والتخزين المؤقت — الخطة التي يمكنك نشرها.
إليك النظام الكامل في صفحة واحدة — الخطة التي تحول المقالات التسع السابقة إلى شيء يمكنك نشره.
خط أنابيب الاستيعاب (دون الاتصال)
- نظّف المستندات المصدرية (أزل المحتوى الزائد، أصلح الترميز).
- قسّم بشكل هيكلي، 300–600 رمز، تداخل يقارب 15%.
- أثرِ كل مقطع بالبيانات الوصفية (المصدر، القسم، التاريخ، الرابط).
- ضمّن باستخدام نموذج مصدر معين.
- فهرّس في Postgres/pgvector مع فهرس ANN + فهرس كلمات أساسية.
خط أنابيب الاستعلام (مباشر)
- (اختياري) أعد صياغة الاستعلام باستخدام نموذج صغير.
- استرجع بشكل هجين — متجهات + كلمات أساسية، مندمجة بـ RRF، أفضل 30–50.
- أعد ترتيب باستخدام cross-encoder؛ احتفظ بأفضل 3–8.
- بوابة الثقة — إذا كانت أعلى درجة ضعيفة، أرجع "لا أعرف".
- وليّد مدعومًا بالمصادر، مع استشهادات، من المقاطع المحتفظ بها.
- تحقق من الأمانة في المخرجات؛ خزّن الإجابة مؤقتًا.
الحلقة التي تضمن الصدق
ضعها في إطار التقييم والمراقبة: شغّل مجموعة التقييم على كل تغيير (الاسترجاع، الأمانة، الملاءمة)، وسجّل الاستعلامات الفعلية مع درجات استرجاعها حتى تتمكن من توسيع مجموعة التقييم من الإنتاج.
هذا هو RAG للإنتاج: استرجاع قابل للقياس، توليد مدعوم بالمصادر، صادق تحت عدم اليقين، وميسور التكلفة في الحجم. لديك الآن الخريطة والآليات.
السلسلة — إتقان هندسة RAG
- الجزء 01لماذا يفشل نظام RAG البسيط في الإنتاجعرض البحث المتجه بـ 50 سطر الذي يبهر في دفتر الملاحظات ينهار في اللحظة التي يطرح فيها المستخدمون الحقيقيون أسئلتهم الحقيقية. إليك السبب — والخريطة للخروج منها.
- الجزء 02تقسيم النصوص — القرار الذي يحدد حدودك الأعلىلا يمكنك استرجاع ما قسمته بشكل سيء. تقسيم النصوص هو أكثر الأدوات التي لا تحظى بالتقدير في RAG — والأرخص لتطبيقها بشكل صحيح.
- الجزء 03التضمينات وقواعد البيانات الموجهة 101التضمين يحول المعنى إلى هندسة. قاعدة البيانات الموجهة تجعل تلك الهندسة قابلة للبحث في أجزاء من الثانية. احصل على كليهما بشكل صحيح وتصبح الاسترجاعية سهلة.
- الجزء 04الاسترجاع الهجين — الكلمات الرئيسية + المتجهاتالبحث المتجهي يفهم المعنى لكن يتعثر على المصطلحات الدقيقة والمعرّفات والكلمات النادرة. البحث بالكلمات الرئيسية يحققها ويفتقد إعادة الصياغة. استخدم كليهما.
- الجزء 05إعادة الترتيب — الفوز السريع بالجودةالاسترجاع يحضر لك 30 مقطعاً معقولاً. معيد الترتيب يقرأها مقابل السؤال الفعلي ويرفع الأجزاء الملائمة حقاً إلى الأعلى.
- الجزء 06توجيه المولّد — التأسيس والاستشهاداتالاسترجاع الممتاز يضيع إن تجاهله النموذج أو لم يستطع الإشارة إلى مصادره. التأسيس هو انضباط في تصميم المحفزات، وليس إضافة لاحقة.
- الجزء 07التقييم — لا يمكنك تحسين ما لا تقيسهبدون مجموعة تقييم، كل تغيير في RAG مجرد انطباع. مع واحدة، تضبط التقسيم والاسترجاع والإشارات برقم يخبرك إن كنت ساعدت أم أضررت.
- الجزء 08التعامل مع الهلوسات والضمانات الأمنيةعندما لا يجد الاسترجاع شيئاً، ينسج النموذج الذكي إجابات من العدم. الضمانات الأمنية تحول "الخطأ الواثق" إلى "عدم التأكد الصادق" — الفرق الذي يثق به المستخدمون فعلاً.
- الجزء 09الانضباط في التكلفة والزمن الكامناستعلام RAG يلمس التضمينات وقاعدة بيانات المتجهات وإعادة الترتيب ونموذج اللغة. كل واحد يضيف الميلي ثواني والسنتات. في النطاق الكبير، الانضباط هنا هو الفرق بين الهامش والكارثة.
- الجزء 10معمارية مرجعية الـ RAG للإنتاج — أنت هناكل عنصر في مكانه: الاستيعاب، الاسترجاع الهجين، إعادة الترتيب، التوليد المدعوم بالمصادر، الضمانات، التقييم والتخزين المؤقت — الخطة التي يمكنك نشرها.