Un système de Retrieval-Augmented Generation (RAG) complet qui améliore les modèles de langage en les connectant à des sources de données externes. Ce projet combine une indexation vectorielle avancée avec un LLM local ou l'API OpenAI pour fournir des réponses précises et contextuelles.
- 📄 Gestion intelligente des documents - Supporte les formats TXT et PDF avec chunking optimisé
- 🔎 Recherche sémantique - Indexation vectorielle avec TF-IDF ou Sentence Transformers
- 🧠 Modèles de langage flexibles - Fonctionne avec des modèles GGUF locaux (TinyLlama, Llama, Mistral) ou l'API OpenAI
- 🔄 API REST complète - Endpoints pour toutes les fonctionnalités via FastAPI
- 🖥️ Interface utilisateur web - Interface intuitive pour interagir avec le système
Le système est construit avec une architecture modulaire :
RAGSystem/
├── app/
│ ├── static/ # Fichiers statiques (CSS, JS)
│ ├── templates/ # Templates HTML
│ ├── document_processor/ # Traitement des documents
│ ├── vector_store/ # Indexation et recherche vectorielle
│ ├── llm/ # Interface avec les modèles de langage
│ ├── rag_pipeline/ # Pipeline RAG complet
│ ├── api/ # Endpoints API
│ └── main.py # Point d'entrée principal
├── data/ # Données et index
├── models/ # Modèles de langage
├── logs/ # Fichiers de log
└── run_api.py # Script de démarrage
models/tinyllama.gguf, ne sont pas inclus dans ce dépôt car ils dépassent la limite de taille imposée par GitHub (100 Mo par fichier).
Si vous souhaitez utiliser ce projet, veuillez :
- Télécharger le fichier
tinyllama.ggufdepuis Hugging Face - Le placer manuellement dans le répertoire suivant du projet :
models/tinyllama.gguf
❗ Assurez-vous que ce fichier est présent pour que le système fonctionne correctement avec des modèles locaux.
- Python 3.10 ou supérieur
- Pip (gestionnaire de paquets Python)
- 4 Go RAM minimum (8 Go recommandé)
-
Cloner le dépôt
git clone https://github.com/votre-nom/RAGSystem.git cd RAGSystem -
Installer les dépendances
python install_dependencies.py
-
Configuration pour l'API OpenAI (Optionnel)
Créez un fichier
.envà la racine du projet :OPENAI_API_KEY=votre-clé-api -
Télécharger un modèle LLM local (pour l'utilisation sans OpenAI)
python download_model.py
python run_api.pyAccédez à l'interface via votre navigateur à l'adresse : http://127.0.0.1:8000
- Télécharger des documents : Utilisez l'interface web pour ajouter des documents à votre base de connaissances.
- Poser des questions : Entrez vos questions dans la zone de chat pour obtenir des réponses basées sur vos documents.
- Explorer les sources : Chaque réponse affiche les sources utilisées pour la génération, avec des scores de pertinence.
- Chargement et traitement de fichiers TXT et PDF
- Découpage intelligent en chunks avec chevauchement
- Gestion des métadonnées et organisation hiérarchique
- Support pour TF-IDF et Sentence Transformers
- Indexation vectorielle optimisée
- Recherche par similarité cosinus avec seuil de confiance
- Support pour les modèles GGUF (Llama, TinyLlama, Mistral, etc.)
- Intégration avec l'API OpenAI
- Génération de prompts optimisés selon le type de modèle
- FastAPI : Framework API web rapide et moderne
- scikit-learn / FAISS : Bibliothèques d'indexation vectorielle
- ctransformers : Interface pour les modèles de langage locaux
- OpenAI API : Pour l'accès à des modèles de langage avancés
- Bootstrap : Framework CSS pour l'interface utilisateur
Ce code est libre d'utilisation. Toutefois, si vous utilisez ou adaptez ce projet, merci de mentionner l'auteur original:
Développé par Omar Ouchchen
Les contributions sont les bienvenues ! N'hésitez pas à ouvrir une issue ou à soumettre une pull request pour améliorer ce projet.
Pour toute question ou suggestion, veuillez me contacter à ouchcheno@gmail.com.