switched to llama instruct

app.py

@@ -1,5 +1,5 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+from huggingface_hub import login, InferenceClient
 import os
 import cohere
 import pickle
@@ -7,7 +7,9 @@ from annoy import AnnoyIndex
 
 HF_TOKEN = os.getenv("HUGGINGFACE_TOKEN")
 
+login(token=HF_TOKEN)
 client = InferenceClient(token=HF_TOKEN)
+
 system_message = """Tu es un assistant juridique spécialisé dans le Code de l'éducation français. 
 Ta mission est d'aider les utilisateurs à comprendre la législation en répondant à leurs questions.
 
@@ -60,12 +62,13 @@ def query_rag(query, model, with_paths=True):
 
     article_dict = {}
     context_list = []
-    for i in reversed(similar_item_ids[0]):
+    for i in reversed(similar_item_ids[0][:5]):
         article = articles[i]
         context_list.append(article['path']+'\n'+article['text']+'\n---\n')
         article_dict[article['article']] = '**' + article['path'] + '** ' + article['text']
 
     user = 'Question de l\'utilisateur : ' + query + '\nContexte législatif :\n' + '\n'.join(context_list)
+
     messages = [ { "role" : "system", "content" : system_prompt } ]
     messages.append( { "role" : "user", "content" : user } )
 
@@ -105,8 +108,8 @@ with gr.Blocks(title="Assistant Juridique pour le Code de l'éducation (Beta)")
     model = gr.Dropdown(
         label="Modèle de langage",
         choices=[
-            "meta-llama/Meta-Llama-3-70B",
-            "meta-llama/Meta-Llama-3-8B",
+            "meta-llama/Meta-Llama-3-70B-Instruct",
+            "meta-llama/Meta-Llama-3-8B-Instruct",
             "HuggingFaceH4/zephyr-7b-beta",
             "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
             "mistralai/Mixtral-8x22B-v0.1"