ARES Nano-SLM Conversational 🇧🇷

O menor modelo conversacional funcional do mundo com 9.37M parâmetros, 100% brasileiro

📌 Sobre o Modelo

O ARES Nano-SLM Conversational é o córtex conversacional do projeto ARES — um modelo de linguagem criado do zero, sem dependência de arquiteturas externas como LLaMA, GPT ou Qwen.

Este modelo foi treinado especificamente para conversação em português brasileiro, com foco em diálogo direto e natural. Ele não foi treinado para saber tudo sobre o mundo — seu objetivo é conversar, responder e interagir sem viés de assistente virtual servil.

Este não é um chatbot de perguntas e respostas gerais. É um modelo base conversacional, sem viés de instrução, projetado para ser o núcleo de uma entidade digital autônoma.

🧠 Arquitetura

Tipo: Causal Language Model (CLM)
Parâmetros: 9.37M
Camadas: 10
Hidden Size: 160
Attention Heads: 4
Vocabulário: 32.768 tokens
Contexto Máximo: 1024 tokens
Arquitetura: 100% própria — AresModel (sem herança de LlamaConfig ou similares)
Tokenizador: BPE nativo treinado em Wikipedia PT-BR (sem dependência externa)

🇧🇷 Soberania Linguística

O tokenizador foi treinado do zero em 50.000 artigos da Wikipedia em português brasileiro, gerando um vocabulário de 32.768 tokens nativos — sem reaproveitamento de tokenizadores de modelos estrangeiros como Qwen, LLaMA ou GPT.

Isso garante:

Tokenização eficiente para o português brasileiro
Zero dependência de empresas estrangeiras
Vocabulário adaptado à língua e cultura brasileira

🎯 Para que serve

Este modelo é adequado para:

Base conversacional para agentes de IA locais
Fine-tuning para domínios específicos em português
Pesquisa sobre modelos ultra-leves e eficiência de parâmetros
Integração como córtex linguístico em sistemas autônomos

Este modelo não é adequado para:

Respostas factuais precisas sobre o mundo
Substituição de modelos grandes em tarefas de raciocínio complexo
Uso direto sem fine-tuning adicional para tarefas específicas

📊 Treinamento

Etapa	Detalhes
Pré-treino	Wikipedia PT-BR — 4.000 artigos, 60.000 steps
Fine-tuning	Dataset conversacional PT-BR — 10.000 exemplos, 10 epochs
Hardware	NVIDIA RTX 3050 Laptop (4GB VRAM)
Tempo total	~2 horas
Framework	PyTorch + HuggingFace Transformers

🚀 Como usar

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("AresAGI/ARES-Nano-SLM-Conversational")
model = AutoModelForCausalLM.from_pretrained("AresAGI/ARES-Nano-SLM-Conversational")

prompt = "<|im_start|>user\noi ares<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=50,
        temperature=0.7,
        do_sample=True,
        repetition_penalty=1.3
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚠️ Limitações

Modelo base conversacional — requer fine-tuning para tarefas específicas
Não possui conhecimento factual abrangente sobre o mundo
Respostas podem ser inconsistentes sem contexto adequado
9.37M parâmetros impõem limitações naturais de capacidade

📜 Licença

MIT License — uso livre para pesquisa e aplicações comerciais.

👤 Criador

André Luiz Facincani
Pesquisador independente em AI — Projeto ARES

🔗 Modelos Relacionados

ARES-Nano-SLM — Modelo de extração de intenção (9.37M)

Downloads last month: 138

Safetensors

Model size

9.5M params

Tensor type

F32