Três decisões para esta reunião
A primeira tem prazo fixo. A segunda muda a ordem de quase todo o resto.
-
até 11/12/2026
Trocar o modelo do classificador e fechar a brecha de SQL no mesmo pacote
Sem a troca, em 11/12 param os resumos, as etiquetas e o relatório diário. A correção de segurança vai no mesmo pacote.
Recomendação: aprovar agora. Comparar 50 conversas classificadas pelos dois modelos antes de virar.
-
antes do item 7 do escopo
O WhatsApp recebe correções ou só a virada para o site?
A proposta #40 leva todo o suporte para o site, que já tem as travas de segurança. Se a virada sair em até 30 dias, consertar o WhatsApp não se paga.
Recomendação: se a virada sair em até 30 dias, só a virada, com uma trava no WhatsApp até lá (um e-mail consultado por conversa e senha pelo "Esqueci minha senha"). Se demorar mais, o WhatsApp recebe as correções dos itens 7 a 9.
-
ver os 15 itens
Aprovar o escopo de implementação
15 itens, cada um vira uma tarefa. Nenhum foi executado. Os itens 1 a 5 cuidam dos prazos e da medição de custo.
Recomendação: aprovar os itens 1 a 5 agora. Os itens 7 a 9 dependem da decisão 2; os itens 10 a 15 podem ser aprovados independentemente dela.
O que a análise encontrou
Dados de 2.535 conversas do WhatsApp entre 12/10 e 15/11, comparados com a análise anterior (julho a outubro), pela mesma régua.
-
26 diasaté o 1º modelo sair do ar
Dois modelos em uso têm data de desligamento.
O classificador sai do ar em 11/12/2026 e a Rayssa em 14/01/2027. Sem troca, primeiro somem resumo, etiquetas, e-mail do cliente e relatório diário; depois a Rayssa para de responder.
-
US$ 30–82por mês em tokens, total
O gasto com o modelo é baixo.
São cerca de 11,8 mil respostas por mês. A Rayssa responde por US$ 23–75; o resto é classificador e leitura de prints. A faixa existe porque a taxa de cache não foi medida. Cada resposta lê 15,7 mil tokens para escrever 61: quase tudo é o mesmo texto de instruções, repetido.
-
US$ 3–19a Rayssa no modelo substituto
A troca obrigatória é a maior chance de reduzir custo.
No gpt-6-luna, substituto oficial, a parte da Rayssa cai de US$ 23–75 para US$ 3–19 por mês. A qualidade nele ainda não foi medida; a suíte de testes do repositório mede.
-
10×testes contra produção
Os testes gastaram mais que os alunos.
Em 48 horas, a suíte de testes do canal site consumiu 48,9 milhões de tokens, contra 4,7 milhões do WhatsApp real. No site o cache não funciona porque a hora do dia está no começo das instruções.
-
43,2%das conversas com resposta do bot vão para humano
A taxa de transferência não caiu, e a espera piorou.
O volume dobrou, de 36 para 72 conversas por dia. A espera mediana pelo primeiro humano subiu de 11,4 h para 19,7 h, e 18,5% das transferidas ficaram sem nenhuma mensagem humana.
-
19,6% → 5,1%bot falando depois do humano
O que melhorou.
O bot quase parou de se intrometer depois que alguém da equipe responde. Mensagens idênticas repetidas caíram de 14,6% para 10,5%. No site, 9 regras de segurança e fluxo entraram em código entre 14 e 15/11.
-
20%pedem o e-mail 2 vezes ou mais
O que não mudou no WhatsApp.
O bot não recebe a data de hoje, o nome nem o e-mail do aluno. O cancelamento leva em média 2,3 mensagens até o link, e em 42 conversas o link não saiu. Áudio continua recusado (134 conversas).
-
37,1%das conversas com a senha padrão
Risco de dado de terceiro no WhatsApp.
A consulta de matrícula aceita qualquer e-mail digitado, sem limite por conversa e sem conferir o telefone. A resposta traz produto, validade, link e a senha padrão. As travas de titularidade de novembro valem só no site.
-
4 camposabertos a injeção de SQL
Injeção de SQL possível.
Quatro campos que o modelo devolve entram na gravação do banco sem escape e sem lista de valores permitidos.
-
0tokens gravados por conversa
Não há medição contínua.
O campo de tokens é gravado como zero em todas as linhas. A ferramenta de observabilidade (Langfuse) está no repositório, sem estar no ar.
Custo: hoje e nos cenários de troca
Custo mensal da Rayssa no WhatsApp com a carga atual. Cada barra vai do piso (instruções em cache) ao teto (sem cache). Preços da tabela da OpenAI lidos em 15/11/2026.
94% do que o modelo lê é texto fixo. Toda chamada leva 11,9 mil tokens de instruções e ferramentas, contra cerca de 0,7 mil de histórico e mensagem do aluno. Cada vez que o bot consulta uma ferramenta, o texto inteiro é reenviado.
30 dos 32 segundos de resposta são espera. O bot junta por 30 s as mensagens seguidas do aluno antes de responder. No site a resposta mediana sai em 6 s.
- Token
- Pedaço de texto que o modelo lê ou escreve; a OpenAI cobra por milhão.
- Cache
- Desconto para o trecho inicial das instruções que se repete igual entre chamadas.
- Classificador
- Rotina que, 10 minutos depois da conversa parar, resume, etiqueta e alimenta o relatório diário.
- n8n
- Plataforma onde os fluxos da Rayssa rodam.
Segurança e LGPD
O canal site já está mais protegido que o WhatsApp: senha fora da resposta ao visitante, titularidade ligada à sessão, CPF não pedido. A última rodada da suíte no site (15/11) ainda deu reprovado, com 1 vazamento e 1 injeção em 156 conversas; os dois viraram correções já fechadas. Não foi conferido se a suíte rodou de novo depois delas.
| Risco | O que acontece | Gravidade | Correção proposta |
|---|---|---|---|
| Matrícula de terceiro | No WhatsApp, a consulta aceita qualquer e-mail, sem limite e sem conferir o telefone. | Alta | Um e-mail por conversa; conferir o telefone quando houver no cadastro. |
| Senha padrão no chat | 874 conversas (37,1%) com a senha na resposta. | Alta | Mandar ao "Esqueci minha senha", como no site. |
| Injeção de SQL | Urgência, importância, sentimento e nota entram no banco sem escape. | Média | Parâmetros na gravação e lista fechada de valores. |
| Instrução escondida na mensagem | A limpeza de instruções do aluno só existe no site. No WhatsApp, 0 tentativas encontradas em 2.353 conversas. | Média | Levar a mesma regra ao WhatsApp enquanto ele existir. |
| CPF pedido sem uso | Bot citou CPF em 506 conversas; 547 alunos enviaram. A busca só usa e-mail. | Média · LGPD | Tirar o CPF da coleta de dados no WhatsApp. |
| Sem prazo de retenção | Conversas guardadas sem rotina de expurgo no banco e no n8n. | Média · LGPD | Definir prazo e rotina de limpeza (decisão de negócio). |
| Promessa fora da regra | "Direito ao reembolso" afirmado em 43 conversas; prazo de 7 dias negado no 7º dia. | Média | Nunca afirmar direito; data calculada pelo sistema. |
| Texto de print vira instrução | O texto lido da imagem entra junto com a mensagem do aluno. | Baixa | Marcar a descrição como dado. Não testado. |
| Chave de produção chamada "Teste" | Bot, classificador e suíte de testes usam a mesma chave da OpenAI. | Baixa | Chave própria do suporte, com limite e alerta. |
| Bot posta como administrador | O token do Chatwoot é do usuário "Adm Destra". (inferido) | Baixa | Usuário de agente com acesso só às caixas do suporte. |
O que muda para o aluno
Caixa de entrada do WhatsApp, mesma régua nos dois períodos.
| Métrica | 14/07 a 12/10 | 12/10 a 15/11 | Leitura |
|---|---|---|---|
| Conversas por dia | 36 | 72 | Dobrou |
| Transferidas para humano | 42,1% | 43,2% | Igual |
| Atendidas só pelo bot | 36,7% | 45,3% | Melhor |
| Espera até o 1º humano (mediana) | 11,4 h | 19,7 h | Pior |
| Espera até o 1º humano (p90) | 75,1 h | 78,1 h | Igual |
| Transferidas sem resposta humana | 11,5% | 18,5% | Pior |
| Bot pediu e-mail 2 vezes ou mais | 19,6% | 20,0% | Igual |
| Bot falou depois do humano | 19,6% | 5,1% | Melhor |
| Respostas com mais de 3 frases | 35,6% | 42,2% | Mais longas |
"Transferidas sem resposta humana" no período novo inclui conversas dos últimos dias, que ainda podem ser respondidas.
O que daria para resolver sem humano
| Tema | Conversas | O que falta |
|---|---|---|
| Status do pedido de cancelamento | 216 | Consultar o pedido pelo e-mail, ou a página da Central mostrar o status em vez de mandar ao WhatsApp. |
| Chegar ao link de cancelamento | 508 | Uma mensagem com o link, como no site. 42 conversas terminaram sem o link. |
| E-mail pedido de novo | 470 | E-mail da última busca no contexto e memória maior. |
| Lead sem compra | 162 | Canal oficial do comercial nas instruções; hoje o bot manda ao "comercial" sem dizer onde. |
| Áudio | 134 | Transcrever antes do bot. 176 áudios de 1 minuto custam US$ 0,80. |
| Nivelamento "Teste seu inglês" | 109 | A equipe confirmar onde o teste fica hoje; corrigir instruções e base juntos. |
| Datas (validade, prazo de 7 dias) | — | Data de hoje no contexto e "ativa/expirada" calculado pelo sistema. |
As 20 recomendações
"Canal" diz se a recomendação sobrevive à virada para o site. Impacto e esforço em alto, médio e baixo.
| # | Recomendação | Canal | Impacto | Esforço | Custo por mês |
|---|---|---|---|---|---|
| R1 | Trocar o modelo do classificador antes de 11/12 | ambos | Alto | Baixo | menor que hoje |
| R2 | Migrar a Rayssa antes de 14/01, com a suíte como critério | ambos | Alto | Médio | US$ 3–19 |
| R3 | Contexto que muda (hora, aluno) no fim das instruções, para o cache funcionar | site | Médio | Baixo | reduz |
| R4 | Gravar tokens reais e subir o Langfuse | ambos | Médio | Médio | US$ 0 de licença |
| R5 | Fechar a injeção de SQL do classificador | ambos | Médio | Baixo | 0 |
| R6 | Um e-mail por conversa e senha pelo "Esqueci minha senha" | Alto | Médio | 0 | |
| R7 | Mandar data, nome e e-mail do aluno às instruções | Alto | Baixo | +0,1 mil tokens | |
| R8 | Cancelamento em uma mensagem com o link, sem afirmar direito | Alto | Baixo | 0 | |
| R9 | Tirar o CPF da coleta de dados | Médio | Baixo | 0 | |
| R10 | Status do pedido de cancelamento sem humano | ambos | Alto | Médio a alto | 0 |
| R11 | Transcrição de áudio | Médio | Médio | < US$ 1 | |
| R12 | Canal comercial oficial nas instruções e etiqueta de lead | ambos | Médio | Baixo | 0 |
| R13 | Confirmar com a equipe a trilha do IQC e o nivelamento | ambos | Médio | Baixo | 0 |
| R14 | Memória de 30 mensagens e e-mail da última busca no contexto | ambos | Médio | Baixo | até US$ 0,0008 por resposta |
| R15 | Não reenviar ao modelo a mensagem já respondida (#24) | ambos | Médio | Médio | reduz |
| R16 | Chave da OpenAI só do suporte, com limite; outra para a suíte | ambos | Médio | Baixo | 0 |
| R17 | Prazo de retenção das conversas | ambos | Médio | Médio | 0 |
| R18 | Suíte com cenários de WhatsApp, obrigatória a cada mudança de instruções | ambos | Médio | Médio | ~US$ 6 por rodada |
| R19 | Operação humana: fila por tema e resposta em até 4 h úteis | ambos | Alto | fora do bot | 0 |
| R20 | Avaliar a base de conhecimento inteira dentro das instruções, depois de R2 e R3 | ambos | Baixo | Baixo | ~+8 mil tokens em cache |
Não recomendo trocar o n8n por serviço próprio nem contratar plataforma paga de atendimento por IA agora: o modelo custa dezenas de dólares por mês, e os defeitos medidos são de regra, de dado e de operação humana.
Escopo de implementação para aprovar
Cada item vira uma tarefa. Nenhum foi executado. O item destacado é uma decisão, não uma tarefa.
- Classificador fora do gpt-5-mini · comparar 50 conversas, trocar, conferir etiquetas e relatórioaté 11/12
- Gravação do classificador com parâmetros · pode ir junto com o item 1até 11/12
- Medição de custo · tokens reais, chaves separadas, taxa de cache
- Instruções prontas para cache · contexto que muda no fim, medido pela suíte
- Migração do modelo da Rayssa · depois dos itens 3 e 4até 14/01
- Decisão: o WhatsApp recebe correções ou só a virada (#40)? · se a virada sai em até 30 dias, os itens 7 a 9 não se pagam
- WhatsApp, segurança · um e-mail por conversa, senha pelo "Esqueci minha senha", sem CPF
- WhatsApp, contexto e cancelamento · regras do site levadas ao WhatsApp
- Áudio · só se o WhatsApp ficar
- Status do cancelamento · consulta pelo bot ou mudança na página da Central
- Fatos pendentes com a equipe · canal comercial e local do nivelamento
- Memória e mensagem reenviada · 30 mensagens e correção da #24
- Retenção de dados · o prazo é decisão da Destra
- Suíte como porta de entrada de mudança nas instruções
- Operação humana · fora do repositório; os números da seção Alunos são a linha de base
Fora deste escopo: os fluxos do SDR também usam gpt-4.1-mini e gpt-4.1, que saem do ar em 14/01/2027. Já há tarefa aberta para eles.