Métrica acordada
Uma métrica principal, definida com você antes de começar, com o valor mínimo que caracteriza sucesso. Sem métrica combinada não há piloto.
Um piloto curto, com a métrica combinada por escrito antes da primeira linha de código. No fim, o número aparece — e é ele, não a apresentação, que decide se o projeto vai para produção.
A comparação não é contra a perfeição. É contra o método que já está em uso na sua empresa.
Toda empresa já tem uma forma de prever: o comprador que olha o mês passado, a regra de "compra três vezes a média", o gerente que sabe quais clientes estão para sair. Isso se chama linha de base, e é contra ela que o modelo precisa ganhar. Se a previsão da IA erra 18% e o palpite do comprador erra 17%, o projeto não se justifica — e é nosso trabalho dizer isso.
Por isso a prova de valor começa pelo combinado: qual métrica, medida como, sobre qual período, com qual resultado mínimo para o projeto seguir. Tudo por escrito, antes. É o que impede a conversa de terminar em "ficou bacana" — e o que dá a você o direito de encerrar o projeto sem constrangimento.
Validamos sempre no tempo, nunca sorteando linhas ao acaso: o modelo é treinado com o passado e testado no futuro que ele não viu, mês a mês. É a única simulação que se parece com o que vai acontecer em produção — e a que costuma derrubar acurácia bonita demais.
Modelo bom não é o que exibe a maior acurácia no slide. É o que erra menos que o seu método atual, no seu dado, no seu mês mais difícil do ano.
Seis peças que transformam "a IA funcionou" em uma afirmação que se pode conferir.
Uma métrica principal, definida com você antes de começar, com o valor mínimo que caracteriza sucesso. Sem métrica combinada não há piloto.
Medimos o erro do método atual sobre o mesmo período. É o adversário do modelo — e às vezes ele é melhor do que parecia.
Treino no passado, teste no futuro, mês a mês. Nada de embaralhar o histórico para inflar o resultado.
O desempenho aberto por família de produto, por filial, por porte de cliente. Média boa costuma esconder um pedaço ruim.
O erro convertido em capital parado, venda perdida, hora de equipe ou perda evitada. É o número que o financeiro entende.
Documento com resultado, limitação e recomendação — inclusive a de não seguir, quando é o caso.
Sem caixa-preta: você vê a previsão sobre o realizado e o ganho contra o método atual.
De quatro a oito semanas, com um ponto de controle por semana.
Escolhemos um problema estreito o bastante para caber no prazo e largo o bastante para importar. Uma família de produtos, uma filial, um tipo de documento.
Preparo dos dados, construção das variáveis e comparação de algoritmos. Vence o que se sai melhor no teste cego, não o mais moderno.
Rodamos o modelo como se ele estivesse ligado nos últimos meses e medimos o que teria mudado — em erro, em ruptura, em hora de equipe.
Reunião com o número na mesa e três saídas possíveis: seguir para produção, ajustar o recorte, ou encerrar com o aprendizado documentado.
Regras que valem para toda prova de valor da YveTech.
Ser claro sobre o limite é parte de vender com verdade.
A métrica principal muda com a pergunta. O que não muda é combiná-la antes.
| Tipo de problema | Métrica principal | O que ela responde na prática |
|---|---|---|
| Previsão de demanda | erro percentual médio (MAPE) | de quanto, em média, a previsão erra para mais ou para menos |
| Evasão e risco | recall e precisão | quantos casos reais você captura e quantos alarmes falsos gera |
| Leitura de documentos | acerto por campo | quantos campos saem prontos, sem revisão humana |
| Assistente sobre documentos | resposta com fonte e escalonamento | quanto o assistente resolve sozinho e quanto devolve para uma pessoa |
| Qualquer um dos acima | horas e reais | o que muda no caixa e na agenda da equipe |
O que combinamos antes de começar — e cobramos de nós mesmos durante o projeto.
As dúvidas que mais aparecem nesta etapa. Sobre prazo, forma de cobrança e contrato, veja as perguntas frequentes da YveTech.
Depende do recorte, e sai fechada antes de começar. O que sempre vale: o piloto custa uma fração do projeto completo, e existe para você não descobrir tarde demais que o completo não valia a pena.
A etapa termina com o relatório mostrando por que não funcionou — dado insuficiente, problema mal recortado, sinal fraco. Você decide se ajusta o recorte ou encerra. Em nenhum dos casos empurramos para produção o que não provou valor.
O piloto é feito para medir, não para aguentar o dia a dia: roda sobre uma cópia dos dados, sem integração e sem plano B. Colocar em operação é exatamente o trabalho da etapa seguinte.
Não. O modelo é treinado com os seus dados para o seu uso. Quando a solução envolve um provedor de IA externo, a contratação exige cláusula de não-treinamento, e isso é definido com você antes de escrever código.
Conte qual decisão dói mais hoje. Devolvemos um recorte possível, com prazo e métrica, em até 1 dia útil.
As quatro etapas do método e os três recortes da operação — cada uma com o seu próprio detalhamento.