Decorar não é estar pronto: avaliação por prontidão

O relatório que chegou à mesa da diretora de RH dizia duas coisas. Que quase todo mundo tinha concluído o treinamento de atendimento, e que a nota média ficou bem acima do mínimo exigido. Na mesma semana, a auditoria de loja registrou a mesma cena de sempre: cliente esperando no balcão enquanto dois atendentes discutiam quem ia atender.

O relatório não estava errado. Ele estava medindo outra coisa.

Essa distância entre o número que o treinamento produz e o que acontece na loja é o problema central da avaliação em educação corporativa. E ela quase nunca é resolvida comprando um relatório melhor. Resolve-se mudando a pergunta que a avaliação faz.

O que uma prova de memória mede

Uma questão de múltipla escolha do tipo "o que é a técnica de contorno de objeção?" mede uma coisa só: se a pessoa consegue reconhecer uma definição entre quatro alternativas, sentada, sem pressa, sem cliente na frente.

Isso não é inútil. É só insuficiente para a decisão que a empresa precisa tomar. Lembrar uma definição fora de contexto não prevê desempenho em contexto, e o motivo tem nome no diagnóstico de lacuna: quando a pessoa sabe explicar e trava na hora H, a lacuna é de habilidade, não de conhecimento. Uma prova de memória mede a lacuna errada e devolve um número que não significa nada operacionalmente.

Pior: ela devolve um número tranquilizador. A empresa arquiva o resultado, o comportamento no balcão segue igual, e daqui a um ano alguém vai concluir que treinamento não funciona.

Kirkpatrick, e o degrau em que o mercado parou

Donald Kirkpatrick organizou em quatro níveis a forma de avaliar treinamento, e o modelo dele é, com folga, o mais usado no mercado corporativo desde então. Vale conhecê-lo antes de propor qualquer alternativa, porque quem trabalha com treinamento vai encontrar esses quatro níveis em toda proposta comercial.

O modelo é bom. O uso é que é ruim, e a razão é banal: quanto mais alto o nível, mais caro e mais lento é medir. Então o mercado inteiro mede o nível 1, que é grátis, e chama isso de avaliação de treinamento.

A folha de sorriso tem um defeito estrutural: ela pergunta a alguém que acabou de estudar se ele achou bom. Satisfação é uma informação legítima sobre a experiência, e não é uma informação sobre competência instalada. Essa parte se defende sozinha, sem precisar de pesquisa. As duas linhas de pesquisa que vêm a seguir vão além dela, e é bom saber os nomes antes de repetir o argumento numa reunião.

A primeira é de laboratório. Nate Kornell e Robert Bjork publicaram em 2008, na Psychological Science, um estudo em que os participantes aprendiam a reconhecer o estilo de pintores pouco conhecidos. Uma condição agrupava as obras de cada pintor, a outra as intercalava. A condição intercalada produziu desempenho melhor, e a esmagadora maioria dos participantes preferiu a outra, inclusive depois de ver o próprio resultado dizer o contrário. As pessoas julgam o quanto aprenderam pela facilidade da experiência, não pelo que sobra dela. Essa é a raiz do que Bjork chama de dificuldades desejáveis, e o assunto está por extenso em Do exemplo ao domínio.

A segunda vem do próprio treinamento de empresa. Alliger, Tannenbaum, Bennett, Traver e Shotland reuniram, em meta-análise publicada na Personnel Psychology em 1997, os estudos que cruzavam os níveis de Kirkpatrick entre si. A reação afetiva, do tipo "gostei do curso", se relaciona fracamente com o que a pessoa aprendeu e com o que ela passa a fazer no trabalho. As perguntas de reação que se saem melhor são as de utilidade: se o participante enxerga aquilo servindo no trabalho dele.

Daí sai uma consequência prática e barata. Ninguém precisa abolir a folha de satisfação. Precisa trocar a pergunta. "Você gostou?" não informa nada que a empresa possa usar. "O que você consegue fazer amanhã por causa disso?" informa, e é justamente do tipo que a meta-análise viu andando mais junto com aprendizagem e com comportamento.

A pergunta única

A verificação na Versa responde a uma pergunta só:

O quão pronto você está para fazer isso amanhã, no turno, com o cliente na sua frente?

Essa verificação por cena tem duas heranças, e vale separá-las porque elas não são a mesma coisa.

A primeira é a aprendizagem baseada em problema, formulada por Howard Barrows na formação médica. Barrows partiu de uma constatação incômoda: estudantes com excelente desempenho em prova de conteúdo não necessariamente raciocinavam bem diante de um paciente. A saída dele foi inverter a ordem, começando pelo caso e obrigando o aluno a decidir com informação incompleta, que é o que a prática exige. Repare que isso é desenho de currículo, não instrumento de avaliação: Barrows reorganizou o curso inteiro em torno de casos, e não a prova do fim.

A segunda é o princípio da avaliação autêntica, que Julie Dirksen trata no capítulo 12 de Design for How People Learn: se você quer saber se a pessoa consegue fazer, avalie fazendo. É esse princípio que transforma a ordem de Barrows em prova, reproduzindo na verificação as condições em que a competência vai ser usada.

A transposição para o varejo é direta. O aluno não recebe uma definição para reconhecer. Recebe uma cena e precisa decidir, agir ou produzir alguma coisa dentro dela.

O contraste, por inteiro:

O que a verificação devolve hoje

Vale descrever o instrumento sem embelezar, porque este texto pede que você cobre exatamente isso de qualquer fornecedor.

Cada curso do catálogo fecha com uma verificação de um de dois tipos. Na maioria, uma sequência de situações a resolver: o cliente fala, o problema aparece, e o aluno escolhe o que faz. Em alguns, uma entrega produzida no próprio posto de trabalho, como as três de Gestão de Loja e Liderança, em que o gerente entrega o mapa de arrumação da loja dele, um padrão escrito e uma norma comunicada ao time. O resultado sai como nota, com mínimo de oitenta e até três tentativas.

Três coisas nesse desenho não são detalhe administrativo.

A primeira é o número de tentativas. Prova de escola dá uma chance porque o objetivo é classificar. Aqui o objetivo é a pessoa ficar pronta, então errar na primeira volta é parte do percurso, não sentença. A segunda é o que volta junto com a nota: onde a resposta se afastou do que a cena pedia. Nota sem essa parte informa a aprovação e não ensina nada. A terceira é a régua da leitura, que é o ponto de partida da própria pessoa e não a média da turma. Gestão de Loja e Liderança abre com um teste em que o gerente se posiciona nas próprias competências, e é esse começo que dá a referência. Em Gestão de Pessoas no Varejo a comparação é pedida ao próprio gestor no fecho, em "Avalie sua evolução como gestor", cujo objetivo declarado é comparar o próprio nível de prontidão no início e no fim do curso.

É dessa comparação que sai o dado mais útil e menos óbvio. A autopercepção do começo e a evidência do fim divergem com frequência, e a divergência é informação, não erro de medição. Quem se declarava pronto e não sustenta a cena precisa de mais prática antes de assumir sozinho. Quem sustenta a cena e se declarava inseguro precisa de outra coisa: acompanhamento e uma primeira vitória no turno, porque a confiança dele não acompanhou a competência. São dois problemas distintos, e nenhuma nota isolada separa um do outro.

O que a nota não diz

Ela não diz quanta supervisão aquela pessoa ainda precisa. Uma nota bem acima do mínimo numa verificação de atendimento não informa se dá para deixar essa pessoa sozinha no balcão no sábado de véspera de feriado. Quem monta a escala do fim de semana precisa exatamente dessa resposta, e hoje ela vem da entrega de campo, lida pelo gestor, e do acompanhamento no turno. Não vem de um resultado que a plataforma devolva pronto nessa forma.

A Versa quer trocar essa nota por uma escala de prontidão, do "ainda não" ao "consigo e ensino alguém", porque quem distribui gente por turno decide em degraus e não em pontos. Isso é intenção declarada, e está escrito aqui como intenção. Enquanto não estiver no produto, nenhum material da Versa vai descrever a verificação como se ela já saísse assim. Descrever no presente um recurso que ainda está no plano é o mesmo defeito de prometer indicador sem controlar a operação, e as duas coisas se pagam na mesma moeda.

As seis ferramentas

Prontidão não se verifica com um instrumento só. Seis aparecem no desenho dos cursos da Versa, cada uma cobrindo uma coisa que as outras não cobrem.

1. Diagnóstico inicial. O aluno se posiciona no tema e resolve uma primeira situação antes de começar. Serve de linha de base e permite comparação depois.
2. Estudo de caso. Uma cena do mundo dele, com decisão pedida. É o instrumento principal.
3. Resposta falada. A resposta precisa ser dita, não assinalada. O aluno recebe a fala do cliente e devolve com as palavras que usaria no balcão. Isso expõe o que uma alternativa de múltipla escolha esconde: o tom, a ordem em que ele coloca as coisas e o que ele faz quando não existe resposta de manual, como no cliente que simplesmente não tem razão.
4. Jogo com correção na hora. Força a lembrança e devolve o resultado enquanto a memória está fresca.
5. Atividade de campo. Produção no contexto real, sem molde, como o plano de devolutiva de um vendedor de carne e osso que Gestão de Pessoas no Varejo pede ao gestor.
6. Reteste comparado. Uma medida de saída lida contra a de entrada, para que o ganho apareça na comparação e não na impressão de quem passou pelo curso. Gestão de Pessoas no Varejo faz isso de forma explícita no fecho, pedindo ao gestor que compare o próprio nível de prontidão no início e no fim.

Duas palavras técnicas entram aqui, e as duas merecem tradução. Avaliação formativa é a do meio do caminho: baixo risco, tentativa livre, devolutiva na hora, e existe para ajudar o aluno a ficar pronto. Avaliação somativa é a do fim, que registra o nível alcançado e habilita o certificado. A formativa sempre vem antes. Nenhum curso salta essa ordem, porque somativa sem formativa antes é pegadinha com nome técnico.

O limite de dignidade tem razão operacional

Ranking público que humilha e comparação nominal entre alunos estão proibidos. Pegadinha, também. Isso costuma ser lido como delicadeza, e não é: é a condição para o dado existir.

Quem se sente perseguido pela avaliação esconde o que não sabe. Ele acerta a verificação consultando o colega, se declara seguro no diagnóstico para não virar assunto na reunião, e a empresa recebe de volta um relatório bonito sobre uma operação despreparada. A informação que mais interessava, que é onde ainda falta apoio, é exatamente a que o medo apaga primeiro.

Onde a verificação Versa opera, e onde ela para

Voltando aos quatro níveis, para fechar a conta com honestidade.

A verificação por prontidão opera no nível 2 e encosta no nível 3. Ela mede aprendizagem em condições que se parecem com o trabalho, e a atividade de campo produz evidência de aplicação real, o que já é comportamento observado. O nível 1 continua sendo coletado, e continua valendo o que vale: mede experiência, não competência.

O nível 4 depende de variáveis que a Versa não controla. Venda, perda, acidente e rotatividade se movem por escala, sistema, política de preço, liderança e mercado, além de competência. Quando esse nível importa para o cliente, ele precisa ser combinado antes, com indicadores escolhidos em conjunto, linha de base, período de acompanhamento e evidência de campo, tudo previsto em contrato. Fornecedor que promete indicador de negócio sem controlar nenhuma dessas variáveis está vendendo esperança.

E vale a última fronteira, porque ela é a mais esquecida: conclusão de curso não é competência instalada. Certificado atesta percurso e prontidão verificada no momento da avaliação. O que acontece nos trinta dias seguintes decide o resto, e essa parte é da operação.

Se você está comparando fornecedores agora, os critérios que saem daqui viram perguntas de reunião em Como auditar um fornecedor de treinamento. O método inteiro, com os limites declarados por escrito, está em /metodologia.

Sobre as cenas deste texto. As situações descritas aqui são compostas: nascem de operações reais que a Versa acompanhou, com detalhes trocados e casos combinados. Nenhuma identifica um cliente.