Na questão do tipo IDE remota, você pode deixar o candidato trabalhar com um assistente de IA dentro do ambiente de desenvolvimento, do jeito que ele faria no dia a dia. A conversa com o assistente faz parte da avaliação: fica registrada e aparece no resultado, ao lado do código.
Assim você avalia o código entregue e também a forma como a pessoa usa IA para chegar nele.
Quem pode usar
O assistente da Coodesh na IDE está disponível nos planos pagos, para os workspaces em que a Coodesh liberou o recurso. Para liberar no seu, fale com o time da Coodesh. No plano free, a sessão sempre começa sem assistente.
Ligar o assistente na questão
Na Biblioteca, abra a questão de IDE remota e vá até a Configuração do ambiente. Em Política de IA, escolha Credencial da Coodesh. O padrão é Sem assistente de IA, para que nenhuma questão libere IA por acidente.
Com a credencial da Coodesh escolhida, aparece o campo Nível do assistente:
Explicação e código (padrão): o assistente lê o arquivo indicado e propõe trocas pontuais, que a pessoa aceita ou não. Quando ela pergunta como fazer algo, ele responde com um trecho de código. Ele não entrega a solução completa da questão.
Agente: o assistente percorre o projeto, altera arquivos e roda comandos por conta própria.
Use Explicação e código quando o código precisa ser, na maior parte, da pessoa. Use Agente quando o que você quer observar é como ela conduz um agente: o que pede, o que confere e o que corrige.
As outras opções da lista de Política de IA ainda não podem ser escolhidas.
Ajustar só em uma avaliação
Na aba Seções da avaliação, abra a questão pela seta ao lado do nome. Nos campos Política de IA e Nível do assistente, você troca o que vale só para essa avaliação. Sem escolha, vale o que está na questão, e a opção Herdar da questão mostra qual é.
O limite de uso
Cada questão tem um limite de uso do assistente, combinado entre a sua empresa e a Coodesh. Ele pode ser contado de duas formas:
Por mensagens: conta as mensagens que a pessoa envia ao assistente.
Orçamento igual para todos: cada pessoa recebe a mesma verba de uso por questão, e a IDE mostra quanto dela já foi usado, em porcentagem.
Além do limite da questão, existe o limite mensal do workspace. Se ele já tiver acabado quando a pessoa abrir a IDE, a sessão começa sem o assistente.
O que o candidato vê
Antes de começar a avaliação, na etapa de termos, o candidato confirma que não vai usar ferramentas de IA externas e que está ciente de que o assistente estará disponível e de que as interações ficam registradas para a empresa.
Dentro da IDE, o assistente fica no painel de chat. Na barra de status e no topo do chat, um indicador mostra quanto do limite já foi usado. Perto do fim, o indicador muda de cor. Quando o limite acaba, ele mostra IA: limite atingido, e a pessoa segue a questão com o editor e o terminal.
Na correção
Abra o resultado da pessoa e clique na questão. Logo depois da Revisão automática fica a seção Uso do assistente de IA, montada a partir da conversa com o assistente e do código final. Ela mostra:
Resumo: como a pessoa usou o assistente, em poucas linhas.
Números da conversa: mensagens enviadas, pedidos ligados ao enunciado, pedidos em que o assistente alterou o código e quantas linhas novas vieram do assistente.
Autoria do código final: linhas escritas pelo assistente, copiadas do chat pela pessoa e escritas pela pessoa, em relação ao projeto inicial.
Critérios de uso de IA: cada critério marcado como atende, parcial, não atende ou sem evidência, com os pedidos que servem de evidência.
Sinais: pontos positivos e de atenção no jeito de usar o assistente.
Linha do tempo: cada pedido e resposta, com o minuto em que aconteceu e o efeito no código (alteração aplicada, alteração proposta, trecho no chat ou sem efeito), junto com os commits da pessoa.
Sugestões de perguntas para uma entrevista, para aprofundar o que apareceu na conversa.
A seção não altera a nota. Ela serve de apoio para quem corrige.
Se o assistente não estava disponível na sessão, o resultado diz o motivo, por exemplo quando o limite de uso já tinha sido atingido.
Critérios de uso de IA
Os critérios dizem como a pessoa deve trabalhar com o assistente naquela questão. Toda questão começa com os critérios padrão da plataforma. Para ter critérios próprios, abra a questão na Biblioteca e, em Critérios de uso de IA, clique em Personalizar critérios. Cabem até 8 critérios, com nome de até 80 caracteres e descrição de até 300. Restaurar padrão volta para os critérios da plataforma.
Perguntas frequentes
O uso do assistente muda a nota?
Não. A nota continua vindo da correção do código. A seção de uso do assistente é informação a mais para quem corrige.
O que acontece quando o limite acaba no meio da questão?
O assistente para de responder e o indicador avisa que o limite foi atingido. O ambiente continua funcionando, e a pessoa termina a questão com o editor e o terminal.
Posso usar o assistente em uma questão e bloquear em outra?
Pode. A política vale por questão, e cada avaliação ainda pode ajustar a sua.
Saiba mais: Como usar a questão do tipo IDE remota.