Conceitos
Classificador de segurança de entrada e saída
Intuição
Imagine um revisor que lê cada mensagem de uma conversa entre uma pessoa e um assistente de IA e carimba "pode" ou "não pode", seguindo um manual de regras que a empresa entrega a ele. Ele olha tanto o que a pessoa escreve quanto o que o assistente responde, porque os dois lados podem causar problemas diferentes. Se o manual mudar, basta entregar a versão nova ao revisor, sem formá-lo outra vez do zero.
Como funciona
O paper Llama Guard parte da recomendação de colocar guardrails em torno das entradas e das saídas de um modelo e usa um próprio LLM (um Llama2-7b com ajuste fino por instruções) como moderador. A tarefa é formulada como seguir uma instrução com quatro ingredientes: as diretrizes (categorias numeradas, com descrição em texto livre do que é seguro e inseguro em cada uma), o tipo de classificação (prompt, a mensagem do usuário, ou resposta, a mensagem do agente), a conversa (um ou vários turnos) e o formato de saída. O modelo escreve 'safe' ou 'unsafe' e, se for 'unsafe', lista em uma nova linha as categorias violadas pelo índice; como o primeiro token da saída é 'safe' ou 'unsafe', a pontuação pode ser lida a partir da probabilidade desse token. Um único modelo cobre prompt e resposta, mudando apenas a redação da instrução. Como as diretrizes entram na própria entrada, a taxonomia é configurável: no treino, o aumento de dados remove categorias da instrução (e, se todas as violadas somem, o rótulo vira seguro), para que o modelo julgue apenas as categorias presentes, e os índices das categorias são embaralhados para evitar a memorização do formato. Para outra política, o paper descreve três caminhos: zero-shot (informar os nomes das categorias, com ou sem descrição), few-shot (2 a 4 exemplos por categoria, aprendizado em contexto sem treinamento) e ajuste fino adicional em outras taxonomias. O conjunto anotado tem 13.997 prompts e respostas, divididos ao acaso na proporção 3:1 entre ajuste fino e avaliação.
Na prática
O paper avalia o Llama Guard como salvaguarda de entrada e saída de assistentes de IA e relata, em AUPRC, resultados acima da API de moderação da OpenAI e da Perspective API no seu conjunto de teste, e competitivos no conjunto de moderação da OpenAI (0,847 em zero-shot e 0,872 com few-shot, contra 0,856 da API). Os próprios autores reconhecem os limites: o conhecimento do modelo é limitado pelos dados de treinamento e pré-treinamento, o ajuste fino foi todo em inglês, eles não afirmam cobertura perfeita da política, e, por ser um LLM, ele pode ser vulnerável a prompt injection e pode gerar conteúdo inadequado se usado como chat em vez de classificador. A taxonomia do paper é um exemplo, não uma medida abrangente de todos os riscos possíveis.
Use em um desenho
Pratique na escola de System Design os casos que dependem deste conceito.