Please enable JavaScript.
Coggle requires JavaScript to display documents.
Dager (Artigo) - Coggle Diagram
Dager (Artigo)
Materials
-
-
Molelos Alvo
Decoder
LLaM-2 (7B), LLaMa-3.1 (8B), LLaMa-3.1 (70B)
GPT-2 Base (137M), GPT-2 Large (812M)
Encoder Only (Não gera texto, apenas entende)
-
-
Limitações
O ataque assume que o servidor tem acesso aos gradientes (como no federated learning padrão). Se houver mecanismos que ocultem ou protejam estes gradientes, ou se forem modificados (por exemplo, adição de ruído, clipping, ou esquemas de privacidade diferencial), pode dificultar ou impedir o ataque.
-
Embora escalável, a busca (especialmente exaustiva para modelos encoder) pode se tornar muito cara à medida que o vocabulário, tamanho de sequência, ou arquitetura complicam. Há heurísticas envolvidas para manter viável.
Dependência da estrutura de atenção e da low-rankness: se essas propriedades não se mantiverem (por exemplo, com modificações de arquitetura ou treinamento que alterem essas características), o método pode perder eficácia.
-
-
Implicações
A promessa de privacidade no aprendizado federado com modelos de linguagem é mais tênue do que se pensava (não basta “não compartilhar dados")
-
Objetivo
Mostrar que é possível recuperar exatamente o texto original de lotes grandes de entrada (batches) a partir dos gradientes compartilhados em aprendizado federado, mesmo para modelos de linguagem grandes (LLMs), e mesmo para sequências longas de texto
-