Janela de Contexto
Também: Contexto
O tanto de texto que o modelo consegue enxergar de uma vez.
Modelos de linguagem não têm memória entre uma chamada e outra. O que parece uma conversa contínua é o histórico inteiro sendo reenviado a cada volta, desde o começo. A janela de contexto é o limite desse envio.
Isso tem duas consequências práticas. A primeira é de custo: o que pesa é o número de voltas, não o tamanho da tarefa. A segunda é de memória: tudo que importa e não está gravado em arquivo desaparece quando a janela enche ou a sessão termina.
Daí a assimetria que vale internalizar: o que está na janela é volátil e caro; o que está em arquivo é durável e barato.
Leia o artigo: Contei o loop do dcode e achei o critério de parada