Como ler as taxas de aprovação SQE publicadas sem entrar em pânico

O SRA publica um relatório estatístico sobre uma sessão SQE. Em cerca de quatro horas, alguém capturou uma única figura, cortou todas as advertências e postou-a com uma legenda como "bem, estamos todos condenados". As respostas se acumulam. Alguém anuncia que está adiando. Alguém diz que o exame é injusto. E algumas centenas de candidatos perfeitamente capazes passam a noite sentindo-se piores em relação às suas chances do que no café da manhã.

Já vi esse ciclo se repetir tantas vezes que fiquei genuinamente entediado. A parte frustrante não é o pânico – o pânico é humano. Acontece que os dados subjacentes são realmente úteis e quase ninguém os lê como dados. Eles leram isso como um veredicto.

Então vamos fazer isso corretamente. O que o SRA publica, o que não publica, onde os números o enganam silenciosamente e como converter um relatório oficial em duas ou três mudanças concretas no seu plano de revisão SQE.

O que o SRA realmente publica – e o que deixa de fora

Após cada sessão SQE1 e SQE2, o SRA publica relatórios estatísticos que cobrem a avaliação. O conteúdo e o formato exatos evoluem, portanto, sempre acesse sqe.sra.org.uk para obter o relatório atual, em vez de confiar em um resumo do fórum ou na aparência de um relatório de dois anos atrás.

Em termos gerais, o material publicado tende a cobrir o tamanho do grupo, o desempenho global e a discriminação por características dos candidatos – o tipo de análise de igualdade, diversidade e inclusão que um regulador é obrigado a realizar. Geralmente há comentários sobre como a avaliação foi construída e como o padrão foi definido. Existem notas de rodapé. Sempre há notas de rodapé e são sempre a parte mais interessante do documento.

Aqui está o que o relatório geralmente faz não lhe diz:

• Quanto cada candidato realmente preparou ou por quanto tempo.
• Quantos estavam na primeira tentativa versus uma segunda ou terceira.
• Quem sentou "só para ver como é" depois de três semanas de leitura superficial.
• Em quais assuntos os candidatos individuais foram mais fracos - os detalhes do nível de assunto do FLK simplesmente não são publicados nesse formato.
• Aqualquer coisa sobre você.

Esse último parece simplista. Não é. Uma taxa de aprovação publicada é uma descrição de uma população que você nunca conheceu. Não é uma probabilidade associada ao seu nome.

Quintiles: os candidatos a bits interpretaram mal a maioria

SQE1 recebem seu resultado junto com informações sobre seu desempenho em relação aos outros – relatados em quintis e não como uma tabela classificativa pública. Isso faz as pessoas viajarem em duas direções. Os candidatos que passam, mas ficam em um quintil inferior, às vezes tratam isso como uma nota negra; os candidatos que falham em um quintil superior presumem que estavam "quase lá" de uma forma que garante uma aprovação na próxima vez.

Nenhuma das leituras se sustenta. O quintil é informação posicional sobre uma sessão, contra uma coorte, sobre um conjunto de questões. É útil como um diagnóstico aproximado - uma aprovação no quintil inferior indica que seu conhecimento é mais limitado do que o certificado indica, o que é importante se você estiver caminhando para SQE2 - mas não é uma profecia.

Seis maneiras pelas quais a taxa de aprovação de manchetes engana você silenciosamente

1. A composição da coorte muda entre as sessões. Diferentes sessões atraem diferentes combinações de candidatos: alguns fortemente voltados para aqueles que concluíram um programa estruturado, outros com uma proporção maior de candidatos que estudam por conta própria ou qualificados no exterior, preparando-se para trabalhar em tempo integral. Compare duas sessões e você poderá comparar duas populações diferentes, e não duas dificuldades de exame diferentes.
2. Resitters são dobrados no total. Um número de manchete que combina assistentes de primeira viagem com reincidentes terá uma leitura diferente de um número puro de primeira tentativa. Ambos são legítimos; eles respondem a perguntas diferentes. Verifique qual deles você está olhando antes de tirar conclusões.
3. Subgrupos pequenos produzem números barulhentos. Quando uma divisão abrange um pequeno número de candidatos, uma oscilação de três ou quatro pessoas pode alterar drasticamente a porcentagem. O SRA geralmente sinaliza isso. Os compartilhadores de capturas de tela geralmente não.
4. A correlação é lida como causalidade. Se um relatório mostra que os candidatos com uma formação específica têm um desempenho diferente, em média, isso reflecte todo um emaranhado de factores – tempo de preparação, pressão financeira, primeira língua, acesso a estudo estruturado, se alguém está a rever às 23h após um dia inteiro de QWE. Não diz o que acontecerá com qualquer indivíduo que trabalhe de forma diferente da média.
5. A marca de aprovação não é fixada em um número redondo. Mais sobre isso abaixo, mas o número de perguntas que você precisa muda entre as sessões porque os papéis são definidos como padrão. “Você precisa de 60%” é folclore.
6. As taxas de aprovação não dizem nada sobre a margem. Uma sessão onde muitos candidatos se agrupam logo abaixo da linha e uma sessão onde eles se agrupam bem abaixo produzem números de manchete muito semelhantes com histórias muito diferentes por baixo.

Como a marca de aprovação é definida - e por que isso deve acalmá-lo

SQE1 não são marcados em relação a uma porcentagem fixa que alguém escolheu no ar. O SRA utiliza uma metodologia reconhecida de definição de padrões, na qual especialistas no assunto julgam o desempenho de um candidato "apenas competente" em cada questão, e o padrão exigido para aquele artigo específico é derivado desses julgamentos. Na prática, isso significa que o número bruto de respostas corretas necessárias pode diferir entre as sessões, porque os conjuntos de perguntas diferem em dificuldade.

Duas consequências se seguem, e elas são mais importantes do que qualquer manchete.

Primeiro, você não está competindo contra outros candidatos. Não há cota, nenhuma curva que falhe em uma proporção fixa, nenhum cenário em que uma coorte forte o empurre para fora. Se todos os que estão sentados FLK1 com você forem brilhantes, isso não eleva o nível que você deve superar. Este único fato neutraliza cerca de oitenta por cento da paranóia nas salas de exames.

Em segundo lugar, um “documento duro” é parcialmente autocorrigível. Quando os candidatos saem de uma sessão insistindo que as perguntas eram brutais, o processo de definição de padrões, até certo ponto, já levou em conta a dificuldade das perguntas. Isso não torna agradável um papel desagradável. Isso significa que a relação entre "isso foi horrível" e "portanto eu falhei" é muito mais fraca do que o seu sistema nervoso acredita.

A é a fotografia de uma multidão. Você está se procurando nele e não está nele. Você está fora do enquadramento, segurando a câmera, com vários meses de revisão ainda disponíveis.

A armadilha da taxa básica: um exemplo prático

Vamos tornar isso concreto, porque é na abstração que o pânico se espalha.

Suponha que um relatório publicado mostre que cerca de metade dos candidatos em uma determinada sessão SQE1 foram aprovados. (Historicamente, as taxas de aprovação SQE1 publicadas tendem a oscilar em algum lugar nessa ampla região, com variação real entre as sessões - acesse sqe.sra.org.uk para obter o número real da sessão que lhe interessa e não cite um número de memória.) Uma candidata lê isso e conclui que tem cinquenta por cento de chance. Jogada de moeda. Aterrorizante.

Agora decomponha a multidão. Dentro de qualquer grande coorte SQE1 você encontrará, grosso modo:

• Candidatos que se prepararam sistematicamente em todas as 13 disciplinas do FLK ao longo de seis a doze meses, responderam milhares de perguntas de melhor resposta e realizaram simulações cronometradas.
• Candidatos que se prepararam genuinamente, mas ficaram sem pista em dois ou três assuntos - muitas vezes Contas de Solicitadores, Fideicomissos ou Business Law and Practice, aqueles que as pessoas deixam para o final.
• Candidatos que agendaram a sessão com otimismo, tiveram a vida acontecendo com eles e entraram sabendo que não estavam prontos, mas preferiram depositar a experiência.
• Resitters retornando com uma noção muito mais aguçada do que o exame realmente pede - alguns dos quais resolveram o problema, alguns dos quais repetiram a mesma revisão que falhou na primeira vez.

A média da taxa de manchete é a média de tudo isso. Seu trabalho não é superar a média. Seu trabalho é passar para o primeiro grupo. Essa é uma questão comportamental – horas, cobertura, volume de perguntas, disciplina de tempo – não estatística.

Mini estudo de caso: segunda tentativa de Priya

Priya, uma advogada qualificada no exterior que trabalha em tempo integral, foi reprovada em FLK2 em sua primeira tentativa e ficou em um quintil intermediário. Seu instinto foi ler o relatório publicado, concluir que o exame estava contra os candidatos internacionais e começar a redigir uma postagem irada.

Em vez disso, ela fez algo mais enfadonho e muito mais eficaz. Ela reconstruiu, pergunta por pergunta, o que havia dado errado. Duas coisas surgiram. Ela estava calculando uma média de cerca de 78 segundos por pergunta na prática, mas estava gastando quase dois minutos em padrões de fatos Property Practice na realidade – porque ela estava relendo o cenário em vez de confiar em sua primeira passagem. E a precisão das suas Contas de Solicitadores, na prática, nunca esteve acima de 55%, o que ela ignorou silenciosamente durante três meses, alegando que era "apenas uma pequena parte do papel".

Sua segunda tentativa não envolveu nenhum livro novo. Ela fez cerca de 1.400 questões práticas adicionais, fortemente voltadas para contas e fundos de solicitadores, fez quatro simulações em tempo integral no ritmo adequado e praticou uma regra simples: leia primeiro a linha da pergunta final, depois os fatos, uma vez. Ela passou confortavelmente. A taxa de aprovação publicada para sua sessão era, para ela, irrelevante - não mudou nada que ela fez.

A questão não é que Priya fosse excepcionalmente disciplinada. É que o relatório não lhe disse nada acionável e seu próprio log de erros lhe contou tudo.

Transformando um relatório de taxa de aprovação em três decisões de revisão

Se você for ler o relatório - e deveria, uma vez, corretamente - leia-o com uma caneta e com estas perguntas em mente.

1. O meu volume de preparação está na ordem de grandeza correta?

Os relatórios não informam o número de horas. Mas eles dirão a escala de avaliação: FLK1 e FLK2, 180 questões de melhor resposta cada, realizadas em duas sessões de 2 horas e 33 minutos no mesmo dia para cada trabalho. Isso é muita exposição e 13 assuntos de conhecimento jurídico em funcionamento abaixo dela. Se o seu plano envolve ler notas e fazer algumas centenas de perguntas no final, a aritmética não funciona. O alto volume de perguntas sob pressão de tempo é o mecanismo que realmente desenvolve a competência SQE1 – e é por isso que um banco de perguntas sério é mais importante do que um belo conjunto de notas. O Banco de Perguntas Ant Law SQE existe exatamente para isso: mais de 14.000 MCQs marcados por assunto e subtópico FLK, com um mecanismo de prática que continua empurrando suas áreas fracas de volta para você, em vez de permitir que você revise o contrato com conforto pela quinta vez.

2. Onde estou realmente fraco, em oposição a onde me sinto fraco?

Os candidatos são péssimos na autoavaliação. As pessoas que se sentem inseguras em relação à Lei de Terras estão muitas vezes bem; as pessoas que se sentem bem em cenários de ética de serviços jurídicos rotineiramente não o são, porque as perguntas envolvem distinções sutis entre o que você pode fazer, deve fazer e nãodeve fazer. A análise de precisão no nível do assunto supera sempre a intuição. Observe seus números, classifique em ordem crescente e trabalhe de baixo para cima.

3. Estou praticando no ritmo do exame ou no ritmo da leitura?

O modo de falha mais comum que vejo não é a ignorância. São candidatos que sabem o suficiente, mas nunca ensaiaram o relógio. Simulações cronometradas que refletem o formato real e a proporção de tempo não são enfeites opcionais. Eles são o que impede você de perder seis ou oito minutos nas primeiras vinte perguntas porque você leu demais os padrões dos fatos.

Manter as taxas de aprovação proporcionais em toda a qualificação

Omais um pouco de perspectiva. Passar em SQE1 e SQE2 é uma grande qualificação de advogado na Inglaterra e no País de Gales, mas não é todo o caminho. Tornar-se um advogado no Reino Unido também exige um diploma de qualificação ou equivalente, dois anos de experiência profissional qualificada (QWE) e satisfazer os requisitos de caráter e adequação do SRA. Os candidatos que se fixam numa única percentagem publicada muitas vezes subinvestem no lado QWE – classificando a confirmação, monitorizando o que realmente fizeram, compreendendo o que conta – e depois encontram-se em dificuldades. A estrutura e os detalhes processuais para QWE e caráter e adequação estão em sra.org.uk; leia-os cedo e não no final.

SQE2, aliás, é um animal diferente tanto estatisticamente quanto substantivamente. Ele avalia cinco habilidades práticas - Entrevista com Cliente com nota de presença e análise jurídica, Advocacia, Análise de Casos e Matérias, Pesquisa Jurídica e Redação e Redação Jurídica - em tarefas orais e escritas. Os resultados publicados de SQE2 parecem geralmente mais encorajadores do que SQE1, o que faz sentido intuitivamente: a coorte já limpou um filtro substancial e a maioria está mais avançada na prática. Não transplante suas ansiedades SQE1 por atacado para ele.

A breve lista de verificação para a próxima vez que um relatório for lançado

1. Leia o relatório SRA real em sqe.sra.org.uk, não a captura de tela.
2. Identifique se o número abrange todos os candidatos ou apenas as primeiras tentativas.
3. Leia as notas de rodapé sobre tamanhos de subgrupos antes de tirar qualquer conclusão sobre “pessoas como eu”.
4. Lembre-se de que o padrão é referenciado por critérios – você não está competindo contra a coorte.
5. AFaça uma pergunta: isso muda algo que devo fazer esta semana? Se não, feche a aba.
6. Vá e faça cinquenta perguntas.

Essa última etapa é apenas meia piada. O antídoto confiável para o medo estatístico são os dados sobre você. Uma taxa de aprovação publicada descreve estranhos; sua própria tendência de precisão, seu livro de respostas erradas e suas pontuações simuladas cronometradas descrevem você, e apenas o segundo conjunto responde ao esforço.

Então aqui está o próximo passo prático. Escolha seus dois assuntos FLK mais fracos - aqueles que você tem evitado, você sabe quais são - e faça um conjunto cronometrado de trinta perguntas em cada uma esta semana, depois leia todas as explicações, incluindo aquelas que você acertou por sorte. Se você quiser um lugar para fazer isso corretamente, com perguntas FLK1 e FLK2 marcadas por subtópico, simulações completas que refletem o tempo real e um tutor de IA que você pode interrogar quando uma explicação de resposta não chega, tente o Banco de perguntas Ant Law SQE em antlaw.ai. Dúvidas sobre como estruturar sua revisão? Escreva-nos para [email protected] - nós lemos todos eles.