Comment lire les taux de réussite SQE publiés sans paniquer

Le SRA publie un rapport statistique sur une séance SQE. En quatre heures environ, quelqu'un a capturé une seule figure, supprimé toutes les mises en garde et l'a publiée avec une légende du type "Eh bien, nous sommes tous condamnés". Les réponses s’accumulent. Quelqu’un annonce qu’il reporte. Quelqu’un d’autre dit que l’examen est injuste. Et quelques centaines de candidats parfaitement capables passent la soirée à se sentir moins bien quant à leurs chances qu'au petit-déjeuner.

J'ai vu ce cycle se répéter suffisamment de fois pour m'ennuyer vraiment. Ce qui est frustrant, ce n’est pas la panique : la panique est humaine. Le problème est que les données sous-jacentes sont réellement utiles et que presque personne ne les lit comme des données. Ils l'ont lu comme un verdict.

Alors faisons cela correctement. Ce que SRA publie, ce qu'il ne publie pas, où les chiffres vous induisent en erreur et comment convertir un rapport officiel en deux ou trois changements concrets à votre plan de révision SQE.

Ce que SRA publie réellement — et ce qu'il laisse de côté

Après chaque séance SQE1 et SQE2, le SRA publie un rapport statistique couvrant l'évaluation. Le contenu exact et le format évoluent, alors rendez-vous toujours sur sqe.sra.org.uk pour le rapport actuel plutôt que de vous fier à un résumé d'un forum ou à ce à quoi ressemblait un rapport il y a deux ans.

D'une manière générale, les documents publiés ont tendance à couvrir la taille de la cohorte, les performances globales et la répartition par caractéristiques des candidats – le type d'analyse de l'égalité, de la diversité et de l'inclusion qu'un régulateur est tenu de réaliser. Il y a généralement des commentaires sur la manière dont l'évaluation a été construite et sur la définition des normes. Il y a des notes de bas de page. Il y a toujours des notes de bas de page, et elles constituent toujours la partie la plus intéressante du document.

Voici ce que le rapport vous dit généralement : not :

• Combien de temps chaque candidat a réellement préparé, ou pendant combien de temps.
• Combien ont fait une première tentative par rapport à une deuxième ou une troisième.
• Qui s'est assis "juste pour voir à quoi ça ressemble" avec trois semaines de lecture rapide derrière eux.
• Dans quelles matières les candidats individuels étaient les plus faibles — les détails du sujet FLK ne sont tout simplement pas publiés sous cette forme.
• Rien sur vous.

Ce dernier semble désinvolte. Ce n'est pas le cas. Un taux de réussite publié est une description d’une population que vous n’avez jamais rencontrée. Ce n'est pas une probabilité attachée à votre nom.

Quintiles : les bits candidats ont été mal interprétés le plus

SQE1 reçoivent leur résultat ainsi que des informations sur leurs performances par rapport aux autres – rapportés par quintiles plutôt que sous forme de classement public. Cela fait trébucher les gens dans deux directions. Les candidats qui réussissent mais atterrissent dans un quintile inférieur traitent parfois cela comme une note noire ; les candidats qui échouent dans un quintile supérieur supposent qu'ils y étaient « presque », de manière à garantir leur réussite la prochaine fois.

Aucune des deux lectures ne tient le coup. Le quintile est une information de position sur une séance, par rapport à une cohorte, sur un ensemble de questions. C'est utile comme diagnostic approximatif : une réussite dans le quintile inférieur vous indique que vos connaissances sont plus minces que ce que le certificat implique, ce qui est important si vous vous dirigez vers SQE2 - mais ce n'est pas une prophétie.

Six façons dont un taux de réussite global vous induit en erreur

1. La composition des cohortes change d'une séance à l'autre. Différentes séances attirent différentes combinaisons de candidats : certaines sont fortement axées sur ceux qui ont suivi un programme structuré, d'autres avec une plus grande proportion de candidats autodidactes ou qualifiés à l'étranger se préparant à un travail à temps plein. Comparez deux séances et vous comparerez peut-être deux populations différentes, et non deux difficultés d'examen différentes.
2. Les réitérants sont intégrés au total. Un chiffre global qui mélange les nouveaux gardiens et les réitérants se lira différemment d'un chiffre purement de première tentative. Les deux sont légitimes ; ils répondent à des questions différentes. Vérifiez lequel vous regardez avant de tirer des conclusions.
3. Les petits sous-groupes produisent des nombres bruyants. Lorsqu'une répartition couvre un petit nombre de candidats, un changement de trois ou quatre personnes peut faire varier le pourcentage de manière spectaculaire. Le SRA le signale généralement. Les partageurs de captures d'écran ne le font généralement pas.
4. La corrélation est interprétée comme un lien de causalité. Si un rapport montre que les candidats ayant un parcours particulier obtiennent des résultats différents en moyenne, cela reflète tout un enchevêtrement de facteurs : le temps de préparation, la pression financière, la langue maternelle, l'accès à des études structurées, le fait que quelqu'un révise à 23 heures après une journée complète de QWE. Cela ne vous dit pas ce qui arrivera à toute personne qui travaille différemment de la moyenne.
5. La note de passage n'est pas fixée à un nombre rond. Plus d'informations à ce sujet ci-dessous, mais le nombre de questions dont vous avez besoin change d'une séance à l'autre car les épreuves sont définies de manière standard. "Il vous faut 60%" c'est du folklore.
6. Les taux de réussite ne disent rien de la marge. Une séance où de nombreux candidats se regroupent juste en dessous de la ligne et une séance où ils se regroupent bien en dessous produisent des chiffres très similaires avec des histoires très différentes en dessous.

Comment la note de passage est fixée – et pourquoi cela devrait vous calmer

SQE1 ne sont pas notés en fonction d'un pourcentage fixe choisi par quelqu'un. Le SRA utilise une méthodologie de normalisation reconnue dans laquelle des experts en la matière jugent comment un candidat « juste compétent » se comporterait pour chaque question, et la norme requise pour cet article particulier est dérivée de ces jugements. En pratique, cela signifie que le nombre brut de réponses correctes nécessaires peut différer d'une séance à l'autre, car les séries de questions diffèrent en difficulté.

Deux conséquences s’ensuivent, et elles comptent plus que n’importe quel chiffre.

Tout d'abord, vous n'êtes pas en compétition avec d'autres candidats. Il n'y a pas de quota, pas de courbe d'échec dans une proportion fixe, pas de scénario dans lequel une forte cohorte vous exclut. Si tous ceux qui sont assis à FLK1 avec vous sont brillants, cela ne relève pas la barre que vous devez franchir. Ce seul fait désamorce environ quatre-vingts pour cent de la paranoïa des salles d’examen.

Deuxièmement, un « papier dur » est en partie autocorrectif. Lorsque les candidats sortent d'une séance en insistant sur le fait que les questions étaient brutales, le processus d'établissement de normes a déjà, dans une certaine mesure, pris en compte la difficulté des questions. Cela ne rend pas un mauvais journal agréable. Cela signifie que la relation entre « c'était horrible » et « donc j'ai échoué » est bien plus faible que votre système nerveux ne le croit.

A est une photographie d’une foule. Vous vous y cherchez et vous n’y êtes pas. Vous vous trouvez hors du cadre, tenant l'appareil photo, avec plusieurs mois de révision encore à votre disposition.

Le piège du taux de base : un exemple concret

Rendons cela concret, car c'est dans l'abstraction que la panique se développe.

Supposons qu'un rapport publié montre qu'environ la moitié des candidats à une séance SQE1 donnée ont réussi. (Historiquement, les taux de réussite publiés au SQE1 ont eu tendance à osciller quelque part dans cette vaste région, avec de réelles variations entre les séances – rendez-vous sur sqe.sra.org.uk pour connaître le chiffre réel de la séance qui vous intéresse, et ne citez pas de chiffre de mémoire.) Une candidate lit cela et conclut qu'elle a cinquante-cinquante chances. Tirage au sort. Terrifiant.

Maintenant, décomposez la foule. Au sein de toute grande cohorte SQE1, vous trouverez, grosso modo : 

• Candidats qui se sont préparés systématiquement dans les 13 matières FLK pendant six à douze mois, ont répondu à des milliers de questions à meilleure réponse et ont participé à des simulations chronométrées.
• Des candidats qui se sont vraiment préparés dur mais qui ont manqué de piste sur deux ou trois sujets – très souvent les comptes d'avocats, les fiducies ou Business Law and Practice, ceux que les gens laissent jusqu'à la fin.
• Les candidats qui ont réservé la séance avec optimisme, ont vu la vie leur arriver et sont entrés en sachant qu'ils n'étaient pas prêts mais préférant mettre l'expérience en banque.
• Resitters reviennent avec une idée beaucoup plus précise de ce que l'examen demande réellement : certains d'entre eux ont résolu le problème, d'autres ont répété la même révision qui avait échoué la première fois.

Le taux global fait la moyenne de tous ces éléments. Votre travail n'est pas de battre la moyenne. Votre travail consiste à vous déplacer dans le premier groupe. Il s'agit d'une question comportementale (heures, couverture, volume de questions, discipline temporelle) et non statistique.

Mini étude de cas : la deuxième tentative de Priya

Priya, une avocate diplômée à l'étranger et travaillant à temps plein, a échoué FLK2 dès sa première tentative et s'est retrouvée dans un quintile intermédiaire. Son instinct a été de lire le rapport publié, de conclure que l'examen était défavorable aux candidats internationaux et de commencer à rédiger un message en colère.

Au lieu de cela, elle a fait quelque chose de plus ennuyeux et de bien plus efficace. Elle a reconstitué, question par question, ce qui n'allait pas. Deux choses sont ressorties. Elle avait passé en moyenne environ 78 secondes par question lors de l'entraînement, mais elle passait près de deux minutes sur des modèles de faits Property Practice dans la réalité – parce qu'elle relisait le scénario plutôt que de se fier à sa première passe. Et dans la pratique, l'exactitude de ses Solicitors Accounts n'avait jamais dépassé environ 55 %, ce qu'elle avait discrètement ignoré pendant trois mois au motif qu'il ne s'agissait que de « une petite partie du journal ».

Sa deuxième tentative ne concernait aucun nouveau manuel. Elle a répondu à environ 1 400 questions pratiques supplémentaires, fortement axées sur les comptes et les fiducies des avocats, a passé quatre simulations à temps plein au rythme approprié et a appliqué une règle simple : lire d'abord la dernière ligne de questions, puis les faits, une fois. Elle est passée confortablement. Le taux de réussite publié pour son examen n'était, pour elle, pas pertinent – ​​cela n'avait rien changé à ce qu'elle faisait.

Le problème n’est pas que Priya était particulièrement disciplinée. C'est que le rapport ne lui disait rien de concret et que son propre journal d'erreurs lui disait tout.

Transformer un rapport de taux de réussite en trois décisions de révision

Si vous avez l’intention de lire le rapport – et vous devriez, une fois, correctement – ​​le lire avec un stylo et ces questions à l’esprit.

1. Mon volume de préparation est-il du bon ordre de grandeur ?

Les rapports ne vous indiqueront pas le chiffre des heures. Mais ils vous indiqueront l'échelle de l'évaluation : FLK1 et FLK2, 180 questions à meilleure réponse chacune, réparties en deux séances de 2 heures 33 minutes le même jour pour chaque épreuve. Cela représente beaucoup d'exposition et 13 sujets de connaissances juridiques fonctionnels en dessous. Si votre plan implique de lire des notes et de répondre à quelques centaines de questions à la fin, le calcul ne fonctionne pas. Un volume élevé de questions sous la pression du temps est le mécanisme qui développe réellement les compétences SQE1 – c'est pourquoi une banque de questions sérieuses compte plus qu'un bel ensemble de notes. La banque de questions Ant Law SQE existe exactement pour cela : plus de 14 000 MCQs étiquetés par sujet et sous-thème FLK, avec un moteur d'entraînement qui continue de vous repousser vos points faibles au lieu de vous permettre de réviser confortablement votre contrat pour la cinquième fois.

2. Où suis-je réellement faible, par opposition à là où je me sens faible ?

Les candidats sont mauvais en matière d'auto-évaluation. Les gens qui se sentent fragiles face au droit foncier se portent souvent bien ; les personnes qui se sentent bien dans les scénarios d'éthique des services juridiques ne le sont généralement pas, car les questions portent sur des distinctions fines entre ce que vous may faites, must faites et ne devez pas faire. Les analyses de précision au niveau du sujet surpassent à chaque fois l’intuition. Regardez vos chiffres, triez par ordre croissant, travaillez à partir du bas.

3. Est-ce que je m'entraîne au rythme des examens ou au rythme de la lecture ?

Le mode de défaillance le plus courant que je vois n’est pas l’ignorance. Ce sont des candidats qui en savent assez mais qui n'ont jamais répété l'horloge. Les simulations chronométrées qui reflètent le format et le rapport de synchronisation réels ne constituent pas une garniture facultative. C'est ce qui vous évite de perdre six ou huit minutes sur les vingt premières questions parce que vous avez trop lu les faits.

Maintenir les taux de réussite proportionnellement au sein de l'ensemble de la qualification

Encore un peu de perspective. Réussir SQE1 et SQE2 est une étape importante de la qualification d'avocat en Angleterre et au Pays de Galles, mais ce n'est pas tout le parcours. Devenir avocat au Royaume-Uni nécessite également un diplôme ou équivalent, deux ans d'expérience professionnelle admissible (QWE) et satisfaire aux exigences de caractère et d'aptitude du SRA. Les candidats qui se concentrent sur un seul pourcentage publié sous-investissent souvent dans le côté QWE – trier la confirmation, suivre ce qu'ils ont réellement fait, comprendre ce qui compte – et se retrouvent ensuite à se démener. Le cadre et les détails de la procédure pour QWE, ainsi que son caractère et son adéquation, se trouvent sur sra.org.uk ; lisez-les tôt plutôt qu'à la fin.

SQE2, soit dit en passant, est un animal différent, tant sur le plan statistique que substantiel. Il évalue cinq compétences pratiques : entretien avec les clients avec note de présence et analyse juridique, plaidoyer, analyse de cas et d'affaires, recherche juridique et rédaction et rédaction juridiques – à travers des tâches orales et écrites. Les résultats publiés pour SQE2 ont généralement semblé plus encourageants que pour SQE1, ce qui est logique : la cohorte a déjà franchi un filtre substantiel et la plupart sont plus avancées dans la pratique. Ne transplantez pas dessus vos angoisses SQE1.

A courte liste de contrôle pour la prochaine fois qu'un rapport sera publié

1. Lisez le rapport SRA actuel sur sqe.sra.org.uk, pas la capture d'écran.
2. Indiquez si le chiffre couvre tous les candidats ou uniquement les premières tentatives.
3. Lisez les notes de bas de page sur la taille des sous-groupes avant de tirer des conclusions sur les « gens comme moi ».
4. Rappelez-vous que la norme est référencée par des critères : vous n'êtes pas en concurrence avec la cohorte.
5. APosez une question : est-ce que cela change quelque chose que je devrais faire cette semaine ? Si non, fermez l'onglet.
6. Allez et faites cinquante questions.

Cette dernière étape n'est qu'à moitié une blague. L’antidote fiable à la peur statistique réside dans les données vous concernant. Un taux de réussite publié décrit les étrangers ; votre propre tendance en matière de précision, votre livre de mauvaises réponses et vos scores simulés chronométrés vous décrivent, et seul le deuxième ensemble répond à l'effort.

Voici donc la prochaine étape pratique. Choisissez vos deux sujets FLK les plus faibles – ceux que vous avez évités, vous savez lesquels – et répondez à une série chronométrée de trente questions pour chacun cette semaine, puis lisez chaque explication, y compris celles que vous avez obtenues par chance. Si vous voulez un endroit où faire cela correctement, avec des questions FLK1 et FLK2 étiquetées par sous-thème, des simulations complètes qui reflètent le timing réel et un tuteur IA que vous pouvez interroger lorsqu'une explication de réponse n'arrive pas, essayez la banque de questions Ant Law SQE sur antlaw.ai. Des questions sur la façon de structurer votre révision ? Écrivez-nous à [email protected] – nous les lisons tous.