BC model-council-voting

Запускает несколько языковых моделей в качестве независимых кодировщиков для одной и той же задачи маркировки или обнаружения и рассматривает их расхождения как данные — сбор разнообразной панели, сохранение независимости голосов, правила консенсуса, статистику согласия (каппа Коэна и Флейса, альфа Криппендорфа), оговорку о коррелированных ошибках, которая не позволяет принять согласие за достоверность, проверку человеком сверх панели и отчетность. Используйте, когда пользователь спрашивает о совете, панели, ансамбле или жюри моделей, спрашивает, как объединить метки нескольких моделей, или спрашивает, какую каппу или альфу сообщить для кодировщиков моделей. Работа с кодексом одной модели и валидацией относится к text-classification, уверенность по элементам — к llm-calibration-logprobs.

машинный переводПоказать оригиналСкрыть оригинал«Runs several language models as independent coders on the same labelin…»

Runs several language models as independent coders on the same labeling or discovery task and reads their disagreement as data — panel assembly for model diversity, keeping votes independent, consensus rules, agreement statistics (Cohen's and Fleiss kappa, Krippendorff's alpha), the correlated-errors caveat that stops agreement being mistaken for validity, human validation beyond the panel, and reporting. Use when the user asks about a council, panel, ensemble, or jury of models, asks how to combine several models' labels, or asks what kappa or alpha to report for model coders. Single-model codebook and validation work goes to text-classification, per-item confidence to llm-calibration-logprobs.

Запускает несколько языковых моделей в качестве независимых кодировщиков для одной и той же задачи маркировки или обнаружения и рассматривает их расхождения…

Как процесс C 55/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, ошибки и развилки