BC llm-calibration-logprobs

Считывает собственную неопределенность модели из логарифмических вероятностей токенов — сбор логпробов и агрегирование многотокеновых меток, уровни уверенности и поля для сортировки, оценку калибровки с помощью ECE, показателей Брайера и диаграмм надежности, использование уверенности в дальнейшем без превращения ее в доказательство, и что архивировать для воспроизводимости. Используйте, когда пользователь спрашивает, насколько уверен классификатор был в каждом элементе, спрашивает о логпробах, топ-k токенах, калибровке, ECE, Brier или диаграммах надежности, или хочет, чтобы случаи с низкой уверенностью были направлены на проверку человеком. Это уверенность внутри модели — согласие между несколькими независимыми модельными кодировщиками относится к model-council-voting, а кодексы и дизайн валидации — к text-classification.

машинный переводПоказать оригиналСкрыть оригинал«Reads a model's own uncertainty off its token log-probabilities — coll…»

Reads a model's own uncertainty off its token log-probabilities — collecting logprobs and aggregating multi-token labels, confidence tiers and margins for triage, calibration assessment with ECE, Brier scores, and reliability diagrams, using confidence downstream without laundering it into evidence, and what to archive for reproducibility. Use when the user asks how confident a classifier was on each item, asks about logprobs, top-k tokens, calibration, ECE, Brier, or reliability diagrams, or wants low-confidence cases routed to human review. This is within-model confidence — agreement across several independent model coders goes to model-council-voting, and codebook and validation design to text-classification.

Считывает собственную неопределенность модели из логарифмических вероятностей токенов — сбор логпробов и агрегирование многотокеновых меток, уровни…

Как процесс C 52/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, ошибки и развилки