Комментарии: Обсуждение экспериментальных методик оценивания

Эксперимент-2008 : другие произведения.

Комментарии: Обсуждение экспериментальных методик оценивания
()

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]

Размещен: 06/03/2008, изменен: 06/03/2008. 0k. Статистика.

Аннотация:
Обсуждение идет в комментариях. Форум модерируется.

ОБСУЖДЕНИЯ: Публицистика (последние)
10:13 Стоптанные К. "Форум журнала "Горизонт"" (37/7)
08:14 Бровин А.М. "Угроза интнрнет торговли - " (1)
01:36 Хасин А. "Шпирлицы" (5/1)
12:33 Чекмарев В.А. "1989 Площадь Тяньаньмэнь" (4/1)

Отсортировано по:[убыванию][возрастанию]

ОБЩИЕ ГОСТЕВЫЕ: 08:28 "Диалоги о Творчестве" (248/7) 08:27 "Форум: все за 12 часов" (289/101) 23:48 "Форум: Трибуна люду" (968/20) 23:18 "Технические вопросы "Самиздата"" (227/4) 25/11 "Форум: Литературные объявления" (666) 25/11 "О блокировании "Самиздата"" (294)
ОБСУЖДЕНИЯ: (все обсуждения) (последние) 11:04 Масленникова Е.С "Зачем нужен психолог?" (2/1) 11:01 Ив. Н. "А что такое хорошо? - О кроха! " (1) 10:55 Детектив-Клуб "Арена детективов-8: Результаты " (15/6) 10:52 Nazgul "Магам земли не нужны" (876/18) 10:47 Кротов С.В. "Чаганов: Война. Часть 4" (273/41) 10:42 Гончарова Г.Д. "Твое... величество!" (357/13) 10:41 Карелин Р.Ф. "Законы истории не ведут к " (4/3) 10:40 Бравый ч. "Не те пути мы выбираем..." (2/1) 10:36 Уралов А. "Мясо "из пробирки"" (651/14) 10:28 Чернов К.Н. "Записки Империалиста Книга " (686/17) 10:21 Николаев М.П. "Телохранители" (95/8) 10:21 Велигжанин А.В. "Гомер. Одиссея. Песня одиннадцатая" (36/8) 10:19 Максимова Н.С. "Как я выжил будем знать только " (1) 10:13 Стоптанные К. "Форум журнала "Горизонт"" (37/7) 10:09 Князев Ю. "Сонет реке Оттер" (6/1) 09:53 Фирсанова Ю.А. "Кира и К: радуга на запястье" (330/6) 09:51 Карман В.Г. "Разделённые временем" (42/1) 09:43 Коркханн "Угроза эволюции" (866/41) 09:41 Никитин В. "Чего хочет Бог?" (3/1) 09:32 Винников В.Н. "Стихи писать я не умею по " (1) Полный список...>>
РУЛЕТКА: Дикий Я пришла на тихий Книга о вкусных Рекомендует Ковальчук А.Ю. ВСЕГО В ЖУРНАЛЕ: Авторов: 108572 Произведений: 1671061 Список известности России СМ. ТАКЖЕ: Заграница.lib.ru \| Интервью СИ Музыка.lib.ru \| Туризм.lib.ru Художники \| Звезды Самиздата ArtOfWar \| Okopka.ru Фильм про "Самиздат" Уровень Шума: Интервью про "Самиздат" НАШИ КОНКУРСЫ: Рождественский детектив-24	28/11 ПОЗДРАВЛЯЕМ: Абакумова Е.Б. Абрашова Е.А. Айа Э.А. Афанасьев И.С. Бархол Е. Баянова Н.А. Белолипецкий А.В. Биньковская А.А. Богатырёв Р. Булгакова И.В. Вильгельми А.В. Винокур И. Волк А. Галевская Г. Гаркавый В.А. Глушин А.В. Глыбина В.А. Гришко В.Р. Деева А.Н. Дженкинс К. Дорошенко И.Э. Дэльз С.В. Жгутова-Полищук В. Жук Т.А. Измайлов К.И. Казарян К.С. Климарев И.В. Климова Л.В. Кобзева Е.А. Коломиец Е.А. Коскина Т. Ксандер В. Луканина Е.В. Макарова А.А. Мамедова Л.Р. Морозов С.В. Мосиенко Ю.В. Нино Орлова Я.С. Павлов О.А. Первушина Т.В. Першина Л.П. Печенкина Л.В. Писакова С.Э. Пугнин Ю.В. Пугнин Ю.В. Риш К. Родионов М.В. Ройтберг В.И. Романенко Г.В. Роуг Л. Свидерский С.В. Сереброва Э. Симдянкин Е.Ю. Сиюткина Е.В. Собенков Р.И. Сокова Н.В. Суворов А.М. Сэй А. Сэр С.С. Толстокулакова И.Г. Федишин В.Е. Храмцова А. Чарторыжская А. Черевков А.С. Чмелёва Л.А. Шах Ю. Ярмолинская А.Л. Ariashari Eeshka Nutik Rabbit L. Richmund T.
ПОСЛЕДНИЕ ПОСТУПЛЕНИЯ: (7day) (30day) (Рассылка) 10:30 Низовцев Ю.М. "On the necessity of a person " 26/11 Джонстон П. "Список смерти" 26/11 Ледовский В.А. "Силы разные..." 26/11 Кротков А.П. "Маски-шоу Павла Воткова" 25/11 Небов К. "Потерянный ключ от забытой " 25/11 Пен-Пен "Я - Секретный Босс среди мобов!" 24/11 Jackallionravenv "Омен Iv: Возбуждение" 24/11 Бородин С.А. "Родославия" Полный список...>>

10. *Федоренко Наталья (sun_light@ua.fm) 2008/03/24 11:21
  > > 9.Астахов М
  >Я не великий новатор, или экспериментатор, но мне всегда было интересно, почему на конкурсах ограничивают диапазон оценок? Я бы вот наоборот этот диапазон максимально раздвинул, прямо до количества рассказов. :)
  >Назовем такой метод оценивания 'рейтинговый'. Судьи расставляют все рассказы по ранжиру - надо оценить 20 рассказов, значит, лучший получает 20 баллов, худший 1 балл. Двум рассказам одно количество баллов ставить нельзя. Потом баллы, полученные одним рассказом, складываем (или перемножаем) и получаем финальный рейтинг.
  Такой тип выставления оценок был на Мистике в этом году в финале. На мой взгляд у него есть один серьёзный недостаток:
  Чем шире оценка, тем проще ее выставлять. То есть попросите судью разделить рассказы на плохо-хорошо-средне и у него уйдет на это несколько минут. А на расстановку по 10 баллов может уйти намного больше времени. При расстановке по системе рассказ-место на выставление оценок уйдет очень много времени. Даже при 10-балльной истеме оценок судьи иногда говорят 5-6, 7-9 и т.д. Тут вопрос сравнения вот например спросите меня что лушче клубника или овсянка, и я скажу, конечно, клубника. А попросите сравнить клубнику и шоколад и я замру в нерешительности. Потому что я не знаю как определить чему ставить больше. Так же и с рассказами.

9. *Астахов М (astahm@rambler.ru) 2008/03/22 14:19
  Я не великий новатор, или экспериментатор, но мне всегда было интересно, почему на конкурсах ограничивают диапазон оценок? Я бы вот наоборот этот диапазон максимально раздвинул, прямо до количества рассказов. :)
  Назовем такой метод оценивания 'рейтинговый'. Судьи расставляют все рассказы по ранжиру - надо оценить 20 рассказов, значит, лучший получает 20 баллов, худший 1 балл. Двум рассказам одно количество баллов ставить нельзя. Потом баллы, полученные одним рассказом, складываем (или перемножаем) и получаем финальный рейтинг.
  Но требуется одно усложнение - рассказ не может получить место более высокое, чем места, полученные в индивидуальных рейтингах судей. Т.е. сортируем по максимальному месту в судейских рейтингах, а потом по баллам.
  Годится хоть для судейских конкурсов, хоть для самосудных. Мне подобная система пока не попадалась, хотя в ней нет ничего сложного, ни для участников, ни для организаторов.
  Вроде бы особых отличий от 'балльной' или 'топовой' системы не видно. Но принцип - использовать одну оценку только один раз - добавляет забавные нюансы. Во-первых, веса у судейских оценок автоматом становятся одинаковыми - никаких поправочных коэффициентов вычислять не требуется. Во-вторых, закрывается возможность влупить по "массе" минимальными баллами, а своему фавориту выставить максимум. Т.е. исчезает возможность превращения 'балльной' системы в 'топовую'. Для самосудных конкурсов очень актуально. Наверное, есть и в-третьих, а может и в-четвертых. Я над модификациями конкурсов раздумывал пару лет назад, сейчас просто вспомнилось.

8. *Эксперимент-2008 (experiment2008@tut.by) 2008/03/11 13:57
  > > 7.Волошин Виктор Винзор

  Разрешите отвечу на вопрос, косвенно заданный мне?

  >Эксперименту подвергается не тип, не жанр, не сюжет, ни ... - вообще не рассказы, а методы выявления лучших рассказов.

  Совершенно верно.

  >Эксперимент принадлежит к конкурсу явно судейского характера.
  >И он пытается найти методику выявления очень хороших рассказов.

  Не совсем так. Я хотел бы разработать методику пригодную для обоих типов конкурсов.

  >Мнение самого Ника мне неизвестно, и, насколлько я в курсе, публично о выводах из Эксперимента-1 он не заявлял.

  Все не хватает времени.
  Вкратце: договориться о единой системе при восьми судьях и десяти рассказах путем "договора" не удалось.
  Было выдвинуто альтерантивное предложение - голосовать.
  По сути, методика и есть "голосование" судей, на основании выставленных оценок.
  После расстановки рассказов по методике удалось достичь согласия.
  То есть положительный результат был, этот конкурс проводится для проверки и дальнейшей обкатки методики.

  >Ник предложил судьям ставить предварительные оценки, обсудить рассказ и выставить изменённую оценку.

  Это скорее общий принцип :) Противовес сложившемуся "судья не читает обзоров коллег дабы не подпасть под их влияние" и скандалам с выяснением отношений "ты почему поставил гению 2?" с запоздалым раскаянием, что, действительно, надо было ставить больше / меньше.

  >Негативы методики:
  >1) необходимо много времени для синхронизации судей
  >2) существует вероятность сговора судей

  ?1 - в случае дискуссий.
  В случае ознакомления с мнением коллег - ненамного больше, я бы сказал - дополнительная неделя после выставления оценок.
  ?2 - хотел бы я посомтреть на методику, где это исключено :)

  >Ник выявил и третью проблему:
  >3) ?существует прямая корреляция между авторством и местом.

  Опять-таки не совсем верно, то есть, возможно, связь есть (а при самосуде есть однозначно).
  Тут проблема скорее в нагнетании обстановки (и скандалов) вокруг известных имен.
  Анонимность и предназначена поставить авторов в равные условия.

  >Методика, которую предлагаю я - кардинально иная.
  >Я предлаю, чтоб суди выдали больше своего понимания о прочитанном, чем некая интегральная оценка.
  >Предлаю, чтоб судьи давали диапазон с пиком (или указали бы, что ярко выраженного пика нет)

  Проблема, на мой взгляд, в том, что для этого надо ломать привычки очень многих судей.
  Например, я привык ставить относительно. Прочитать все рассказы, расставить по эквивалентным группам и пронумеровать оценками, в зависимости от шкалы оценок конкурса.
  Лично для меня, диапозоны удобны, но в очень ограниченном числе случаев.
  Хотелось бы разработать методику, учитывающую привычки судей.

7. *Волошин Виктор Винзор (vitea3v@rambler.ru) 2008/03/08 21:31
  уф, почему-то мой комм не добавился.

  > > 6.Федоренко Наталья
  >основная проблема в том, что Ваше предложение плохо стыкуется со стандартными методиками.
  На самом-то деле, этот конкурс называется "эксперимент".
  Не думали, ЗАЧЕМ нужно эксперементировать, и ЧТО подвергается эксперименту?
  Эксперименту подвергается не тип, не жанр, не сюжет, ни ... - вообще не рассказы, а методы выявления лучших рассказов.
  Дело в том, что стандартные методики (самый простой из которых - среднее арифметическое) - часто не дают побеждать лучшим рассказам.
  Основными методиками выявляются лучшие среднечки, гении топятся.
  Кроме того, существует опасность сговора судей, а в самосудных конкурсах - некомпетентность судей.
  Эксперимент принадлежит к конкурсу явно судейского характера.
  И он пытается найти методику выявления очень хороших рассказов.

  Итак, что кардинального предложил Средин Ник, и что уже второй конкурс подряд он пытается выяснить?
  Обычно на конкурсах судьи дают слишком мало информации о своём мнении о прочитанном (в обзорах они дают достаточно, однако, они не учитываются в подсчётах), а именно - некую интегральную оценку, сформированную на основе личностных мнениях о прекрасном самого судьи.
  Ник решил не идти по простому пути. Хотя он и стал играться с формулами и статистикой, и отказался от подсчёта среднего, в том числе и со сбросом наибольшей и наименьшей оценки.
  Дело в том, что за гениальный рассказ всегда найдуться люди, которые выставят низкую оценку. Ник игрался с попыткой нивелировать эти маркеры.
  Сравнения с простым средним (и с средним с откидываением крайних) я не встречал.
  Сам я сравнил, однако, поскольку в конкурсе не участвовал, выводов делать я не компетентен.
  Обычное среднее
  1) Викторова Г.В. Ксерокс на списание 9,00
  2) Славкин Ф. Стойкий Оловянный Солдатик 7,63
  3) Фост О. Звонок принцессе 7,13
  4) Дарк Л. Жертва 6,63
  5, 6) Борисовна И. Гость 6,38
  5, 6) Кошки Д. Тихий разговор 6,38
  7) Волкова Н.А. конец ожидания 5,38
  8) Габдулганиева М. Ключ 4,75
  9, 10) Ватолин Д. Wet 4,63
  9, 10) Лероев М.Г. Сказка про кота 4,63
  11) Батаев В.П. На день раньше 4,38
  12) Ера М. Подарочек 4,25
  13)Цветкова Г. Красный день календаря 3,25
  14) Мокроусов С.А. Тёмные аллеи 3,13
  15) Танцующая С.А. Тайгер 2,63

  Среднее с откидыванием крайних
  1) Викторова Г.В. Ксерокс на списание 9,33
  2, 3) Славкин Ф. Стойкий Оловянный Солдатик 7,50
  2, 3) Фост О. Звонок принцессе 7,50
  4) Борисовна И. Гость 6,67
  5) Дарк Л. Жертва 6,50
  6) Кошки Д. Тихий разговор 6,33
  7) Волкова Н.А. конец ожидания 5,67
  8, 9) Габдулганиева М. Ключ 4,67
  8, 9) Ватолин Д. Wet 4,67
  10) Лероев М.Г. Сказка про кота 4,50
  11) Батаев В.П. На день раньше 4,33
  12) Ера М. Подарочек 4,17
  13) Цветкова Г. Красный день календаря 3,33
  14) Мокроусов С.А. Тёмные аллеи 3,00
  15) Танцующая С.А. Тайгер 2,67

  Разница среднего и среднего с откидыванием крайних
  0 Викторова Г.В. Ксерокс на списание
  -1/2 Славкин Ф. Стойкий Оловянный Солдатик
  +1/2 Фост О. Звонок принцессе
  -1 Дарк Л. Жертва
  +1.5 Борисовна И. Гость
  -1/2 Кошки Д. Тихий разговор
  0 Волкова Н.А. конец ожидания
  -1/2 Габдулганиева М. Ключ
  +1/2 Ватолин Д. Wet
  -1/2 Лероев М.Г. Сказка про кота
  0 Батаев В.П. На день раньше
  0 Ера М. Подарочек
  0 Цветкова Г. Красный день календаря
  0 Мокроусов С.А. Тёмные аллеи
  0 Танцующая С.А. Тайгер

  1й метод
  1) Викторова Г.В. Ксерокс на списание
  2) Фост О. Звонок принцессе
  3) Славкин Ф. Стойкий Оловянный Солдатик
  4, 5) Борисовна И. Гость
  4, 5) Кошки Д. Тихий разговор
  6) Дарк Л. Жертва
  7, 8, 9, 10, 11, 12) Волкова Н.А. конец ожидания
  7, 8, 9, 10, 11, 12) Габдулганиева М. Ключ
  7, 8, 9, 10, 11, 12) Ватолин Д. Wet
  7, 8, 9, 10, 11, 12) Лероев М.Г. Сказка про кота
  7, 8, 9, 10, 11, 12) Батаев В.П. На день раньше
  7, 8, 9, 10, 11, 12) Ера М. Подарочек
  13, 14) Цветкова Г. Красный день календаря
  13, 14) Мокроусов С.А. Тёмные аллеи
  15) Танцующая С.А. Тайгер

  Разница между средним и 1м методом
  0 Викторова Г.В. Ксерокс на списание
  -1 Славкин Ф. Стойкий Оловянный Солдатик
  +1 Фост О. Звонок принцессе
  -2 Дарк Л. Жертва
  -1 Борисовна И. Гость
  -1 Кошки Д. Тихий разговор
  -2.5 Волкова Н.А. конец ожидания
  -1.5 Габдулганиева М. Ключ
  -1/2 Ватолин Д. Wet
  0 Лероев М.Г. Сказка про кота
  +1/2 Батаев В.П. На день раньше
  +1.5 Ера М. Подарочек
  -1/2 Цветкова Г. Красный день календаря
  +1/2 Мокроусов С.А. Тёмные аллеи
  0 Танцующая С.А. Тайгер

  2й метод
  1) Викторова Г.В. Ксерокс на списание
  2) Фост О. Звонок принцессе
  3) Славкин Ф. Стойкий Оловянный Солдатик
  4) Борисовна И. Гость
  5) Кошки Д. Тихий разговор
  6) Дарк Л. Жертва
  7) Волкова Н.А. конец ожидания
  8) Ватолин Д. Wet
  9) Батаев В.П. На день раньше
  10, 11) Лероев М.Г. Сказка про кота
  10, 11)Цветкова Г. Красный день календаря
  12) Габдулганиева М. Ключ
  13) Ера М. Подарочек
  14) Мокроусов С.А. Тёмные аллеи
  15) Танцующая С.А. Тайгер

  Разница между средним и 2м методом
  0 Викторова Г.В. Ксерокс на списание 9,00
  -1 Славкин Ф. Стойкий Оловянный Солдатик 7,63
  +1 Фост О. Звонок принцессе 7,13
  -2 Дарк Л. Жертва 6,63
  +1.5 Борисовна И. Гость 6,38
  +1/2 Кошки Д. Тихий разговор 6,38
  0 Волкова Н.А. конец ожидания 5,38
  -4 Габдулганиева М. Ключ 4,75
  +1.5 Ватолин Д. Wet 4,63
  -1 Лероев М.Г. Сказка про кота 4,63
  +2 Батаев В.П. На день раньше 4,38
  -1 Ера М. Подарочек 4,25
  +2.5 Цветкова Г. Красный день календаря 3,25
  0 Мокроусов С.А. Тёмные аллеи 3,13
  0 Танцующая С.А. Тайгер 2,63

  вот мои расчёты

  Мнение самого Ника мне неизвестно, и, насколлько я в курсе, публично о выводах из Эксперимента-1 он не заявлял.
  У нас есть лишь косвенные данные о том, что прошлый эксперимент не дал однозначного ответа, и Ник, как ему кажется, нашёл отрицательные обратные связи, и на этом конкурсе попробует на практике их нивелировать.
  Дай да Бог!


  Кардинальное предложение Ника не в методике подсчёта, а выуживании скрытой (от оценки) информации.
  Ник предложил судьям ставить предварительные оценки, обсудить рассказ и выставить изменённую оценку.
  Этим убивается сразу 2 зайца:
  1) в ходе дисскуссии вырабатывается в той или иной мере некая общая шкала оценки рассказов (да, в подсчётах фигурирует и эта проблема)
  2) Непонятые гении в ходе коллективного объяснительного как правило должны становится более понятыми.
  3) рассказ очень много обсуждается

  Негативы методики:
  1) необходимо много времени для синхронизации судей
  2) существует вероятность сговора судей
  Ник выявил и третью проблему:
  3) ?существует прямая корреляция между авторством и местом.
  Тут могут быть лишь мои предположения.
  Часто смотрят на рассказ и видят лишь то, что написано.
  Но некоторые смотрят на автора. И если автор - авторитет, то ищут дополнительные смыслы/интриг/.. в рассказе.
  Именно поэтому и возникла необходимость в анонимности.

  Методика, которую предлагаю я - кардинально иная.
  Я предлаю, чтоб суди выдали больше своего понимания о прочитанном, чем некая интегральная оценка.
  Предлаю, чтоб судьи давали диапазон с пиком (или указали бы, что ярко выраженного пика нет)

  >к тому же по опыту предыдущего Эксперимента, в котором от судей просто требовлаи оценки, не туочняя диапазоном или одной оценкой, случаев диапазонов было всего лишь штук 5. У Мыха точно было несколько, у Леданики, но большинство оценок ставились четко.
  это, имхо, не совсем так.
  Дело в том, что читая обзоры судей, видишь, что выставить оценку - достаточно сложно.
  Часто попадаются фразы:
  "поставлю от 4 до 6", "не более 7ми", "очень хороший рассказ, но не на вышку", ...
  То есть у судей вначале появляются диапазоны, а уж потом формиурются итоговые оценки.

6. *Федоренко Наталья (sun_light@ua.fm) 2008/03/06 17:17
  > > 5.Волошин Виктор Винзор

  >Намного чаще можно увидеть такую формулировку
  >"предварительная оценка - в районе 5-7" или же "не более 8ми"
  >Как раз именно диапазоны как правило намного более точно отображают мысль судьи по поводу рассказа.
  >И судье намного удобнее выставить оценку "4-7, но ближе к 6" (то есть пик на 6ти), нежели "ну пусть будет 6ть"

  основная проблема в том, что Ваше предложение плохо стыкуется со стандартными методиками. тО есть судьям придестя выставлять оценки дважды. Один раз для обсуждения и прихождения к единому заключению и второй раз диапазонами. Я после того как я расставлю расссказы по местам выделение интервалов только добавит шум.

  к тому же по опыту предыдущего Эксперимента, в котором от судей просто требовлаи оценки, не туочняя диапазоном или одной оценкой, случаев диапазонов было всего лишь штук 5. У Мыха точно было несколько, у Леданики, но большинство оценок ставились четко.

  Хотя возможно это мой таракан... потому что сколько я не учила нечеткую логику, четкая мне все же как-то ближе)

5. *Волошин Виктор Винзор (vitea3v@rambler.ru) 2008/03/06 10:41
  > > 3.Федоренко Наталья
  >у меня только одно возражение. судьям будет проще поставить одну оценку,чем несколько. ну мне было бы легче.
  не скажите.
  Судьи прочитав рассказ, как правило не говорят
  этому - 7, а этому - 8м.
  Намного чаще можно увидеть такую формулировку
  "предварительная оценка - в районе 5-7" или же "не более 8ми"
  Как раз именно диапазоны как правило намного более точно отображают мысль судьи по поводу рассказа.
  И судье намного удобнее выставить оценку "4-7, но ближе к 6" (то есть пик на 6ти), нежели "ну пусть будет 6ть"

  >возможно Вашу методику следует применить к местам? то есть судья выставляет оценки, при чем любым удобным ему способом интервалами или единичными значениями, потом мы переведем их оценки в места,как делали на прошлом эксперименте и получим интервалы, а потом уже посчитаем по Вашему методу?
  если захотеть - то можно в космос улететь! :))

  Об этом напишу позже.

4. *Федоренко Наталья (sun_light@ua.fm) 2008/03/06 10:06
  > > 2.Эксперимент-2008
  >Честно говоря, я попрошу судей опробовать методику.
  >Кто заинтересуется и соглаится - выставит, но обязывать их оценивать двумя спосабами, увы, не могу :(
  >У многих судей и так большая нагрузка.

  Я думаю,что если Виктор согласится на перевод на места у нас не будет необходимости просить судей ставить интервалы.
  а шансов на то,что судья выставив оценки расскзам потом еще будет возиться с интервалами мне кажется очень мало. То есть бывают случаи,как на прошлом Эксперименте, когда судьи сразу же ставят интервально. Но как правило оценка ставится единственным способом.

3. *Федоренко Наталья (sun_light@ua.fm) 2008/03/06 10:04
  > > 108.Волошин Виктор Винзор
  >> > 101.Федоренко Наталья
  >>Виктор, я ужасно извиняюсь, что я так поздно, но у меня возникли вопросы по Вашей методике.
  >будь ласка!
  дякую, пане)

  >Нет, не правильно поняли.
  >Это означает, что оценки по прежнему колебляться (1 .. 10), но судья не говорит: этому - 7ку, этому - 5ку, а этот молодец - 8м.
  >Он скажет
  >первому - 5 ... 8
  >второй - 4 ... 6 (ну, или 4.5 ... 5.2)
  >третий - 8 ... 9
  >В принципе методику можно изменить и разрешить судье ставить не просто диапазоны, а диапазоны с пиком (или указанием равновариантности из диапазоны)
  >Например:
  >этому 5 ..8 с явным пиком на 7ми баллах
  >а этому от 5.5 до 7.9 - без явного пика
  у меня только одно возражение. судьям будет проще поставить одну оценку,чем несколько. ну мне было бы легче.
  возможно Вашу методику следует применить к местам? то есть судья выставляет оценки, при чем любым удобным ему способом интервалами или единичными значениями, потом мы переведем их оценки в места,как делали на прошлом эксперименте и получим интервалы, а потом уже посчитаем по Вашему методу?

  >Не получится, ибо Ср_i - это "и"тое среднее (диапазона оценок "и"тому рассказу)
  да понятно и логично, если имеется ввиду интервал. просто в моем предположении все ср_i были одинаковые.

2. *Эксперимент-2008 (experiment2008@tut.by) 2008/03/06 09:59
  Честно говоря, я попрошу судей опробовать методику.
  Кто заинтересуется и соглаится - выставит, но обязывать их оценивать двумя спосабами, увы, не могу :(
  У многих судей и так большая нагрузка.

1. *Эксперимент-2008 (experiment2008@tut.by) 2008/03/06 09:54
  15. *Волошин Виктор Винзор ([email protected]) 2008/02/26 18:56 удалить ответить
   > > 14.Эксперимент-2008
   >Спасибо! Исправил, так логичнее.

   Если рассказ получает три "-", рассказ отклоняется без права апелляции.
   Cлова "без права апелляции - имхо, излишни.
   Что касается подсчёта оценок:
   не знаю, что придумали вы, предлагаю усовершенствованную Эксперимент-2007
   Судья ставит дипазон оценок (Мин ... Макс) или же Ср(еднее) +- От(клонение)
   А итоговая оценка - средневзвешанное:

   И(тог)= Сумма (Ср_i * в_i) / Сумма (в_i)

   в_i можно находить разными способами.
   Например через нормиронвание и подгонку таких функций как:

   в = 1 / 1 + модуль(х)
   или же
   в = х * экспонента(- х * х)

   Например в такой оранжировке (х = От(клонение)) :

   в_i = 1 / 1 + модуль(х_i-3)/2

   или же

   в_i = в_i / 1,6 * экспонента(- х_i * х_i/14)

   Мдя ....
   надеюсь я нормально выразился :)))))

  ----------------------------------------------------
  101. *Федоренко Наталья ([email protected]) 2008/03/05 13:31 удалить ответить
   > > 15.Волошин Виктор Винзор
   >
   >Что касается подсчёта оценок:
   >не знаю, что придумали вы, предлагаю усовершенствованную Эксперимент-2007

   Виктор, я ужасно извиняюсь, что я так поздно, но у меня возникли вопросы по Вашей методике.
   1. >Судья ставит дипазон оценок (Мин ... Макс) или же Ср(еднее) +- От(клонение)
   То есть, грубо говоря, от оценок (1..10) мы переходим к оценкам (-4.5 - +4.5). Или я что-то не поняла?

   2. >И(тог)= Сумма (Ср_i * в_i) / Сумма (в_i)
   Что такое Ср_i?если это среднее то не получится ли у нас ситуация, когда: И(тог)= Сумма (Ср_i * в_i) / Сумма (в_i) ={выносим за скобки одинаковое среднее}= Ср_i (Сумма (в_i))/Сумма (в_i)=Ср_i.
   то есть мы выравниваем все рассказы.

   3. При подсчете веса: в = 1 / 1 + модуль(х) - получается, что при такой формуле - 10-ка посталвенная рассказу будет иметь нмного меньшее влияние,чем 5-ка, то есть мы опять-таки сильно усредним оценки.
  -------------------------------------------------

  108. *Волошин Виктор Винзор ([email protected]) 2008/03/05 18:12 удалить ответить
   > > 101.Федоренко Наталья
   >Виктор, я ужасно извиняюсь, что я так поздно, но у меня возникли вопросы по Вашей методике.
   будь ласка!

   >1. >Судья ставит дипазон оценок (Мин ... Макс) или же Ср(еднее) +- От(клонение)
   >То есть, грубо говоря, от оценок (1..10) мы переходим к оценкам (-4.5 - +4.5). Или я что-то не поняла?
   Нет, не правильно поняли.
   Это означает, что оценки по прежнему колебляться (1 .. 10), но судья не говорит: этому - 7ку, этому - 5ку, а этот молодец - 8м.
   Он скажет
   первому - 5 ... 8
   второй - 4 ... 6 (ну, или 4.5 ... 5.2)
   третий - 8 ... 9
   В принципе методику можно изменить и разрешить судье ставить не просто диапазоны, а диапазоны с пиком (или указанием равновариантности из диапазоны)
   Например:
   этому 5 ..8 с явным пиком на 7ми баллах
   а этому от 5.5 до 7.9 - без явного пика


   > И(тог)= Сумма (Ср_i * в_i) / Сумма (в_i) ={выносим за скобки одинаковое среднее}= Ср_i (Сумма (в_i))/Сумма (в_i)=Ср_i.
   http://ru.wikipedia.org/wiki/Среднее_взвешенное
   или картинка
   http://upload.wikimedia.org/math/4/6/5/465cc4263c1c0938687ab713a395aaf6.png
   Не получится, ибо Ср_i - это "и"тое среднее (диапазона оценок "и"тому рассказу)

   На самом деле весы лишь показывают, что наибольший вес будут иметь 3 бальные диапазоны, чуть меньше 4х и 2х бальше, ещё меньше 1о и 5ти бальные, ещё меньше 6ти, ...
   Это стимуляция судей ставить диапазоны, причём не сильно расплывчастые.

Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"

Эксперимент-2008 : другие произведения.

Комментарии: Обсуждение экспериментальных методик оценивания ()

Комментарии: Обсуждение экспериментальных методик оценивания
()