Наука, стоящая за CTET

Цель CTET - предоставить инструменты когнитивной оценки, которые не требуют ничего, кроме компьютера и одного восторженного пользователя. Для этого мы очистили, сгустили и адаптировали то, что известно в науке психометрии. Вот краткое изложение нашего подхода с некоторыми подробностями по каждой области когнитивной деятельности, которую CTET может протестировать.

1. Общее когнитивное тестирование и подход CTET

Хотя история измерения когнитивных показателей несколько противоречива, существует достаточно доказательств, демонстрирующих сильную связь между оценкой интеллекта и успехом в различных “реальных” задачах. Например, IQ и связанные с ним когнитивные измерения тесно предсказывают успеваемость в школе, окончание высшего образования, профессию и доход.

Это имеет место даже в тех случаях, когда такие переменные, как социальный класс, родительское образование и другие очевидные потенциальные путаницы, контролируются для [1][2][3]. Хотя точные механизмы и показатели причинно-следственного взаимодействия интеллекта еще недостаточно изучены, очевидно, что когнитивные показатели имеют практическое значение.

CTET измеряет широкий спектр специфических когнитивных навыков вместо того, чтобы сосредоточиться на IQ. Наши тесты основаны на научно обоснованных и широко проверенных оценках, модифицируя их, где это возможно, в соответствии со следующими целями:

Повторяемость
Повторяемость имеет важное значение для батареи, которая будет использоваться для тестирования эффектов различных вмешательств и моделей образа жизни с течением времени. Повторяемые тесты должны создаваться автоматически и сводить к минимуму практические эффекты. Мы стремимся к тестам, которые позволяют людям быстро достичь плато через практику, так что любые изменения в тенденциях производительности после достижения плато можно отнести к подлинным улучшениям или деградациям рассматриваемого навыка. Кроме того, тесты динамически бросают вызов пользователям, насколько это возможно, адаптивно регулируя их трудности в ответ на предыдущую производительность и обеспечивая постоянную обратную связь.

Эффективность
Чтобы свести к минимуму временные затраты пользователей, мы приложили много усилий для того, чтобы сделать наши тесты максимально эффективными - быстро получать статистически достоверные результаты и извлекать максимальную информацию из короткого периода тестирования. Наличие динамически настраиваемых тестов гарантирует, что время и энергия никогда не будут потрачены впустую, пока пользователи механически обсуждают тривиальные версии задачи, ожидая прогресса до точки, где они будут оспорены. Адаптивное тестирование также улучшает качество нашей статистики производительности, потому что статистическая сила больше, когда люди измеряются в точке, где они оптимально оспариваются.

Безупречность
Чистота теста-это мера того, насколько хорошо тест может выделить и надежно оценить определенный когнитивный навык. Например, если бы тест оценивал эффективность выполнения конкретной задачи, но было много различных способов выполнения этой задачи или различных стратегий, которые можно было бы использовать для повышения производительности, тест был бы очень нечистым. Поддержание чистоты важно, потому что оценки в чистых тестах гораздо легче интерпретировать, чем оценки в нечистых тестах; гораздо легче получить четкое представление о том, какие когнитивные способности используются и насколько умело. Чистые тесты также имеют тенденцию быть менее восприимчивыми к практическим эффектам.

Валидность
Валидность - это степень, в которой тест измеряет то, что он намеревается измерить, или степень, в которой доказательства и теория поддерживают интерпретации результатов тестов, вытекающие из предполагаемого использования тестов. Тесты CTET основаны на хорошо проверенных тестах в научной литературе.

Вовлеченность
Тесты должны быть веселыми и простыми в навигации, с напоминаниями, чтобы вернуться, чтобы использовать их снова, так что люди будут вовлечены и участие в исследованиях будет как можно выше. Наличие CTET в качестве онлайн-платформы позволяет нам проектировать поток прохождения тестов максимально привлекательным способом, а также измерять и улучшать там, где мы обнаруживаем, что люди уходят.

Повторяемость, эффективность, валидность, чистота и вовлеченность являются руководящими принципами в процессе проектирования тестов для CTET. В остальной части документа будет обсуждаться наш подход к оценке конкретных когнитивных навыков различного рода.

2. Конкретные навыки, проверенные CTET

Время реакции

Что такое время реакции?
Время реакции-это измеренный промежуток времени между предъявлением стимула и выработкой участником простого поведения. Обычно тесты времени реакции включают оценку поведения, которое требует небольшого (или вообще никакого) вывода или сложной когнитивной обработки.

Какие тесты времени реакции были разработаны?
Существует много видов тестов времени реакции. Простые тесты проверяют способность участника реагировать на один простой стимул, например, на включенный свет. Более сложные оценивают время реакции в сценариях, где может быть представлено несколько различных стимулов, и различные реакции должны быть выбраны в зависимости от конкретного стимула.

Тест переменных внимания (T. O. V. A.) является примером сложности, возможной в простом тесте. T. O. V. A. оценивает устойчивое внимание, торможение и импульсивность, измеряя, нажимает ли и как быстро пользователь кнопку в ответ на целевой стимул [4].

Какова связь между временем реакции, измеренным в этих тестах,и реальными когнитивными показателями?
Существует достаточное количество экспериментальных данных, демонстрирующих, что эффективность как простых, так и отборных тестов времени реакции скромно коррелирует с результатами теста IQ[5][23][43]. Причина корреляции неясна и может включать более эффективную обработку информации, лучший контроль внимания или целостность нейрональных процессов. Было также показано, что время реакции предсказывает важные реальные результаты, которые зависят от скорости обработки [6].

Интересно, что было показано, что T. O. V. A. является индикатором проблем внимания, тесно связанных с СДВГ [7]. Кроме того, по-видимому, существуют характерные различия между показателями детей с аутизмом и без него в тесте [8].

Как CTET тестирует время реакции?
CTET имеет три теста времени реакции. Первый - это "простое время реакции", которое оценивает, насколько быстро человек может отреагировать на один стимул (круг, который превращается из белого в зеленый), нажав пробел. Второй - это "время реакции выбора", которое оценивает, насколько быстро человек может отреагировать на один из трех стимулов (один из трех пронумерованных кругов, которые случайным образом превращаются из белого в зеленый), нажав соответствующую цифровую клавишу, соответствующую зеленому кругу.

Третий тест - "Go / No-Go", который похож на T. O. V. A. целевые стимулы-это маленькие белые квадраты, которые появляются в верхней части черного экрана. Есть также нецелевые стимулы, маленькие белые квадраты, которые появляются в нижней части черного экрана, которые пользователь должен игнорировать. Стимулы представляются по одному, и ведется статистика того, как часто целевой стимул игнорируется пользователем, как часто пользователь нажимает кнопку в ответ на нецелевой стимул, как быстро пользователь нажимает кнопку в ответ на целевой стимул и как часто пользователь нажимает кнопку слишком рано для целевых стимулов. Эта комбинация измерений оценивает устойчивое внимание-способность пользователя обращать внимание, несмотря на скуку и бездействие, и контроль торможения-способность быстро и точно реагировать на целевые стимулы, умудряясь при этом избегать реакции на нецелевые или слишком рано реагировать на целевые стимулы.

Исполнительная функция

Что такое исполнительная функция?
Термин "исполнительная функция" относится к ряду слабо связанных когнитивных способностей, связанных с высокоуровневой обработкой информации [44]. К ним относятся контроль торможения, планирование, умозаключение, организация, саморегуляция и инициация поведения. Когда исполнительная функция нарушена, функциональный результат человека, соответствие лекарственным препаратам и способность давать информированное согласие также отрицательно сказываются [40].

Какие тесты исполнительной функции были разработаны?
Классической разновидностью тестов исполнительных функций является так называемая” задача Струпа", названная в честь английского психолога Джона Ридли Струпа. Задачи Stroop измеряют способность участников присутствовать в качестве альтернативы чтению напечатанных цветных слов (например, красного цвета) и замечать цвет, в котором эти слова напечатаны.

Еще одним тестом исполнительной функции является Висконсинский тест сортировки карт (WCST), который чувствителен к трем различным когнитивным процессам: когнитивная гибкость, решение проблем и поддержание реакции. В WCST отображается набор фиксированных карт, а новые одиночные карты представляются последовательно. Участник должен сопоставить новую карту с какой-либо характеристикой фиксированных карт, например цветом, номером или дизайном [25].

Какова связь между исполнительной функцией, измеренной в этих тестах, и реальной когнитивной эффективностью?
Имеются данные, что оценки по тестам Штрупа у здоровых взрослых людей сильно коррелируют с оценками по прогрессивным матрицам Рейвена, которые часто считаются хорошим показателем текучего интеллекта [9]. Баллы Stroop в этой популяции также коррелируют с несколькими шкалами интеллекта взрослых Векслера (WAIS), которые измеряют скорость обработки данных и концептуальные способности [10].

Интересно, что депрессия и различные психические заболевания препятствуют получению баллов по задачам Штрупа. Валидность тестов Stroop и sorting также была продемонстрирована в отношении активации и повреждения лобных долей [24]. И тесты Струпа было показано, что сильное положительное прогностическое значение для диагностики синдрома персистирующего [22].

Как CTET тестирует исполнительную функцию?
Тесты исполнительных функций CTET фокусируются на внимании, торможении и переключении контекста. Тест CTET "сортировка" измеряет способность переключать контексты, прося людей сопоставлять отображаемые изображения с фиксированными фоновыми изображениями в соответствии с одним из нескольких различных правил, с потенциальным сдвигом правила в каждом испытании. Кроме того, сортировка также проверяет контроль торможения, поскольку стимулы могут быть согласованными или диссонирующими в различной степени.

Задачи Stroop, которые имеются в продаже, и тест CTET “Color-Word” аналогичны. "Сортировка" отличается от тестов, которые доступны в продаже, но она оценивает способности переключения задач, аналогичные тем, которые используются в задачах Stroop, и включает в себя минимальный компонент рабочей памяти, поскольку запоминание того, какие виды и цвета идут с какими числами, немного ускоряет ответы. CTET также имеет два теста внимания: один называется “Cued Attention”, который основан на популярной задаче Познера spatial cueing [26], и один называется “Attentional Focus”, где человек должен обнаружить тонкие изменения длины линии [27].

Вербальное Обучение

Что такое вербальное обучение?
Проще говоря, вербальное обучение-это изучение слов. Это обучение может быть проверено с помощью свободного отзыва, вызванного отзыва или распознавания. Мы также понимаем вербальное обучение, включающее изучение бессмысленных слов, которые произносятся, но которые не образуют значимых единиц английского языка.

Какие тесты вербального обучения были разработаны?
Вербальное обучение исторически привлекало значительное внимание со стороны психометриков, и в результате существует множество тестов вербального обучения, доступных с тонко различающимися методами и акцентами. Одним из наиболее известных тестов является тест слухового-вербального обучения (AVLT), в котором список из 15 слов читается участнику со скоростью одно слово в секунду на пяти последовательных испытаниях. После каждого испытания участнику предлагается вспомнить как можно больше слов. После этого зачитывается мешающий список из 15 слов, за которым следует немедленная просьба к участнику вспомнить исходный список, и после задержки в 20-45 минут делается еще одна просьба.

Другой хорошо известный тест-вербальные парные Ассоциаты Векслера [11]. В отличие от AVLT, тест вербальных парных ассоциатов оценивает способность участника вспомнить один член пары слов, а не отдельное непарное слово. Оригинальный формат Векслера предполагает, что экспериментатор читает десять пар слов, шесть из которых образуют “легкие” ассоциации (например, “ребенок” - "плачет") и четыре- "жесткие" ассоциации (например, "капуста" - "ручка"). Затем список считывается три раза, и после каждого чтения проводится проверка памяти [12].

Какова связь между вербальным обучением, измеренным в этих тестах, и реальными когнитивными показателями?
Имеются значительные доказательства того, что вербальное обучение достаточно сильно коррелирует с выполнением ряда важных практических задач. Например, было продемонстрировано, что тесты вербального обучения имеют высокую корреляцию с перспективным запоминанием в реальной жизни, что означает запоминание выполнения запланированного действия в соответствующее время [29]. Кроме того, вербальный парный ассоциативный тест по шкале памяти Векслера является одним из наиболее широко используемых инструментов для оценки эксплицитной эпизодической памяти [30].

Калифорнийский тест вербального обучения (CVLT), формальный тест вербальной памяти, был использован на людях с поражением лобных долей мозга. Фронтальные пациенты демонстрируют дефицит этого теста, включая более слабое запоминание, снижение семантической кластеризации и снижение эффективности распознавания "да/нет" [13]. Кроме того, в исследовании, в котором участникам предлагалось позже вспомнить слова, представленные ранее (отложенное вербальное воспоминание), было показано, что это отложенное вербальное воспоминание было связано с моторным обучением у пожилых людей [28].

Как CTET тестирует вербальное обучение?
CTET имеет два теста для этого: "вербальное обучение” и "вербальные парные Ассоциаты", которые просят людей вспомнить серию слов, представленных визуально на экране в трех последовательных испытаниях, либо в виде отдельных слов, либо в паре с другими словами. Эти слова являются либо английскими словами, либо бессмысленными словами, которые произносятся, но не имеют английского значения.

Каждому из этих тестов соответствует тест, который оценивает последующее припоминание. Эти тесты должны быть взяты по крайней мере через 5 минут после первоначального соответствующего теста и не включать в себя репетицию предметов, которые должны были быть изучены. Пользователю просто предлагается вспомнить их таким же образом, как и в исходном тесте.

Рабочая и кратковременная память

Что такое рабочая и кратковременная память?
Рабочая и краткосрочная память относятся к памяти, доступной для немедленной когнитивной обработки, хранения и манипулирования информацией, в отличие от долгосрочной памяти, которая хранит важную информацию для будущего использования. Другими словами, рабочая память-это когнитивная способность удерживать в уме определенный объем информации доступным способом, который может быть использован в реальных ментальных задачах [40].

Какие тесты рабочей и кратковременной памяти были разработаны?
Одним из наиболее распространенных видов оценки рабочей памяти является тест разрядности. Тесты с числовым диапазоном представляют участнику список чисел, а затем просят повторить их снова. Эти тесты бывают разных видов, которые могут быть классифицированы в зависимости от того, как представлены цифры или как цифры должны быть вызваны участником. Стимулы обычно представлены аудиально. Что касается отзыва, то некоторые версии требуют, чтобы цифры были отозваны вперед (“тесты прямого промежутка цифр”), а другие требуют, чтобы цифры были отозваны назад (“тесты обратного промежутка цифр”) [31][32].

В дополнение к тестам разрядного диапазона существуют тесты пространственного диапазона. Вместо того чтобы представлять цифры, эти тесты обычно требуют, чтобы люди просматривали и затем воспроизводили упорядоченный пространственный шаблон. Популярная электронная детская игра "Саймон" - это версия теста пространственного охвата, хотя и с четырьмя возможными местоположениями, через которые паттерн может проследить свой путь. Что более типично, так это квадратная сетка с 9, 16, 25 или более квадратами. Эти квадраты загораются в упорядоченном порядке, и любой из квадратов может быть следующим в этом узоре. Так же, как и при тестировании разрядности, некоторые версии требуют, чтобы пользователь вспоминал паттерн вперед, а другие назад [40].

Другая разновидность тестов рабочей памяти аналогична тестам пространственной протяженности, за исключением того, что вместо того, чтобы представлять образцы в порядке и требовать, чтобы люди воспроизводили их в том же или противоположном порядке, эти тесты представляют группу квадратов, все освещенные одновременно, и люди должны затем указать, какие квадраты были освещены, а какие нет. CTET относится к этим тестам как к тестам “проектной копии”.

Существуют также тесты N-back, которые полезны для изучения рабочей памяти и высших когнитивных функций, таких как текучий интеллект [38][39]. Фактически, N-back был назван золотым стандартом оценки рабочей памяти в когнитивной нейробиологии [40]. В тесте N-back представлен ряд стимулов, и участнику предлагается вспомнить, какой стимул был представлен заданным числом (n) назад в последовательности. Стимулы могут быть цифрами, буквами или картинками. Если n равно единице, то правильным ответом является стимул, представленный непосредственно перед последним. Если n равно двум, то правильным ответом будет стимул, представленный за два до последнего.

Какова связь между рабочей и кратковременной памятью, измеренной в этих тестах,и реальными когнитивными показателями?
Рабочая память считается одним из наиболее важных и наиболее изученных умственных навыков на сегодняшний день [40]. Было показано, что тесты прямого интервала цифр измеряют эффективность внимания в дополнение к памяти [14][15][31], и производительность может быть затруднена стрессом [12] [16].

Установлено, что дети с нарушением рабочей памяти имеют короткие промежутки внимания, высокий уровень отвлекаемости, проблемы в контроле качества своей работы и трудности в выработке новых решений проблем [41]. Рабочая память тесно связана со способностью к обучению чтению и математике, и измерения рабочей памяти являются эффективными предикторами более поздних академических достижений.

Как CTET тестирует рабочую и кратковременную память?
CTET имеет тесты в каждой из областей, рассмотренных выше. У нас есть как прямые, так и обратные тесты разрядности, причем цифры отображаются на экране. В то время как разговорный отзыв обычно используется в клинических условиях для тестов с цифровым диапазоном, отзыв для наших версий осуществляется с помощью набора текста на клавиатуре.

У нас есть как прямые, так и обратные пространственные тесты, где некоторые квадраты в белой сетке становятся черными. Та же установка используется для наших задач воспроизведения паттернов “ "копирования дизайна" и "распознавания дизайна"."Основное различие между копией дизайна и распознаванием дизайна заключается в том, что копия дизайна требует, чтобы человек заполнял дизайн из памяти, в то время как распознавание дизайна просит человека выбрать правильный шаблон из четырех вариантов, который соответствует отображаемому исходному шаблону.

Кроме того, CTET имеет еще один тест под названием "визуально-пространственные парные Ассоциаты"."Этот тест также использует сетку, но требует, чтобы участник запомнил, где отличительные формы были помещены в сетку, а затем вспомнил эти позиции позже, когда они были вызваны отображением конкретной формы.

Существует также самостоятельный темп 1-назад, где показано мультяшное животное, и люди должны реагировать одним способом, если следующее мультяшное животное соответствует предыдущему, и другим способом, если оно не соответствует предыдущему. Тест называется "самонастраивающимся", потому что следующее мультяшное животное показывается сразу же после ответа-люди могут занять столько или столько времени, сколько им удобно. 2-назад и 3-назад также доступны.

Как и во многих других наших тестах, тесты в этой области (помимо самостоятельного темпа n-back) адаптируются к навыкам пользователя, увеличивая или уменьшая длину любой заданной серии, которую необходимо повторить.

Навыки визуального восприятия и познания

Что такое визуальное восприятие и когнитивные навыки?
Навыки визуального восприятия и познания-это навыки, связанные с восприятием визуальной информации и способностью обрабатывать визуальные образы и манипулировать ими.

Какие тесты зрительного восприятия и когнитивных навыков были разработаны?
Были разработаны различные тесты зрительного восприятия и познания. Одна группа тестов направлена на измерение способности воспринимать расположение стимулов, которые появляются или быстро исчезают. Те, кто знаком с популярным сайтом тренировки мозга Lumosity.com игры “наблюдение за птицами” и “Орлиный глаз” будут признаны основанными на тестах этой категории.

другая группа тестов оценивает способность человека мысленно вращать заданные формы или предметы. Такие тесты были давней особенностью батарей IQ, как, например, способы. Существует также Тест под названием SDMT, или Symbol Digit Modalities Test, который просит участников сопоставить данный символ с числом, используя ключ декодирования, который перечисляет, какие символы соответствуют каким числам [36][37].

Какова связь между визуальным восприятием и когнитивными навыками, измеряемыми в этих тестах, и реальной когнитивной эффективностью?
Сообщается, что СДМТ-тест является наиболее чувствительным тестом к наличию острой или хронической "органической" церебральной дисфункции, и поэтому он обладает потенциальными диагностическими свойствами [36]. А результаты тестов на остроту зрения, которые оценивают способность человека быстро замечать и распознавать появляющиеся объекты, обратно коррелируют с частотой дорожно-транспортных происшествий.

С другой стороны, та же самая острота зрения имеет тенденцию коррелировать с производительностью в экшн-видеоиграх. То же самое относится и к умственным способностям вращения. Также, по-видимому, существует причинно-следственный процесс в противоположном направлении, от частого воспроизведения видеоигр до выполнения этих тестов [17].

Как CTET проверяет визуальное восприятие и когнитивные навыки?
Тест CTET "ментальное вращение" представляет людей с выделенными паттернами на сетке, а затем дает им набор возможных ответов о том, как паттерн будет выглядеть, если его повернуть и поместить в другом месте сетки. Размещение объекта в сетке правильного ответа и углы поворота варьируются случайным образом.

“Визуальное соответствие " помещает две выделенные сетки рядом друг с другом и просит человека как можно быстрее оценить, идентичны ли эти две сетки. CTET также имеет тесты для измерения зрительного внимания и способности замечать быстрые изменения в поле зрения.

Наконец, существует смешанный тест зрительной памяти, внимания и остроты зрения под названием “кодирование."Участники этого теста должны сопоставить отображаемое в данный момент изображение с одним из изображений, показанных выше под каждым из девяти чисел. Хорошая визуальная память улучшает производительность этой задачи, делая процесс ответа более эффективным, но визуальная память не является строго необходимой, так как пользователь всегда имеет возможность непосредственно сравнить отображаемое изображение с вариантами ответов.

Моторика

Что такое моторика??
Двигательные навыки - это семейство способностей, связанных со скоростью и координацией движений тела.

Какие тесты двигательных навыков были разработаны?
Было проведено множество тестов на развитие двигательных навыков, хотя многие из них фокусируются на двигательных нарушениях того или иного рода. Один из тестов ручного двигательного навыка, который был довольно заметным, - это тест "постукивание пальцем"."Простая оценка, этот тест состоит в том, чтобы участники постукивали пальцем с каждой руки (по одной руке за раз) как можно больше раз за данный период времени. Как правило, испытания повторяются несколько раз и берется среднее значение [4].

Какова связь между двигательными навыками, измеренными в этих тестах, и реальными когнитивными показателями?
Считается, что постукивание пальцами является одним из наиболее чувствительных нейропсихологических тестов для определения нарушений мозгового кровообращения [18][19][34]. Имеются данные о корреляции у подростков между успеваемостью в этом тесте и различными вербальными навыками [20]. Удивительно, но, по-видимому, существует также умеренная корреляция с оценками WAIS перцептивной организации, которые в некоторой степени фокусируются на визуальной обработке [21]. И, наконец, постукивание пальцами используется как способ мониторинга когнитивного снижения при терминальных состояниях, таких как болезнь Паркинсона [35].

Как CTET проверяет двигательные навыки?
Мы внедрили нашу собственную версию теста постукивания пальцем, просто называемую "постукивание пальцем".- Это испытание включает в себя два чередующихся испытания для каждой руки. Испытания длятся по 10 секунд каждое и включают в себя нажатие на пробел как можно больше раз за это время.

Предостережение

Если Вы зашли так далеко, вот Вам большое спасибо * * объятие* * за чтение о науке CTET! Прежде чем мы закончим, мы просто хотели бы отметить, что CTET-это не то же самое, что формальное нейропсихологическое тестирование, и не является диагностическим. Обязательно проконсультируйтесь с врачом, если у вас есть какие-либо опасения по поводу вашего психического здоровья [33].

Рекомендации

1. Jencks, C. (1979). Who Gets Ahead? The Determinants of Economic Success in America. New York: Basic Books.

2. Rehberg, R.A. and Rosenthal, E.R. (1978). Class and Merit in the American High School: An Assessment of the Revisionist and Meritocratic Arguments. New York: Longman.

3. Brody, N. (1992). Intelligence, 2nd Edition. Academic Press, 1992.

4. Strauss, E., Sherman, E. M. S., and Spreen, O. (2006). A Compendium of Neuropsychological Tests: Administration, Norms, and Commentary, 3rd edition. Oxford: Oxford University Press

5. Detterman, D. K. (1987). What does reaction time tell us about intelligence? in P.A. Vernon (ed.), Speed of Information-Processing and Intelligence. Norwood, NJ: Ablex.

6. Jensen, A. R. (2006). Clocking the Mind : Mental Chronometry and Individual Differences (2006) 

7. Schatz, A. M., Ballantyne, A. O., Trauner, D. A. (2001). Sensitivity and specificity of a computerized test of attention in the diagnosis of attention-deficit/hyperactivity disorder. Assessment, 8(4), 357-365.

8. Schatz, A. M., Weimar, A. K., and Trauner, D. A. (2002). Attention differences in Asperger syndrome. Journal of Autism and Developmental Disorders, 32(4), 336-336.

9. Anstey, K. J., Dain., S., Andrews, S., and Drobny, J. (2002). Visual abilities in older adults explain age-differences in Stroop and fluid intelligence but not face recognition: Implications for the vision-cognition connection. Aging, Neuropsychology, & Cognition, 9, 253-265.

10. Graf, P., Uttl, B., and Tuokko, H. (1995). Color- and picture-word Stroop tests: Performance changes in old age. Journal of Clinical and Experimental Neuropsychology, 17, 390-415.

11. Wechsler, D. (1987). Wechsler Memory Scale--Revised manual. San Antonio: The Psychological Corporation.

12. Lezak, M.D., Howieson, D. B., and Loring, D. W. (2004). Neuropsychological Assessment, 4th Edition. Oxford: Oxford University Press.

13. Baldo, J. V., Delis, D., Kramer, J., & Shimamura, A. P. (2002). Memory performance on the California Verbal Learning Test-II: findings from patients with focal frontal lesions. Journal of the International Neuropsychological Society: JINS, 8(4), 539–546.

14. Kaufman, A.S., Kaufman-Packer, J. L., McLean, J. E., and Reynolds, C. R. (1991). Is the pattern of intellectual growth and decline across the adult life span different for men and women? Journal of Clinical Psychology, 47, 801-812.

15. Fowler, P. C., Richards, H. C., Boll, T. J., and Berent, S. (1987). A factor model of an extended Halstead Battery and its relationship to an EEG lateralization index for epileptic adults. Archives of Clinical Neuropsychology, 2, 81-92.

16. Mueller, J. E. (1979). Test anxiety and the encoding and retrieval of information. In I. G. Sarason (ed.), Test Anxiety: Theory, Research, and Applications. Hillsdale, NJ: Erlbaum.

17. Dye, M. W.; Green, C.S.; Bavelier, D. (2009). Increasing speed of processing with action video games. Current Directions in Psychological Science, 18(6), 321-326.

18. Leckliter, I. N. and Matarzazzo, J. D. (1989). The influence of age, education, IQ, gender, and alcohol abuse on Halstead-Reitan neuropsychological test battery performance. Journal of Clinical Psychology, 45, 484-512.

19. Horton, A. M. (1999). Above-average intelligence and neuropsychological test score performance. International Journal of Neuroscience, 99, 221-231.

20. Stanford, M. S., and Barratt, E. S. (1996). Verbal skills, finger tapping, and cognitive tempo define a second-order factor of temporal information processing. Brain and Cognition, 31, 35-45.

21. Berger, S. (1998). The WAIS-R factors: Usefulness and construct validity in neuropsychological assessment. Applied Neuropsychology, 5, 37-42.

22. Cicerone, K. D., and Azulay, J (2002). Diagnostic utility of attention measures in postconcussion syndrome. The Clinical Neuropsychologist, 16(3), 280-9.

23. Deary, I. J., Der, G., and Ford, G. (2001). Reaction times and intelligence differences: A population-based cohort study. Intelligence, 29(5), 389-399.

24. Demakis, G. J. (2004). Frontal lobe damage and tests of executive processing: a meta-analysis of the category test, stroop test, and trail-making test. Journal of Clinical and Experimental Neuropsychology, 26(3), 441-50.

25. Greve, K. W., Love, J. M., Sherwin, E., Mathias, C. W., Ramzinski, P., & Levy, J. (2002). Wisconsin Card Sorting Test in chronic severe traumatic brain injury: factor structure and performance subgroups. Brain injury: [BI], 16(1), 29–40.

26. Posner, M. I. (1980). Orienting of attention. The Quarterly journal of experimental psychology, 32(1), 3–25.

27. Cohen, M. R., & Maunsell, J. H. R. (2011). When attention wanders: how uncontrolled fluctuations in attention affect performance. The Journal of neuroscience: the official journal of the Society for Neuroscience, 31(44), 15802–15806.

28. Tunney, N., Taylor, L. F., Higbie, E. J., & Haist, F. (2001). Declarative Memory and Motor Learning in the Older Adult. Physical & Occupational Therapy in Geriatrics, 20(2), 21–42.

29. Titov, N., & Knight, R. G. (2000). A procedure for testing prospective remembering in persons with neurological impairments. Brain injury: [BI], 14(10), 877–886.

30. Uttl, B. (2002). Verbal Paired Associates tests limits on validity and reliability. Archives of Clinical Neuropsychology, 17(6), 567–581.

31. Groth-Marnat, G., & Baker, S. (2003). Digit Span as a measure of everyday attention: a study of ecological validity. Perceptual and motor skills, 97(3 Pt 2), 1209–1218.

32. Wechsler D. Manual for the Wechsler Adult Intelligence Scale— third edition. San Antonio, TX: Psychological Corp; 1997

33. Gualtieri, C. T., & Johnson, L. G. (2006). Reliability and validity of a computerized neurocognitive test battery, CNS Vital Signs. Archives of Clinical Neuropsychology, 21, 623-643.

34. Mitrushina, M. N., Boone, K. B., & D’Elia, L. F. (1999). Handbook of Normative Data for Neuropsychological Assessment. New York: Oxford University Press

35. Riggare, S. (2012). MyOwnPROMS. Poster presented at the 10th anniversary conference of Medical Management Center at Karolinska Institutet. http://www.riggare.se/2012/06/19/myownproms/

36. Smith, A. (1982). Symbol Digit Modalities Test (SDMT). Manual (Revised). Los Angeles, Western Psychological Services.

37. Lezak, M. D. (1994). Domains of behavior from a neuropsychological perspective: the whole story. Nebraska Symposium on Motivation. Nebraska Symposium on Motivation, 41, 23–55.

38. Kane, M. J., Conway, A. R. A., Miura, T. K., & Colflesh, G. J. H. (2007). Working memory, attention control, and the N-back task: a question of construct validity. Journal of experimental psychology. Learning, memory, and cognition, 33(3), 615–622.

39. Jaeggi, S. M., Buschkuehl, M., Perrig, W. J., & Meier, B. (2010). The concurrent validity of the N-back task as a working memory measure. Memory (Hove, England), 18(4), 394–412.

40. Hill, B. D. (2008). The construct validity of the clinical assessment of working memory ability. A dissertation submitted to the Graduate Faculty of the Louisiana State University in the Department of Psychology.

41. Alloway, T. P., Gathercole, S. E., Kirkwood, H., and Elliott, J. (2009). The Cognitive and Behavioral Characteristics of Children With Low Working Memory. Child Development, 80(2), 606-621.

42. Holmes, J., Gathercole, S. E., & Dunning, D. L. (2009). Adaptive training leads to sustained enhancement of poor working memory in children. Developmental Science, 12(4), F9–F15.

43. Deary, I. J., & Der, G. (2005). Reaction Time, Age, and Cognitive Ability: Longitudinal Findings from Age 16 to 63 Years in Representative Population Samples. Aging, Neuropsychology, and Cognition, 12(2), 187–215.

44. Diamond, A. (2013). Executive Functions. Annual Review of Psychology, 64, 135-168.