Когато първият ми син беше само на две, той вече обичаше автомобилите, знаеше всички марки и модели (дори повече от мен, благодарение на приятелите ми), можеше да ги разпознае по малка част от изображението. Всички казваха: гений. Въпреки че отбелязаха пълната безполезност на тези знания. А синът междувременно спеше с тях, навиваше ги, поставяше ги точно в редица или на площад.
Когато беше на 4, той се научи да брои, а на 5 вече можеше да умножава и да добавя в рамките на 1000. Ние дори играхме Math Workout (тази игра е на Android - обичах да изчислявам в метрото след работа), и в един момент той ме превърна само така. И в свободното си време той брои до един милион, който замрази тези около него. Genius! - казаха те, но ние подозирахме, че не съвсем.
Между другото, на пазара той доста добре помогна на майка си - изчисли общата сума по-бързо от продавачите на калкулатора.
В същото време той никога не играеше на корта, не общуваше с връстници, не се разбираше много добре с деца и учители в детската градина. Като цяло той беше малко запазено дете.
Следващата стъпка беше географията - опитахме се да канализираме любовта към числата някъде и дадохме на сина си стар съветски атлас. Той се потопи в него за един месец и след това започна да ни задава сложни въпроси в стила:
- Татко, коя държава според вас има голяма площ: Пакистан или Мозамбик?
- Вероятно Мозамбик - отвърнах.
- Но не! Площта на Пакистан е с 2350 км2 повече - щастливо отговори синът.
Промоционално видео:
В същото време той абсолютно не се интересуваше нито от народите, населяващи тези страни, нито от езиците им, нито от дрехите, нито от народната музика. Само голи числа: площ, население, обем на минералните запаси и т.н.
Всички отново се възхищаваха. "Умен отвъд годините му", казаха наоколо, но аз отново се притесних, защото Разбрах, че това е напълно безполезно знание, не е обвързано с житейския опит и което е трудно да продължи да се развива. Най-доброто приложение от всичко, което открих, беше предложение да се изчисли колко автомобили ще се поберат на паркинг, ако определена страна е навита с асфалт (без да се взема предвид планинския терен), но бързо спрях, защото това присмива геноцид.
Интересното е, че по това време темата за колите напълно изчезна, синът дори не си спомни имената на любимите си автомобили от огромната си колекция, която започнахме да разпространяваме със загуба на интерес. И тогава той започна да брои по-бавно в ума си и скоро забрави площадите на страните. В същото време той започна да общува повече с връстниците си, стана по-контактен. Геният мина, приятелите спряха да се възхищават, синът стана просто добър ученик с склонност към математика и точни науки.
Повторението е майката на ученето
Изглежда за какво е всичко това. Това се наблюдава при много деца. Родителите им декларират пред всички, че децата им са гениални, бабите се възхищават и хвалят децата за тяхното „знание“. И тогава те прерастват в обикновени, просто умни деца, не по-гениални от сина на приятеля на майка ми.
Докато изучавах невронните мрежи, срещнах подобно явление и ми се струва, че от тази аналогия могат да се направят определени изводи. Не съм биолог или невронаук. Всичко по-нататък - моите предположения без претенции да са особено научни. Ще се радвам да получавам коментари от професионалисти.
Когато се опитах да разбера как синът ми се научи да брои по-бързо от мен толкова готино (завърши ниво в Math Workout за 20,4 секунди, докато моят запис беше 21,9), разбрах, че той изобщо не се брои. Той запомни, че когато се появи 55 + 17, трябва да кликнете върху 72. На 45 + 38 трябва да кликнете върху 83 и т.н. В началото, разбира се, той преброи, но скокът в скоростта се случи в момента, в който той успя да запомни всички комбинации. И доста бързо започна да запаметява не конкретни надписи, а комбинации от символи. Точно това учат в училище, изучавайки таблицата за умножение - помнете таблицата за кореспонденция MxN -> P.
Оказа се, че той възприема по-голямата част от информацията именно като връзка между входните данни и изходните данни и че много общият алгоритъм, който сме свикнали да превъртаме, за да получим отговор, не е сведен само до много добре заточен високо специализиран алгоритъм за броене на двуцифрени числа. Той вършеше няколко отлични задачи, но много по-бавно. Тези. това, което всички смятаха за супер готино, всъщност просто беше симулирано от добре обучена невронна мрежа за конкретна задача.
Допълнителни знания
Защо някои деца имат способността да запомнят по този начин, докато други не?
Представете си интересното поле на детето (тук подхождаме към въпроса качествено, без никакви измервания). Вляво е полето на интересите на обикновено дете, а вдясно е полето на интересите на „надарено“дете. Както се очаква, основният интерес е съсредоточен в области, за които има специални предпочитания. Но за ежедневните неща и комуникацията с връстниците, фокусът вече не е достатъчен. Той смята това знание за излишно.
Интересите на обикновено дете на 5 години.
Интересите на "блестящо" дете на 5 години.
При такива деца мозъкът анализира и провежда обучение само по избрани теми. Чрез обучение невронната мрежа в мозъка трябва да се научи успешно да класифицира входящите данни. Но мозъкът разполага с много, много неврони. Много повече, отколкото е необходимо за нормална работа с толкова прости задачи. Обикновено децата решават много различни проблеми в живота, но тук всички едни и същи ресурси се хвърлят в по-тесен диапазон от задачи. И обучението в този режим лесно води до това, което ML специалистите наричат свръхфитинг. Мрежата, използвайки изобилие от коефициенти (неврони), се е обучила по такъв начин, че винаги дава точно необходимите отговори (но може да даде пълна глупост на междинните входни данни, но никой не я вижда). По този начин обучението доведе не до факта, че мозъкът е избрал основните характеристики и ги запомни, а до факта, че коригира много коефициенти, т.е.за да дадете точен резултат по вече известни данни (както е на снимката вдясно). Освен това мозъкът е научил така по други теми, като е бил лошо обучен (както е на снимката вляво).
Какво е underfitting и overfitting?
За тези, които не са в темата, ще ви разкажа съвсем накратко. Когато тренираме невронна мрежа, задачата е да се избере определен брой параметри (тежести на комуникация между невроните), така че мрежата, отговаряйки на данните за обучение (тренировъчна извадка), да отговаря възможно най-точно и точно.
Ако има твърде малко такива параметри, тогава мрежата няма да може да вземе предвид детайлите на извадката, което ще доведе до много груб и среден отговор, който не работи добре дори на обучителната извадка. Подобно на снимката вляво отгоре. Това е недостатъчно.
При адекватен брой параметри мрежата ще даде добър резултат, "поглъщайки" силни отклонения в тренировъчните данни. Такава мрежа ще реагира добре не само на обучителната извадка, но и на други междинни стойности. Като средната снимка по-горе.
Но ако на мрежата се предоставят твърде много конфигурируеми параметри, тогава тя ще се обучи да възпроизвежда дори силни отклонения и колебания (включително тези, причинени от грешки), което може да доведе до пълна глупост, когато се опитвате да получите отговор на входни данни, а не от обучителната извадка. Нещо като снимката вдясно отгоре. Това е превъзходно.
Прост илюстративен пример.
Да речем, че имате множество точки (сини кръгове). Трябва да начертаете гладка крива, за да прогнозирате позицията на други точки. Ако вземем например полином, тогава при малки градуси (до 3 или 4) нашата гладка крива ще бъде доста точна (синя крива). В този случай синята крива може да не премине през първоначалните точки (сини точки).
Ако обаче броят на коефициентите (и следователно степента на полинома) се увеличи, точността на преминаване на сините точки ще се увеличи (или дори ще има 100% хит), но поведението между тези точки ще стане непредсказуемо (вижте как се колебае червената крива).
Струва ми се, че именно склонността на детето към конкретна тема (мания) и пълното игнориране на останалите теми води до факта, че когато преподават твърде много „коефициенти“се дават на тези много теми.
Като се има предвид, че мрежата е конфигурирана за конкретни входни данни и не е избрала "функции", но глупаво "е запомнила" входните данни, тя не може да се използва с малко различни входни данни. Приложимостта на такава мрежа е много тясна. С напредване на възрастта хоризонтите се разширяват, фокусът става размит и вече няма възможност да се присвоят един и същ брой неврони на една и съща задача - те започват да се използват в нови задачи, по-необходими за детето. "Настройките" на тази препълнена мрежа се сриват, детето става "нормално", геният изчезва.
Разбира се, ако детето има умение, което е полезно само по себе си и може да се развие (например музика или спорт), тогава неговият „гений“може да бъде поддържан за дълго време и дори да доведе тези умения до професионално ниво. Но в повечето случаи това не работи и няма да остане следа от старите умения до 8-10 години.
заключения
- имате гениално дете? ще мине;)
- перспектива и „гений“са свързани неща и те са свързани именно чрез механизма на обучение
- този привиден „гений“най-вероятно изобщо не е гений, а ефектът от твърде силното обучение на мозъка върху конкретна задача, без да го разбира - просто всички ресурси бяха отделени за тази задача
- при коригиране на тесните интереси на детето геният му изчезва
- ако детето ви е „гениално“и малко по-запазено от връстниците си, тогава трябва да развивате същите тези умения допълнително внимателно, активно да развивате паралелно хоризонтите си и да не се фокусирате върху тези „готини“, но обикновено безполезни умения
Автор: Сергей Полторак
