Перцептрон жана активация функциялары
Сиз уккан ар бир алп нейрон тармагы — жүздөрдү тааныганы да, чат-ботту иштеткени да — 1958-жылы ойлоп табылган бир кичинекей идеянын миллиондогон көчүрмөсүнөн курулган: бул перцептрон, өзү үйрөнө алган жалгыз жасалма нейрон.
Бул сабакта биз перцептронду өз колубуз менен курабыз, анын AND логикалык элементин санды санга кошуп үйрөнгөнүн байкайбыз, бүтүндөй тармакты дээрлик өлтүрүп таштаган атактуу маселени (XOR) ачабыз, андан кийин активация функциялары менен таанышабыз — булар нейрон тармактарына чыныгы күч берген кичинекей «чечим ийрилери».
- Перцептрон деген эмне экенин түшүндүрүү: кириштер (inputs), салмактар (weights), жылышуу (bias) жана активация.
- Перцептрондун чыгышын өз колуң менен эсептеп, толук чындык таблицасын (truth table) толтуруу.
- AND логикалык элементин куруп, бир гана санды өзгөртүү менен аны OR логикалык элементине айландыруу.
- Салмактарды туура жоопко карай жылдырган перцептрондун окутуу эрежесин (learning rule) кадам-кадам менен байкоо.
- Эмне үчүн XOR маселесин бир перцептрон чече албастыгын түшүндүрүү («сызыктуу бөлүнбөйт» — not linearly separable).
- Эмне үчүн активация функциялары сызыктуу эмес болушу керек экенин түшүндүрүп, step, sigmoid, tanh, ReLU, leaky ReLU жана softmax функцияларын сүрөттөө — жана алардын ар бирин качан колдонууну билүү.
1958-жылы Фрэнк Розенблатт аттуу америкалык психолог перцептронду курган. Ал баш мээ клеткасынан (нейрондон) шыктанган, бирок чындыгында ал жөн гана кичинекей арифметика. Перцептрон бир нече санды кабыл алат, ар бирине маанилүүлүк баасын берет, баарын кошот, андан кийин ооба/жок деген чечим чыгарат. Бүткүл машина ушул.