Табигый тилди иштетүү: жасалма интеллект кантип окуп, жазат
Негизги ой: Компьютерлер сөздөрдү адамдар түшүнгөндөй түшүнбөйт — алар сандар менен гана иштейт. Табигый тилди иштетүү (NLP) — бул адам тилин машина эсептей ала турган сандарга айландырган, моделге ошол сандардан закономерликтерди тапканга мүмкүнчүлүк берген, анан моделдин сандык жообун кайра пайдалуу тилге айландырган жасалма интеллекттин тармагы: котормо, кыскача баяндоо, чат-боттун жообу же "бул пикир оң" деген белги.
Google Translate менен кыргызча меню которгон сайын, билдирүүнү терип отурбай айтып жаздырган сайын же чат-боттон үй тапшырмасына жардам сураган сайын сен NLP колдонуп жатасың. Бул сабакта адам тили машина үчүн эмне үчүн ушунчалык кыйын экенин жана тилдин AIсин акыры жакшы иштеткен акылдуу ыкманы — сөздөрдү векторлорго айландырууну — көрөсүң.
Бул сабактын аягында сен төмөнкүлөрдү жасай аласың:
- Тил компьютерлер үчүн эмне үчүн кыйын экенин түшүндүрүү: көп маанилүүлүк, контекст, идиомалар, келеке жана тилдердин өтө көптүгү.
- NLP сөздөрдү сандарга кантип айландырарын (токендер жана сөз векторлору) жана окшош сөздөр эмне үчүн жакын турарын сүрөттөө.
- NLPнин негизги тапшырмаларын атоо: котормо, маанайды талдоо, кыскача баяндоо, суроолорго жооп берүү, чат-боттор жана кептен текстке айландыруу.
- Нейрондук машиналык котормо эмне үчүн эски ыкмаларга караганда сапат жагынан ушунчалык чоң секирик болгонун түшүндүрүү.
- Толук NLP түтүгүн изилдөө: текст токендер сандар модель натыйжа.
1. Тил компьютерлер үчүн эмне үчүн ушунчалык кыйын?
Компьютер үчүн арифметика оңой, ал эми тил кыйын — бул адамдар сезгендин так тескериси. 1970-жылдардагы калькулятор чоң сандарды бир заматта көбөйтө алчу, бирок жакынкы убакка чейин эч бир машина "Сонун, дагы бир дүйшөмбү..." деген сүйлөм кубанычтуубу же жокпу деп ишенимдүү айта алган эмес. Мына бешеу негизги тоскоолдук: