טיף לערנען (אויך באקאנט ווי טיף סטראַקטשערד לערנען אָדער כייראַרקאַקאַל לערנען) איז טייל פון אַ ברייטערער משפּחה פון מעטהאָדס לערנען מעטהאָדס באזירט אויף קינסטלעך נוראַל נעטוואָרקס. לערנען קענען זיין סופּערווייזד, האַלב סופּערווייזד אָדער ונסופּערוויסעד.
טיף לערנען אַרקאַטעקטשערז אַזאַ ווי טיף נעוראַל נעטוואָרקס, טיף גלויבן נעטוואָרקס, ריקעראַנט נעוראַל נעטוואָרקס און קאַנוואַלושאַנאַל נעוראַל נעטוואָרקס האָבן שוין געווענדט צו פיעלדס אַרייַנגערעכנט קאָמפּיוטער זעאונג, רייד דערקענונג, נאַטירלעך שפּראַך פּראַסעסינג, אַודיאָ דערקענונג, געזעלשאַפטלעך נעץ פֿילטרירונג, מאַשין איבערזעצונג, ביאָ-ינפאָרמאַטיקס, מעדיצין פּלאַן , מעדיציניש בילד אַנאַליסיס, מאַטעריאַל דורכקוק און ברעט שפּיל מגילה, וווּ זיי האָבן געפֿירט רעזולטאַטן פאַרגלייַכלעך צו און אין עטלעכע פאלן העכער צו מענטשלעך עקספּערץ.
קינסטלעך נעוראַל נעטוואָרקס (ANNs) זענען ינספּייערד דורך אינפֿאָרמאַציע פּראַסעסינג און פונאנדערגעטיילט קאָמוניקאַציע נאָודז אין בייאַלאַדזשיקאַל סיסטעמען. ANNs האָבן פאַרשידן דיפעראַנסיז פון בייאַלאַדזשיקאַל סייכל. ספּאַסיפיקלי, נוראַל נעטוואָרקס טענד צו זיין סטאַטיק און סימבאָליש, בשעת די בייאַלאַדזשיקאַל מאַרך פון רובֿ לעבעדיק אָרגאַניזאַמז איז דינאַמיש (פּלאַסטיק) און אַנאַלאָג.
טיף לערנען איז אַ קלאַס פון מאַשין לערנען אַלגערידאַמז אַז (pp199 – 200) ניצט קייפל לייַערס צו פּראַגרעסיוולי עקסטראַקט העכער פֿעיִקייטן פון די רוי אַרייַנשרייַב. אין בילד פּראַסעסינג, נידעריקער לייַערס קען ביישפּיל ידענטיפיצירן עדזשאַז, בשעת העכער לייַערס קען ידענטיפיצירן די קאַנסעפּס באַטייַטיק פֿאַר אַ מענטש אַזאַ ווי דידזשאַץ אָדער אותיות אָדער פנימער.
מערסט מאָדערן טיף לערנען מאָדעלס זענען באזירט אויף קינסטלעך נוראַל נעטוואָרקס, ספּאַסיפיקלי קאָנוואָלוטיאָנאַל נעוראַל נעטוואָרקס (CNN), כאָטש זיי קענען אויך אַנטהאַלטן פּראַפּאָוזישאַנאַל פאָרמולאַס אָדער לייטאַנט וועריאַבאַלז וואָס זענען אָרגאַניזירט שיכטע-קלוג אין טיף גענעראַטיווע מאָדעלס אַזאַ ווי די נאָודז אין טיף גלויבן נעטוואָרקס און טיף באָלצמאַנן מאשינען.
אין טיף לערנען, יעדער מדרגה לערנט צו יבערמאַכן זייַן אַרייַנשרייַב דאַטן אין אַ ביסל מער אַבסטראַקט און קאַמפּאַזאַט פאַרטרעטונג. אין אַ אַפּלאַקיישאַן פֿאַר דערקענונג פון בילד, די רוי אַרייַנשרייַב קען זיין אַ מאַטריץ פון בילדצעלן; דער ערשטער רעפּרעסענטאַטיאָנאַל שיכטע קען אַבסטראַקט די בילדצעלן און די קאָד עדזשאַז; די רגע שיכטע קען קאַמפּאָוז און ענקאָוד עריינדזשמאַנץ פון עדזשאַז; די דריט שיכטע קען ענקאָוד אַ נאָז און אויגן; און די פערט שיכטע קען דערקענען אַז די בילד כּולל אַ פּנים. ימפּאָרטאַנטלי, אַ טיף לערנען פּראָצעס קענען לערנען וואָס פֿעיִקייטן צו אָפּטימום אָרט אין וואָס גלייַך אויף זיין אייגן. (דאָך, דאָס טוט נישט גאָר עלימינירן די נויט פֿאַר האַנט-טונינג; למשל, וועריינג נומער פון לייַערס און שיכטע סיזעס קענען צושטעלן פאַרשידענע אַבסטראַקציע גראַד.)
דאָס וואָרט "טיף" אין "טיף לערנען" רעפערס צו די נומער פון לייַערס דורך וועלכע די דאַטן זענען טראַנספאָרמעד. מער גענוי, טיף לערנען סיסטעמען האָבן אַ היפּש קרעדיט אַסיינמאַנט דרך (CAP) טיפעניש. די CAP איז די קייט פון טראַנספערמיישאַנז פון אַרייַנשרייַב צו רעזולטאַט. קאַפּס שילדערן פּאַטענטשאַלי קאַוסאַל קאַנעקשאַנז צווישן אַרייַנשרייַב און רעזולטאַט. פֿאַר אַ נעעדפאָר נעוראַל נעץ, די טיפעניש פון די קאַפּס איז די פון די נעץ און איז די נומער פון פאַרבאָרגן לייַערס פּלוס איינער (ווייַל די רעזולטאַט שיכטע איז אויך פּאַראַמעטערייזד). פֿאַר ריקעראַנט נעוראַל נעטוואָרקס, אין וואָס אַ סיגנאַל קען פאַרמערן זיך דורך אַ שיכטע מער ווי איין מאָל, די קאַפּ טיף איז פּאַטענטשאַלי אַנלימאַטאַד. ניט וניווערסאַל אפגעמאכט די שוועל פון טיף דיוויידז פּליטקע לערנען פון טיף לערנען, אָבער רובֿ ריסערטשערז שטימען אַז טיף לערנען ינוואַלווז קאַפּ טיף העכער ווי 2. די קאַפּ פון די טיפעניש 2 איז געוויזן צו זיין אַ וניווערסאַל אַפּפּראָקסימאַטאָר אין דעם זינען אַז עס קען עמיאַלייט קיין פונקציע. ווייַטער פון דעם, מער לייַערס טאָן ניט לייגן צו די פונקציע אַפּראַקסאַמייטער פיייקייַט פון די נעץ. טיף מאָדעלס (CAP> 2) זענען ביכולת צו עקסטראַקט בעסער פֿעיִקייטן ווי פּליטקע מאָדעלס, און דעריבער, עקסטרע לייַערס העלפן צו לערנען די פֿעיִקייטן יפעקטיוולי.
טיף לערנען אַרקאַטעקטשערז קענען זיין קאַנסטראַקטאַד מיט אַ זשעדנע שיכטע-דורך-שיכטע אופֿן. טיף לערנען העלפּס צו דיסענטאַנגלע די אַבסטראַקשאַנז און קלייַבן וואָס פֿעיִקייטן פֿאַרבעסערן פאָרשטעלונג.
פֿאַר סופּערווייזד לערנען טאַסקס, טיף לערנען מעטהאָדס עלימינירן שטריך ינזשעניעריע, דורך איבערזעצן די דאַטן אין סאָליד ינטערמידייט רעפּראַזאַנטיישאַנז ענלעך צו הויפּט קאַמפּאָונאַנץ, און באַקומען לייערד סטראַקטשערז וואָס באַזייַטיקן יבעריק אין פאַרטרעטונג.
טיף לערנען אַלגערידאַמז קענען זיין געווענדט צו אַנסאַפּערווייזד טאַסקס. דאָס איז אַ וויכטיק נוץ ווייַל אַנאַלייטיד דאַטן זענען מער שעפעדיק ווי די לייבאַלד דאַטן. ביישפילן פון טיף סטראַקטשערז וואָס קענען זיין טריינד אין אַ ונסופּערוויסעד שטייגער זענען נעוראַל געשיכטע קאַמפּרעסערז און טיף גלויבן נעטוואָרקס.
טיף נעוראַל נעטוואָרקס זענען בכלל ינטערפּראַטאַד אין טערמינען פון די וניווערסאַל אַפּראַקסאַמיישאַן טהערעם אָדער פּראָבאַביליסטיק ינפעראַנס.
דער קלאַסיש וניווערסאַל אַפּפּראָקסימאַטיישאַן טעאָרעם איז די פיייקייט פון נעוראַל נעטוואָרקס מיט אַ איין פאַרבאָרגן שיכטע פון ​​ענדלעך גרייס צו דערנענטערנ קעסיידערדיק פאַנגקשאַנז. אין 1989, דער ערשטער דערווייַז איז געווען פארעפנטלעכט דורך George Cybenko פֿאַר סיגמאָיד אַקטאַוויישאַן פאַנגקשאַנז און איז געווען דזשענעראַלייזד צו קאָרמען-פאָרויס מאַלטי-שיכטע אַרקאַטעקטשער אין 1991 דורך Kurt Hornik. לעצטע ווערק אויך געוויזן אַז וניווערסאַל אַפּפּראָקסימאַטיאָן איז אויך פּאַסיק פֿאַר ניט-באַונדאַד אַקטאַוויישאַן פאַנגקשאַנז אַזאַ ווי די רעקטאַפייד לינעאַר אַפּאַראַט.
דער וניווערסאַל דערנענטירונג טעאָרעם פֿאַר טיף נעוראַל נעטוואָרקס קאַנסידז די קאַפּאַציטעט פון נעטוואָרקס מיט באַונדאַד ברייט, אָבער די טיפעניש איז ערלויבט צו וואַקסן. Lu et al. פּרוווד אַז אויב די ברייט פון אַ טיף נעוראַל נעץ מיט ReLU אַקטאַוויישאַן איז שטרענג גרעסער ווי די אַרייַנשרייַב ויסמעסטונג, די נעץ קען אַפּפּראָקסימאַטע קיין Lebesgue ינטעגראַבאַל פונקציע; אויב די ברייט איז קלענערער אָדער גלייַך צו די אַרייַנשרייַב ויסמעסטונג, טיף נעוראַל נעץ איז נישט אַ וניווערסאַל אַפּפּראָקסימאַטאָר.
די פּראָבאַביליסטיק ינטערפּריטיישאַן קומט פֿון די פעלד פון מאַשין לערנען. עס פֿעיִקייטן ינפעראַנס, ווי געזונט ווי די אַפּטאַמאַזיישאַן קאַנסעפּס פון טריינינג און טעסטינג, שייַכות צו פּאַסן און גענעראַליזאַטיאָן. מער ספּאַסיפיקלי, די פּראָבאַביליסטיק ינטערפּריטיישאַן האלט די אַקטאַוויישאַן נאַנליניעראַטי ווי אַ קיומיאַלאַטיוו פאַרשפּרייטונג פונקציע. די פּראָבאַביליסטיק ינטערפּריטיישאַן געפירט צו די ינטראָדוקטיאָן פון דראָפּאַוט ווי רעגולעריזער אין נוראַל נעטוואָרקס. די פּראָבאַביליסטיק ינטערפּריטיישאַן איז באַקענענ דורך ריסערטשערז אַרייַנגערעכנט Hopfield, Widrow און Narendra און פּאָפּולאַריזעד אין סערווייז ווי די בישאָפּ.
צוריק צו Top