‫ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‬

‫درس ﻫﻮش ﻣﺼﻨﻮﻋﯽ‬

‫دﮐﺘﺮ ﻣﺤﻤﺪﻋﻠﯽ اﻓﺸﺎرﮐﺎﻇﻤﯽ‬

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ھﻮش‬
‫زﻧدﮔﻲ ﺑراي ﮐﺳﺎﻧﻲ ﮐﮫ ﻓﮑر ﻣﻲ ﮐﻧﻧد ﮐﻣدي و ﺑراي ﮐﺳﺎﻧﻲ ﮐﮫ اﺣﺳﺎس ﻣﻲ ﮐﻧﻧد‬
‫ﺗراژدي اﺳت‬
‫ھوارس واﻟﭘول‬

‫‪2‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﻘﺪﻣﻪ اي ﺑﺮ ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‬

‫»ﻫﻮش ﻣﺼﻨﻮﻋﯽ ﻋﺒﺎرت اﺳﺖ از ﻣﻄﺎﻟﻌﻪ اﯾﻦ ﮐﻪ ﭼﮕﻮﻧﻪ ﮐﺎﻣﭙﯿﻮﺗﺮﻫﺎ را ﻣﯽﺗﻮان‬

‫وادار ﺑﻪ ﮐﺎرﻫﺎﯾﯽ ﮐﺮد ﮐﻪ در ﺣﺎل ﺣﺎﺿﺮ اﻧﺴﺎنﻫﺎ آﻧﻬﺎ را ﺑﻬﺘﺮ اﻧﺠﺎم ﻣﯽدﻫﻨﺪ«‬

‫‪3‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺳﺎﺧﺘﺎرﯾﮏ ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﯿﻮﻟﻮژﯾﮏ )ﻧﺮون(‬
‫ﻧﺮون ﻋﻨﺼﺮ اﺻﻠﯽ ﻣﻐﺰ اﺳﺖ و ﺑﻪ ﺗﻨﻬﺎﯾﯽ ﻣﺎﻧﻨﺪ ﯾﮏ واﺣﺪ ﭘﺮدازش ﻣﻨﻄﻘﯽ ﻋﻤﻞ ﻣﯽ ﮐﻨﺪ‪ .‬ﻫﺮ ﻧﺮون‬
‫ورودﯾﻬﺎي ﻣﺘﻌﺪدي داردﮐﻪ ﺑﺎ ﯾﮑﺪﯾﮕﺮ ﺑﻪ ﻃﺮﯾﻘﯽ ﺟﻤﻊ ﻣﯽ ﺷﻮﻧﺪ‪ .‬اﮔﺮ در ﯾﮏ ﻟﺤﻈﻪ ﺗﻌﺪاد‬
‫ورودﯾﻬﺎي ﻓﻌﺎل ﻧﺮون ﺑﻪ ﻣﻘﺪار ﻻزم ﺑﺮﺳﺪ ﻧﺮون ﻓﻌﺎل ﺷﺪه وآﺗﺶ ﻣﯽ ﮐﻨﺪ در ﻏﯿﺮ اﯾﻦ ﺻﻮرت ﻏﯿﺮ‬
‫ﻓﻌﺎل ﺑﺎﻗﯽ ﻣﯽ ﻣﺎﻧﺪ‪.‬‬

‫‪‬ﺳﻮﻣﺎ )‪cell body(soma‬‬

‫‪ ‬دﻧﺪرﯾﺖ )‪input cell(dendrite‬‬
‫‪ ‬آﮐﺴﻮن )‪output cell(axon‬‬
‫‪4‬‬ ‫‪‬ﺳﯿﻨﺎﭘﺲ‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫رﺷﺘﻪ ﻫﺎي اﮐﺴﻮن در ﻧﻘﻄﻪ ﺗﻤﺎس ﻣﻌﯿﻨﯽ ﺑﻪ ﻧﺎم‬
‫ﺳﯿﻨﺎﭘﺲ ﻗﻄﻊ ﺷﺪه و ﺑﻪ دﻧﺪرﯾﺖ ﺳﻠﻮل دﯾﮕﺮ‬
‫ﻣﺘﺼﻞ ﻣﯽ ﺷﻮﻧﺪ ‪ .‬ﻫﺮ دﻧﺪرﯾﺖ ﻣﻤﮑﻦ اﺳﺖ ﺗﺤﺖ‬ ‫‪Dendrites‬‬

‫ﺗﺎﺛﯿﺮ ﺗﻌﺪاد زﯾﺎدي ﺳﯿﻨﺎﭘﺲ ﺑﺎﺷﺪ ﮐﻪ اﺗﺼﺎﻻت‬ ‫‪Cell body‬‬

‫داﺧﻠﯽ زﯾﺎدي را ﻣﻤﮑﻦ ﻣﯽ ﺳﺎزد‪.‬‬
‫ﺗﻌﺪادي از ﺳﯿﻨﺎﭘﺲ ﻫﺎي ﯾﮏ دﻧﺪرﯾﺖ ﺑﺎﻋﺚ‬ ‫‪Axon‬‬
‫ﺗﺤﺮﯾﮏ ان وﺗﻌﺪادي دﯾﮕﺮ ان را از ﺗﺤﺮﯾﮏ ﺑﺎز‬
‫ﻣﯽ دارد‪ ،‬در واﻗﻊ ﺟﻬﺖ ﻣﺜﺒﺖ ﯾﺎ ﻣﻨﻔﯽ دارﻧﺪ‪.‬‬ ‫‪Synapse‬‬

‫ﯾﮏ ﻧﺮون داراي ورودﯾﻬﺎي ﺳﯿﻨﺎﭘﺴﯽ‬

‫ﻣﺘﻌﺪد ﺑﺮ روي دﻧﺪرﯾﺘﻬﺎي ﺧﻮد ﺑﻮده‬
‫وﺑﺎ ﺧﺮوﺟﯿﻬﺎي ﺳﯿﻨﺎﭘﺴﯽ ﻣﺘﻌﺪد ﺑﻪ‬
‫دﻧﺪرﯾﺖ ﻧﺮوﻧﻬﺎي دﯾﮕﺮ ﻣﺘﺼﻞ اﺳﺖ‪.‬‬

‫‪5‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﻘﺪﻣﻪاي ﺑﺮ ﺷﺒﮑﻪﻫﺎي ﻋﺼﺒﯽ‬

‫ﻣﺠﻤﻮع ورودﯾﻬﺎ = ورودي ‪ * 1‬وزن ﻣﺮﺑﻮط ﺑﻪ ﺧﻂ ‪ +1‬ورودي ‪ * 2‬وزن ﻣﺮﺑﻮط ﺑﻪ ﺧﻂ‬

‫‪ +.......................+2‬ورودي ‪ * n‬وزن ﻣﺮﺑﻮط ﺑﻪ ﺧﻂ ‪n‬‬
‫‪∑WiXi=w1x1+w2x2+……….+wnxn‬‬

‫اﮔﺮ اﯾﻦ ﻣﺪل ﺳﺎده را ﺑﺎ ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﯿﻮﻟﻮژﯾﮑﯽ ﮐﻪ ﭘﯿﺶ از اﯾﻦ ﺷﺮح دادﯾﻢ ﻣﻘﺎﯾﺴﻪ ﮐﻨﯿﻢ‪ ،‬وزن ‪w‬‬
‫ﻣﻄﺎﺑﻘﺖ دارد ﺑﺎ ﺳﯿﻨﺎﭘﺲ‪ ،‬ﺑﺪﻧﻪ ﺳﻠﻮل ﺑﻪ وﺳﯿﻠﻪ ﻋﻤﻞ ﺟﻤﻊ و ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺑﯿﺎن ﺷﺪه و ﺧﺮوﺟﯽ‬
‫ﺳﻠﻮل ﻋﺼﺒﯽ ﯾﺎ ﻫﻤﺎن ‪ a‬ﻧﻤﺎﯾﺎﻧﮕﺮ ﺳﯿﮕﻨﺎل آﮐﺴﻮن اﺳﺖ‪ .‬ﻋﻤﻮﻣﺎً ﯾﮏ ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﯿﺶ از ﯾﮏ‬
‫ورودي دارد‪ .‬ﻫﺮ ﮐﺪام از ورودي ﻫﺎي ﻣﺠﺰا در وزن ﻣﺘﻨﺎﻇﺮ ﺧﻮد ﺿﺮب ﻣﯽ ﺷﻮﻧﺪ‪ .‬ﺑﻨﺎﺑﺮاﯾﻦ ﻣﯽ‬
‫ﺗﻮان ورودي ﻫﺎ را ﺑﻪ ﺻﻮرت ﺑﺮدار ‪ p‬و وزن ﻫﺎ را ﺑﻪ ﺻﻮرت ﻣﺎﺗﺮﯾﺲ ‪ W‬ﺗﻌﺮﯾﻒ ﻧﻤﻮد‪.‬‬
‫‪6‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﺪل ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﺎ ﭼﻨﺪ ورودي و ﭼﻨﺪ ﺧﺮوﺟﯽ‬

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 Abbreviated Notation

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﺪل ﻧﺮون ﭘﺎﯾﻪ‬
‫‪E1‬‬
‫‪E2‬‬
‫‪EM‬‬ ‫‪Y‬‬
‫‪I1‬‬ ‫‪T‬‬
‫‪I2‬‬
‫‪In‬‬

‫ﻋﺼﺐ ﺑﯿﻮﻟﻮژﯾﮑﯽ ﻣﮏ ﮐﻠﻮچ و ﺑﯿﺘﺲ‬

‫ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ از ﻋﻨﺎﺻﺮي ﻣﺒﺘﻨﯽ ﺑﺮ ﻋﺼﺐ ﺑﯿﻮﻟﻮژﯾﮑﯽ ﻣﮏ ﮐﻠﻮچ و ﺑﯿﺘﺲ )‪ (1943‬ﺗﺸﮑﯿﻞ ﺷﺪه‬
‫اﻧﺪ‪ .‬اﯾﻦ ﻋﺼﺐ داراي ورودﯾﻬﺎي ﻣﺤﺮك ‪ E‬و ورودﯾﻬﺎي ﺑﺎز دارﻧﺪه ‪ I‬و ﺧﺮوﺟﯽ ‪ Y‬ﻣﯽ ﺑﺎﺷﺪ‪ .‬در‬
‫ﺻﻮرﺗﯿﮑﻪ ﻣﺠﻤﻮع ورودﯾﻬﺎي ﻣﺤﺮك ﺑﺰرﮔﺘﺮ از ﺣﺪ اﺳﺘﺎﻧﻪ ‪ T‬ﺑﺎﺷﺪ اﻧﮕﺎه ﺧﺮوﺟﯽ ﻓﻌﺎل ﯾﺎ ﺑﺮاﺑﺮ‪1‬‬
‫ﻣﯿﺸﻮد‪ ،‬در ﺻﻮرﺗﯿﮑﻪ ﺣﺘﯽ ﯾﮏ ورودي ﺑﺎز دارﻧﺪه ﻓﻌﺎل ﺑﺎﺷﺪ ﺧﻮﺟﯽ ﺻﻔﺮ ﻣﯽ ﺷﻮد‪.‬‬

‫‪Y=1‬‬ ‫‪IF‬‬ ‫‪∑I=0 ,‬‬ ‫‪∑E>= T‬‬

‫‪Y=0‬‬ ‫‪OTHERS‬‬

‫‪9‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 McCulloch-Pitts Perceptron

10

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫‪X0‬‬ ‫‪W0‬‬
‫آدﻻﯾﻦ‬
‫‪X1‬‬ ‫‪W1‬‬
‫‪X2‬‬ ‫‪W2‬‬ ‫‪Y‬‬
‫…‬ ‫…‬ ‫‪T‬‬
‫…‬ ‫…‬
‫‪Wn‬‬
‫‪Xn‬‬

‫در ﺳﺎﻟﻬﺎي ﺑﻌﺪ در ﻣﺪل ﻣﮏ ﮐﻠﻮچ و ﺑﯿﺘﺲ اﺻﻼﺣﺎﺗﯽ ﺻﻮرت ﮔﺮﻓﺖ‪.‬ﯾﮑﯽ از اﯾﻦ اﺻﻼﺣﺎت ﺗﺨﺼﯿﺺ اوزان‬
‫ﺑﻪ ورودﯾﻬﺎ اﺳﺖ‪ ،‬ﮐﻪ ﺗﻮﺳﻂ وﯾﺪر وﻫﻮف ﺗﺤﺖ ﻋﻨﻮان ادﻻﯾﻦ اﻧﺠﺎم ﺷﺪ‪ .‬در ادﻻﯾﻦ ﻫﺮ ورودي ‪ X‬داراي‬
‫وزن ‪ W‬اﺳﺖ ‪ .‬ورودﯾﻬﺎ داراي ﻣﻘﺎدﯾﺮ ‪ -1,+1‬ﺑﻮده و وزﻧﻬﺎ اﻋﺪاد ﺣﻘﯿﻘﯽ ﻣﺜﺒﺖ ﯾﺎ ﻣﻨﻔﯽ ﻣﯿﺒﺎﺷﻨﺪ‪.‬‬

‫‪Net Input=∑WiXi‬‬

‫در اﯾﻦ ﺷﺒﮑﻪ ورودي اﺿﺎﻓﯽ ‪ X0‬ﺑﺎ ﻣﻘﺪار‪ +1‬و وزن ‪ W0‬ﺑﻌﻨﻮان ﻣﻘﺪار ﺟﺒﺮاﻧﯽ اﯾﺠﺎد ﮔﺮدﯾﺪ‪.‬‬

‫ﻣﻘﺪار ‪ Net Input‬ﺗﻮﺳﻂ ﯾﮏ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﺨﺖ ﻣﺤﺪود ﺑﻪ ﺧﺮوﺟﯽ ‪ Y‬ﺗﺒﺪﯾﻞ ﻣﯿﺸﻮد‪.‬‬

‫‪Y=+1‬‬ ‫‪IF‬‬ ‫‪Net Input>0‬‬

‫‪Y=-1‬‬ ‫‪IF‬‬ ‫‪Net Input<=1‬‬

‫‪11‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﺴﺌﻠﻪ ﻋﻤﺪه در ﺗﻤﺎﻣﯽ ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ اﻧﺘﺨﺎب‬
‫ﻣﻘﺎدﯾﺮ وزﻧﻬﺎ وﻧﺤﻮه اﺻﻼح وﺑﻬﺒﻮد آن اﺳﺖ‪.‬‬

‫وزﻧﻬﺎ ﺑﺎﯾﺪ ﺑﮕﻮﻧﻪ اي ﺗﻌﺪﯾﻞ ﺷﻮﻧﺪ ﮐﻪ ﻣﺠﻤﻮﻋﻪ اي ازﻣﺜﺎﻟﻬﺎ از ﮐﻼﺳﯽ ﯾﮑﺴﺎن ﺧﺮوﺟﯽ‬
‫ﯾﮑﺴﺎن ﺗﻮﻟﯿﺪ ﮐﻨﺪ‬

‫‪12‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫وﯾﮋﮔﯿﻬﺎي ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‬

‫ﺗﺎﮐﻨﻮن ﻣﺪل ﻫﺎي ﻣﺨﺘﻠﻒ ﺑﺎ ﺳﺎﺧﺘﺎر و اﻟﮕﻮرﯾﺘﻢ ﻫﺎي ﻣﺘﻨﻮﻋﯽ از ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‬
‫اراﺋﻪ ﺷﺪه اﺳﺖ و ﻫﺮ ﭼﻨﺪ اﯾﻦ ﻣﺪل ﻫﺎ ﺑﺎ ﯾﮑﺪﯾﮕﺮ ﺗﻔﺎوت دارﻧﺪ‪ ،‬اﻣﺎ ﺗﻤﺎم اﯾﻦ ﻣﺪل ﻫﺎ‬
‫ﯾﮏ ﻫﺪف ﻣﺸﺘﺮك را دﻧﺒﺎل ﻣﯽ ﮐﻨﻨﺪ‪ .‬ﺑﻪ ﻃﻮر ﮐﻠﯽ ﺳﻠﻮل ﻫﺎي ﻋﺼﺒﯽ ﮐﻪ ﺗﺸﮑﯿﻞ‬
‫دﻫﻨﺪه ﯾﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻣﯽ ﺑﺎﺷﻨﺪ ﻣﺎﺷﯿﻦ ﻫﺎي ﻣﺤﺎﺳﺒﺎﺗﯽ ﻫﺴﺘﻨﺪ‪ ،‬ﮐﻪ از اﺟﺰاي‬
‫ﺳﺎده)ﺳﻠﻮل( و زﻧﺠﯿﺮه اي ﺗﺸﮑﯿﻞ ﻣﯽ ﺷﻮﻧﺪ و داراي ﺧﻮاص زﯾﺮﻧﺪ‪:‬‬

‫‪ ‬ﻗﺎﺑﻠﯿﺖ ﯾﺎدﮔﯿﺮي و ﺗﻄﺒﯿﻖ ﭘﺬﯾﺮي‬

‫‪‬ﻗﺎﺑﻠﯿﺖ ﺗﻌﻤﯿﻢ ﭘﺬﯾﺮي‬
‫‪ ‬ﭘﺮدازش ﻣﻮازي‬
‫‪ ‬ﻣﻘﺎوم ﺑﻮدن‬
‫‪ ‬ﻗﺎﺑﻠﯿﺖ ﺗﻘﺮﯾﺐ ﻋﻤﻮﻣﯽ‬

‫‪13‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫‪ ‬ﻗﺎﺑﻠﯿﺖ ﯾﺎدﮔﯿﺮي و ﺗﻄﺒﯿﻖ ﭘﺬﯾﺮي‬

‫ﻗﺎﺑﻠﯿﺖ ﯾﺎدﮔﯿﺮي ﯾﻌﻨﯽ ﺗﻮاﻧﺎﯾﯽ ﺗﻨﻈﯿﻢ ﭘﺎراﻣﺘﺮﻫﺎي ﺷﺒﮑﻪ ﻋﺼﺒﯽ‪ .‬ﺑﺮاي اﯾﻦ ﻣﻨﻈﻮر‬
‫ﻧﻤﻮﻧﻪ ﻫﺎي اوﻟﯿﻪ را ﺑﻪ ﺷﺒﮑﻪ اﻋﻤﺎل ﻣﯽ ﮐﻨﻨﺪ ﺷﺒﮑﻪ‪ ،‬ﭘﺎراﻣﺘﺮﻫﺎ را ﺑﺮ اﺳﺎس اﯾﻦ ﻧﻤﻮﻧﻪ‬
‫ﻫﺎ ﺗﻨﻈﯿﻢ ﻣﯽ ﮐﻨﺪ‪ .‬اﮔﺮ ﻧﻤﻮﻧﻪ ﻫﺎي ﺟﺪﯾﺪ ﺑﻪ اﯾﻦ ﺷﺒﮑﻪ ﮐﻪ ﺑﻪ اﯾﻦ ﻃﺮﯾﻖ آﻣﻮزش‬
‫دﯾﺪه‪ ،‬اﻋﻤﺎل ﺷﻮد‪ ،‬ﺧﺮوﺟﯽ ﻣﻨﺎﺳﺐ را ﺑﺎ درﺻﺪ ﺧﻄﺎي ﮐﻮﭼﮏ ﻣﯽ ﺗﻮان ﺑﺪﺳﺖ آورد‪.‬‬
‫ﺑﺎ اﯾﻦ ﺗﺮﺗﯿﺐ ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ ﻣﯽ ﺗﻮاﻧﻨﺪ ﺑﺎ ﺗﻐﯿﯿﺮ ﺷﺮاﯾﻂ ﺑﻪ ﺻﻮرت ﻫﻮﺷﻤﻨﺪاﻧﻪ‪،‬‬
‫ﺧﻮد را ﺗﻄﺒﯿﻖ ﯾﺎ اﺻﻼح ﻧﻤﺎﯾﺪ‪.‬‬

‫‪14‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫‪ ‬ﻗﺎﺑﻠﯿﺖ ﺗﻌﻤﯿﻢ ﭘﺬﯾﺮي‪:‬‬
‫ﭘﺲ از آﻧﮑﻪ ﻧﻤﻮﻧﻪ ﻫﺎي اوﻟﯿﻪ ﺑﻪ ﺷﺒﮑﻪ آﻣﻮزش داده ﺷﺪ‪ ،‬ﺷﺒﮑﻪ ﻣﯽ ﺗﻮاﻧﺪ در ﻣﻘﺎﺑﻞ‬
‫ورودﯾﻬﺎي آﻣﻮزش داده ﻧﺸﺪه )ورودﯾﻬﺎي ﺟﺪﯾﺪ( ﻗﺮار ﮔﯿﺮد و ﯾﮏ ﺧﺮوﺟﯽ ﻣﻨﺎﺳﺐ ﺗﻮﻟﯿﺪ‬
‫ﻧﻤﺎﯾﺪ‪ .‬اﯾﻦ ﺧﺮوﺟﯽ ﺑﺮ اﺳﺎس ﻣﮑﺎﻧﯿﺴﻢ ﺗﻌﻤﯿﻢ‪ ،‬ﮐﻪ ﭼﯿﺰي ﺟﺰ ﻓﺮاﯾﻨﺪ دروﻧﯿﺎﯾﯽ ﻧﯿﺴﺖ ﺑﻪ‬
‫دﺳﺖ ﻣﯽ آﯾﺪ‪.‬‬

‫‪15‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫‪ ‬ﭘﺮدازش ﻣﻮازي‪:‬‬
‫ﻫﻨﮕﺎﻣﯽ ﮐﻪ ﺷﺒﮑﻪ ﻋﺼﺒﯽ در ﻗﺎﻟﺐ ﺳﺨﺖ اﻓﺰار ﭘﯿﺎده ﻣﯽ ﺷﻮد ﺳﻠﻮﻟﻬﺎﯾﯽ ﮐﻪ در ﯾﮏ ﺗﺮاز‬
‫ﻗﺮار ﻣﯽ ﮔﯿﺮﻧﺪ ﻣﯽ ﺗﻮاﻧﻨﺪ ﺑﻪ ﻃﻮر ﻫﻤﺰﻣﺎن ﺑﻪ ورودﯾﻬﺎي آن ﺗﺮاز ﭘﺎﺳﺦ دﻫﻨﺪ‪ .‬اﯾﻦ وﯾﮋﮔﯽ‬
‫ﺑﺎﻋﺚ اﻓﺰاﯾﺶ ﺳﺮﻋﺖ ﭘﺮدازش ﻣﯽ ﺷﻮد‪ .‬در واﻗﻊ در ﭼﻨﯿﻦ ﺳﯿﺴﺘﻤﯽ‪ ،‬وﻇﯿﻔﻪ ﮐﻠﯽ‬
‫ﭘﺮدازش ﺑﯿﻦ ﭘﺮدازﻧﺪه ﻫﺎي ﮐﻮﭼﮑﺘﺮ ﻣﺴﺘﻘﻞ از ﯾﮑﺪﯾﮕﺮ ﺗﻮزﯾﻊ ﻣﯽ ﮔﺮدد‪.‬‬

‫‪16‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫‪ ‬ﻣﻘﺎوم ﺑﻮدن‪:‬‬
‫در ﯾﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ رﻓﺘﺎر ﮐﻠﯽ آن ﻣﺴﺘﻘﻞ از رﻓﺘﺎر ﻫﺮ ﺳﻠﻮل در ﺷﺒﮑﻪ ﻣﯽ ﺑﺎﺷﺪ درواﻗﻊ‬
‫رﻓﺘﺎر ﮐﻠﯽ ﺷﺒﮑﻪ ﺑﺮآﯾﻨﺪ رﻓﺘﺎرﻫﺎي ﻣﺤﻠﯽ ﺗﮏ ﺗﮏ ﺳﻠﻮﻟﻬﺎي ﺷﺒﮑﻪ ﻣﯽ ﺑﺎﺷﺪ ﮐﻪ اﯾﻦ اﻣﺮ‬
‫ﺑﺎﻋﺚ ﻣﯽ ﺷﻮد ﺗﺎ ﺧﻄﺎ ﻫﺎي ﻣﺤﻠﯽ ﺳﻠﻮﻟﻬﺎ از ﭼﺸﻢ ﺧﺮوﺟﯽ ﻧﻬﺎﯾﯽ دور ﺑﻤﺎﻧﻨﺪ‪ .‬اﯾﻦ‬
‫ﺧﺼﻮﺻﯿﺖ ﺑﺎﻋﺚ اﻓﺰاﯾﺶ ﻗﺎﺑﻠﯿﺖ ﻣﻘﺎوم ﺑﻮدن در ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻣﯽ ﮔﺮدد‪.‬‬

‫‪17‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫‪ ‬ﻗﺎﺑﻠﯿﺖ ﺗﻘﺮﯾﺐ ﻋﻤﻮﻣﯽ‪:‬‬
‫ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ ﭼﻨﺪ ﻻﯾﻪ‪ ،‬ﺑﺎ ﯾﮏ ﯾﺎ ﭼﻨﺪ ﻻﯾﻪ ﻣﺨﻔﯽ ﺑﻪ ﺷﺮط آن ﮐﻪ ﺗﻌﺪاد ﻧﺮوﻧﻬﺎي ﻻﯾﻪ‬
‫ﻫﺎ ﻣﺨﻔﯽ ﮐﺎﻓﯽ داﺷﺘﻪ ﺑﺎﺷﻨﺪ‪ ،‬ﻣﯽ ﺗﻮاﻧﻨﺪ ﻫﺮ ﺗﺎﺑﻊ ﻏﯿﺮ ﺧﻄﯽ ﭘﯿﻮﺳﺘﻪ اي را در ﻓﻀﺎي‬
‫ﺗﺮﮐﯿﺒﯽ ﺗﺨﻤﯿﻦ ﺑﺰﻧﻨﺪ‪.‬‬

‫‪18‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﮐﺎرﺑﺮدھﺎی ﺷﺒﮑﻪ ھﺎی ﻋﺼﺒﯽ ‪:‬‬
‫ﺳﯿﺴﺘﻤﮭﺎی ﻣﺸﺎوره ای ﻣﺤﺎﺳﺒﮫ ھﺰﯾﻨﮫ ﻣﻮﺟﻮدی‬ ‫‪‬‬
‫زﻣﺎﻧﺒﻨﺪی وﺳﯿﻠﮫ ﻧﻘﻠﯿﮫ‬ ‫‪‬‬
‫ﺳﯿﺴﺘﻤﮭﺎی ﻣﺴﯿﺮﯾﺎﺑﯽ‬ ‫‪‬‬
‫ﭘﯿﺶ ﺑﯿﻨﯽ ﻓﺮوﺷﮭﺎی آﯾﻨﺪه‬ ‫‪‬‬
‫ﭘﯿﺶ ﺑﯿﻨﯽ ﻧﯿﺎزھﺎی ﻣﺤﺼﻮل‬ ‫‪‬‬
‫ﭘﯿﺶ ﺑﯿﻨﯽ وﺿﻌﯿﺖ ﺑﺎزار‬ ‫‪‬‬
‫ﭘﯿﺶ ﺑﯿﻨﯽ ﺷﺎﺧﺼﮭﺎی اﻗﺘﺼﺎدی‬ ‫‪‬‬
‫اﮐﺘﺸﺎف ﺗﻘﻠﺐ در ﮐﺎرت اﻋﺘﺒﺎری‬ ‫‪‬‬
‫ﺑﺎزﺑﯿﻨﯽ اﻣﻀﺎ از ﭼﮑﮭﺎ‬ ‫‪‬‬
‫ﭘﯿﺶ ﺑﯿﻨﯽ ارزش ﻧﺴﯿﮫ‬ ‫‪‬‬
‫ﻣﺪﯾﺮﯾﺖ رﯾﺴﮏ رھﻦ‬ ‫‪‬‬
‫ﺗﺸﺨﯿﺺ ﺣﺮوف و اﻋﺪاد‬ ‫‪‬‬
‫ﺗﺸﺨﯿﺺ ﺑﯿﻤﺎری‬ ‫‪‬‬

‫‪19‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺳﺎﺧﺘﺎرﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‬

20

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫‪‬ﻫﺮ ﺷﺒﮑﻪ ﻋﺼﺒﯽ داراي ﺳﻪ وﯾﮋﮔﯽ زﯾﺮ ﻣﯽ ﺑﺎﺷﺪ‪:‬‬

‫‪ ‬ﻣﺪل ﺳﻠﻮل ﻋﺼﺒﯽ )ﻧﻮع ﺗﺎﺑﻊ(‬

‫‪ ‬ﺳﺎﺧﺘﺎر ﺷﺒﮑﻪ ﻋﺼﺒﯽ )ﻧﻮع ﺗﻮﭘﻮﻟﻮژي(‬
‫‪ ‬آﻣﻮزش در ﺷﺒﮑﻪ ﻋﺼﺒﯽ )ﻧﻮع آﻣﻮزش(‬

‫ﺧﻮدﺳﺎزﻣﺎﻧﺪﻫﯽ ﺳﺎﺧﺘﺎر درﺣﯿﻦ آﻣﻮزش‬

‫‪21‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﺪل ﺳﻠﻮل ﻋﺼﺒﯽ‬

‫‪ ‬ﺗﻮاﺑﻊ اﻧﺘﻘﺎل‬

‫ﺧﺮوﺟﯽ واﻗﻌﯽ ﺑﻪ ﺗﺎﺑﻊ اﻧﺘﻘﺎل وﯾﮋه اي ﮐﻪ اﻧﺘﺨﺎب ﺷﺪه ﺑﺴﺘﮕﯽ دارد و ﺑﺎﯾﺪ ﻣﻌﯿﺎر ﻫﺎي‬
‫ﻣﻮرد ﻧﻈﺮ ﻣﺴﺌﻠﻪ اي ﮐﻪ ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﺮاي ﺣﻞ آن اﺳﺘﻔﺎده ﻣﯽ ﺷﻮد را‪ ،‬ﺑﺮآورده ﮐﻨﺪ‪.‬‬
‫ﺳﻪ ﻧﻮع از ﭘﺮﮐﺎرﺑﺮد ﺗﺮﯾﻦ آﻧﻬﺎ ﻋﺒﺎرﺗﻨﺪ از‪:‬‬

‫‪ ‬ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﺨﺖ ﻣﺤﺪود‬

‫‪ ‬ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺧﻄﯽ‬
‫‪ ‬ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﻟﮕﺎرﯾﺘﻤﯽ ﺳﯿﮕﻤﻮﺋﯿﺪ‬

‫‪22‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺗﻮاﺑﻊ اﻧﺘﻘﺎل‬

hardlim(n) = 1 if n >=0 logsig(n) = 1 / (1 + exp(-n))

=0 otherwise

poslin(n) = n, if n >= 0 hardlims(n) = 1 if n >= 0, -1 otherwise.

= 0, if n <= 0
23

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻮاﺑﻊ اﻧﺘﻘﺎل‬

purelin(n) = n

satlin(n) = 0, if n <= 0 satlins(n) = -1, if n <= -1

= n, f 0 <= n <= 1 = n, if -1 <= n <= 1
24 =1, if 1 <= n = 1, if 1 <= n

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻮاﺑﻊ اﻧﺘﻘﺎل‬

tansig(n) = 2/(1+exp(-2n))-1
tribas(n) = 1 - abs(n), if -1 <= n <= 1
= 0, otherwise

25 radbas(n) = exp(-n^2)

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﻌﻤﺎري ﺷﺒﮑﻪ ﻋﺼﺒﯽ )ﺗﻮﭘﻮﻟﻮژي(‬

‫ﻣﻌﻤﺎري ﺷﺒﮑﻪ ﺑﻪ وﺿﻌﯿﺖ ﻧﺴﺒﯽ ﺳﻠﻮﻟﻬﺎ در ﺷﺒﮑﻪ ﮔﻔﺘﻪ ﻣﯽ ﺷﻮد ‪.‬ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ ﺑﺮ اﺳﺎس ﺗﻮﭘﻮﻟﻮژي‬
‫ﺑﻪ دوﮔﺮوه ﺷﺒﮑﻪ ﻫﺎي ﭘﯿﺶ ﺧﻮر وﭘﺲ ﺧﻮر ﺗﻘﺴﯿﻢ ﻣﯽ ﺷﻮﻧﺪ در ﺷﺒﮑﻪ ﻫﺎي ﭘﯿﺸﺨﻮر ارﺗﺒﺎﻃﺎت ﯾﮏ ﻃﺮﻓﻪ‬
‫ﺑﻮده و اﺗﺼﺎﻻت ﺑﯿﻦ ﻧﺮوﻧﻬﺎ ﺑﮕﻮﻧﻪ اي اﺳﺖ ﮐﻪ ﺳﯿﮕﻨﺎﻟﻬﺎ از ﯾﮏ ﻻﯾﻪ ﺑﻪ ﻻﯾﻪ ﺑﻌﺪي ﺣﺮﮐﺖ ﻣﯽ ﻧﻤﺎﯾﻨﺪ ‪ .‬در‬
‫اﯾﻦ ﺷﺒﮑﻪ ﻫﺎ ﻫﺮ ﮔﺮه ﻓﻘﻂ ﺑﻪ ﮔﺮه ﺑﻌﺪي ﺳﯿﮕﻨﺎل ﻣﻨﺘﻘﻞ ﻧﻤﻮده و در ان ﺣﻠﻘﻪ ﺑﺎز ﺧﻮر وﺟﻮد ﻧﺪارد‪ .‬ﻣﻌﺮوف‬
‫ﺗﺮﯾﻦ اﯾﻦ ﺷﺒﮑﻪ ﻫﺎ ﭘﺮﺳﭙﺘﺮون ﯾﮏ ﻻﯾﻪ و ﺟﻨﺪ ﻻﯾﻪ اﺳﺖ‪.‬‬
‫در ﺷﺒﮑﻪ ﻫﺎي ﭘﺲ ﺧﻮر ارﺗﺒﺎﻃﺎت‬

‫‪26‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺳﻠﻮل ﻋﺼﺒﯽ ﺗﮏ ورودي‬ ‫ﺳﻠﻮل ﻋﺼﺒﯽ ﭼﻨﺪ ورودي‬ ‫ﺳﻠﻮل ﻋﺼﺒﯽ ﺑﺎ ﭼﻨﺪ ورودي و ﭼﻨﺪ ﺧﺮوﺟﯽ‬

‫‪27‬‬ ‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭼﻨﺪ ﻻﯾﻪ‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻻﯾﻪ ﻫﺎي ﭼﻨﺪ ﮔﺎﻧﻪ از ﺳﻠﻮل ﻋﺼﺒﯽ‬

‫در ﯾﮏ ﺷﺒﮑﻪ ﭼﻨﺪ ﻻﯾﻪ‪ ،‬ﻫﺮ ﻻﯾﻪ ﻣﺎﺗﺮﯾﺲ وزن ‪ W‬وﯾﮋه ﺧﻮد‪ ،‬ﺑﺮدار ﺑﺎﯾﺎس ‪b‬‬
‫ﺧﻮد‪ ،‬ﯾﮏ ﺑﺮدار ورودي ‪ n‬ﻣﺮﺑﻮط ﺑﻪ ﺧﻮد و ﯾﮏ ﺑﺮدار ﺧﺮوﺟﯽ ‪ a‬وﯾﮋه ﺧﻮد را‬
‫دارد‪ .‬ﻻﯾﻪ ﻫﺎي ﻣﺨﺘﻠﻒ ﻣﯽ ﺗﻮاﻧﻨﺪ ﺗﻌﺪاد ﻧﺮون ﻫﺎي ﻣﺘﻔﺎوﺗﯽ داﺷﺘﻪ ﺑﺎﺷﻨﺪ‪ .‬ﻻﯾﻪ‬
‫اي ﮐﻪ ﺧﺮوﺟﯽ آن‪ ،‬ﺧﺮوﺟﯽ ﺷﺒﮑﻪ اﺳﺖ‪ ،‬ﯾﮏ ﻻﯾﻪ ﺧﺮوﺟﯽ ﻧﺎﻣﯿﺪه ﻣﯽ ﺷﻮد‪.‬‬
‫ﻻﯾﻪ ﻫﺎي دﯾﮕﺮ‪ ،‬ﻻﯾﻪ ﻫﺎي ﭘﻨﻬﺎن ﻧﺎم دارﻧﺪ‪ .‬ﺷﺒﮑﻪ ﻫﺎي ﭼﻨﺪ ﻻﯾﻪ ﻗﺪرﺗﻤﻨﺪ ﺗﺮ از‬
‫ﺷﺒﮑﻪ ﻫﺎي ﺗﮏ ﻻﯾﻪ ﻫﺴﺘﻨﺪ‪ .‬ﺑﺮاي ﻧﻤﻮﻧﻪ‪ ،‬ﯾﮏ ﺷﺒﮑﻪ دو ﻻﯾﻪ ﮐﻪ ﺷﺎﻣﻞ ﯾﮏ‬
‫ﻻﯾﻪ اول ﺳﯿﮕﻤﻮﺋﯿﺪ و ﯾﮏ ﻻﯾﻪ دوم ﺧﻄﯽ ﻣﯽ ﺑﺎﺷﺪ‪ ،‬ﻣﯽ ﺗﻮاﻧﺪ ﺑﻪ ﻣﻨﻈﻮر ﺗﻘﺮﯾﺐ‬
‫اﮐﺜﺮ ﺗﻮاﺑﻊ اﺧﺘﯿﺎري آﻣﻮزش داده ﺷﻮد‪ .‬ﺑﯿﺸﺘﺮ ﺷﺒﮑﻪ ﻫﺎي ﮐﺎرﺑﺮدي ﺗﻨﻬﺎ دو ﯾﺎ‬
‫ﺳﻪ ﻻﯾﻪ دارﻧﺪ‪.‬‬

‫‪28‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 First Second
active layer active layer
W 1 W2
x1 1 1
1
o
n 1 f 1
1

x2 o12
n12 f12
x3 1
n f 21 1
2 o
1

(a) General structure with two activation layers

29

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 1
neuron 1

w11 1 F 1
n 1
1 o11 neuron 2
w12 ∑ 1

w13 1
w 10
x1 1
w11( 2 ) n12
F12
o12
x
x2
0
∑
x3 w21 1 w12( 2 ) w 102
1 F
2
n 2 o 02
w22 ∑
o 12
w23 w 120
x 10
1
neuron 2

(b) Specific structure with two activation layers

30

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 Nonlinear mapping
F 1 (0) F 2 (0) y  R(n2 )
( n0 )
x R n1 o1 n2
1
w w2

y  R ( n2 )
  
( n0 )
x R 2 2 1 1
F w F wx

4.3 : Two-layered neural network: nonlinear mapping for input ( x R( n0 ) ) to

( n2 )
output ( y  R )
31

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫آﻣﻮزش ﺷﺒﮑﻪ ﻋﺼﺒﯽ‬

(‫ ﯾﺎدﮔﯿﺮي ﺑﺎ ﺳﺮﭘﺮﺳﺖ )ﻧﻈﺎرﺗﯽ‬

Supervised Learning
Network is provided with a set of examples of proper network behavior (inputs/targets)

‫ ﯾﺎدﮔﯿﺮي ﺗﻘﻮﯾﺘﯽ‬
Reinforcement Learning
Network is only provided with a grade, or score, which indicates network performance

‫ ﯾﺎدﮔﯿﺮي ﺑﺪون ﺳﺮﭘﺮﺳﺖ‬

Unsupervised Learning
Only network inputs are available to the learning algorithm. Network learns to
categorize (cluster) the inputs.

32

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫آﻣﻮزش ﺷﺒﮑﻪ ﻋﺼﺒﯽ‬
‫ﯾﺎدﮔﯿﺮي ﺑﺎ ﺳﺮﭘﺮﺳﺖ )ﻧﻈﺎرﺗﯽ(‬
‫ﻫﻨﮕﺎﻣﯿﮑﻪ ﯾﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ در ﻓﺎز آﻣﻮزش ﻗﺮار ﻣﯽ ﮔﯿﺮد ﺳﻪ ﻋﺎﻣﻞ ﺑﺎﯾﺪ ﻣﺪ ﻧﻈﺮ ﻗﺮار داده‬
‫ﺷﻮد‪.‬‬

‫‪ ‬ورودﯾﻬﺎ از ﯾﮏ ﻣﺠﻤﻮﻋﻪ اﻧﺘﺨﺎب ﺷﻮﻧﺪ ﺑﮕﻮﻧﻪ اي ﮐﻪ ﭘﺎﺳﺦ ﻣﻄﻠﻮب ﺳﯿﺴﺘﻢ ﺑﻪ اﯾﻦ ورودﯾﻬﺎ‬
‫ﻣﺸﺨﺺ ﺑﺎﺷﺪ‪.‬‬

‫}‪{x1 , t1} , {x2 , t2} , … , {xQ , tQ‬‬

‫‪ ‬ﭘﺎﺳﺦ اﯾﺠﺎد ﺷﺪه ﺑﺎ ﯾﮏ اﻟﮕﻮي ﭘﺎﺳﺦ ﻣﻄﻠﻮب ﻣﻘﺎﯾﺴﻪ و ﺧﻄﺎي ﻣﻮﺟﻮد )اﻧﺤﺮاف ﭘﺎﺳﺦ‬
‫اﯾﺠﺎد ﺷﺪه و ﭘﺎﺳﺦ ﻣﻄﻠﻮب ( ﻣﺤﺎﺳﺒﻪ ﺷﻮد‪.‬‬

‫‪ ‬اوزان ﺑﮕﻮﻧﻪ اي اﺻﻼح ﺷﻮﻧﺪ ﮐﻪ ﺧﻄﺎ ﮐﺎﻫﺶ ﯾﺎﺑﺪ‪.‬‬

‫]‪[W]=[X]'.[Y‬‬
‫‪33‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻓراﮔﯾری در ﻧرون ﺳﺎده‬
‫ﻗﺎﻋده دﻟﺗﺎ‬
‫در اﻟﮕﻮرﯾﺘﻤﯽ ﮐﻪ ﺗﻮﺳﻂ وﯾﺪر وﻫﻮف ﺗﺤﺖ ﻋﻨﻮان ادﻻﯾﻦ‪.‬اراﺋﻪ ﮔﺮدﯾﺪ‪ .‬وزﻧﻬﺎ ﺑﮕﻮﻧﻪ اي‬
‫ﺗﻌﺪﯾﻞ ﻣﯽ ﺷﻮﻧﺪ ﮐﻪ اﺧﺘﻼف ﺑﯿﻦ ﺧﺮوﺟﯽ ﻣﻄﻠﻮب ‪ d‬و ﺧﺮوﺟﯽ واﻗﻌﯽ ‪ y‬ﮐﺎﻫﺶ ﯾﺎﺑﺪ‪.‬‬

‫اﯾﻦ ﺷﯿﻮه ﻗﺎﻋﻪ دﻟﺘﺎ ﯾﺎﮐﻤﺘﺮﯾﻦ ﻣﺮﺑﻊ ﻣﯿﺎﻧﮕﯿﻦ )‪ (LMS‬ﻧﺎم ﮔﺮﻓﺖ‪ .‬در اﯾﻦ ﻗﺎﻧﻮن ﻣﺮﺑﻊ ﺧﻄﺎﻫﺎي‬
‫ﺑﯿﻦ ﺧﺮوﺟﯽ ﻣﻄﻠﻮب ‪ d‬و ﺧﺮوﺟﯽ واﻗﻌﯽ ‪ y‬ﮐﻤﯿﻨﻪ ﻣﯿﺸﻮد‪.‬‬
‫‪Net(y) =∑WiXi‬‬

‫)‪∆=d-Net(y‬‬

‫‪∆wi= η∆xi‬‬

‫‪Wi(t+1)=wi(t)+ ∆wi‬‬
‫)‪η: learning rate (e.g., 0.1‬‬
‫‪34‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻗﺎﻋده دﻟﺗﺎ )اﺛﺑﺎت(‬

‫ﻓﺮﻣﻮل ﻣﯿﺎﻧﮕﯿﻦ ﻣﺮﺑﻊ ﺧﻄﺎ ﯾﮏ ﻋﺒﺎرت درﺟﻪ دوم ﻣﯽ ﺑﺎﺷﺪ ﮐﻪ ﯾﮏ ﻧﻘﻄﻪ‪ MIN‬ﺑﻬﯿﻨﻪ دارد‪ .‬ﯾﮏ راه ﺑﺮاي‬
‫ﺑﺪﺳﺖ اوردن ﻧﻘﻄﻪ ﺑﻬﯿﻨﻪ اﺳﺘﻔﺎده از روش ﮔﺮادﯾﺎن ﮐﺎﻫﺸﯽ )‪ (gradient descent‬اﺳﺖ‪ .‬ﮐﻪ در ان‬
‫ﺗﻌﺪﯾﻼت ﭘﺎراﻣﺘﺮﻫﺎ ﻣﺘﻨﺎﺳﺐ ﺑﺎ ﻣﻨﻔﯽ ﻣﺸﺘﻖ ﺗﺎﺑﻊ ﺧﻄﺎ ﻣﯽ ﺑﺎﺷﺪ‪.‬‬
‫)‪E(W‬‬

‫‪E‬‬
‫‪w‬‬ ‫‪i‬‬ ‫‪  k‬‬
‫‪wi‬‬
‫‪w1‬‬

‫‪w2‬‬

‫‪35‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 (‫ﻗﺎﻋده دﻟﺗﺎ )اﺛﺑﺎت‬
‫ ﻣﯿﺎﻧﮕﯿﻦ ﻣﺮﺑﻊ ﺧﻄﺎي ﻣﻮﺟﻮد‬E
p

p 1
ep ‫ ﺗﻌﺪاداﻟﮕﻮﻫﺎي اﻣﻮزش ﻣﻮﺟﻮد‬P
E 
p
2
ep   p

 p  d p  N et p
n
N et p  
i 0
(wi xi ) p

p n

 [d p   ( w i xi ) p ]2
p 1 i 0
E 
p
36

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 (‫ﻗﺎﻋده دﻟﺗﺎ )اﺛﺑﺎت‬

E
 wi   k
 wi
p p
E 1 e p 1  e p  p
 wi

p
p 1  wi

p

p 1
.
 p  w i
e p
 2 p
 p
 p  p  N et p
 .
 wi  N et p  wi
 p
 1
 N et p
 N et p
 x ip
 wi
37

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻗﺎﻋده دﻟﺗﺎ )اﺛﺑﺎت(‬
‫‪E‬‬ ‫‪1 p‬‬ ‫‪2 p‬‬
‫‪  (2  p   1 xip )     p xip‬‬
‫‪wi‬‬ ‫‪p p 1‬‬ ‫‪p p 1‬‬
‫‪p‬‬
‫‪2k‬‬
‫‪ wi ‬‬ ‫‪‬‬ ‫‪xip‬‬ ‫‪E‬‬
‫‪p‬‬ ‫‪p 1‬‬
‫‪p‬‬
‫‪ wi   k‬‬
‫‪wi‬‬
‫‪2k‬‬
‫‪    wi    p xip‬‬
‫‪p‬‬

‫ﻗﺒﻞ از ﺑﮑﺎر ﮔﯿﺮي ﻓﺎﻋﺪه دﻟﺘﺎ ﺳﻪ ﻧﮑﺘﻪ ﺑﺎﯾﺪ ﻣﺪ ﻧﻈﺮ ﻗﺮار ﮔﯿﺮد‬

‫ﺗﺼﻤﯿﻢ ﮔﯿﺮي ﺷﻮد و ﻣﻘﺎدﯾﺮي ﮐﻮﭼﮏ ﺑﺮاي آن در ﻧﻈﺮ ﮔﺮﻓﺘﻪ ﺷﻮد‪.‬‬ ‫در ﻣﻮرد ﻣﻘﺪار ﺛﺎﺑﺖ‪‬‬ ‫‪(١‬‬

‫‪ (٢‬وزﻧﻬﺎ در اﻏﺎز ﺑﺮاﺑﺮ ﯾﮏ ﻋﺪد ﺗﺼﺎدﻓﯽ ﮐﻮﭼﮏ ﻗﺮار داده ﺷﻮﻧﺪ‬

‫‪ (٣‬ورودي ﻣﺘﻨﺎﻇﺮ ﺑﺎ ‪ w0‬ﯾﻌﻨﯽ ‪ x0‬ﺑﺮاﺑﺮ‪+1‬ﺑﺎﺷﺪ‪.‬‬

‫‪38‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﻣﺛﺎل‬

Y  X1  X 2

  0 .1, w 0  0 .1 2 , w 1  0 .4 , w 2  0 .6 5
x0 x1 x2 w0 w1 w2 net d  x0  x1  x2
1 1 1 0.12 0.4 0.65 1.17 1 0.02 0.02 0.02
1 1 1 0.12 0.4 0.65 0.13 1 0.11 0.11 0.11
1 1 1 0.12 0.4 0.65 0.37 1 0.14 0.14 0.14
1 1 1 0.12 0.4 0.65 0.93 1 0.19 0.19 0.19
 0.14 0.04 0.46
0.04 0.01 0.12

39

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﺛﺎل‬

x0 x1 x2 w0 w1 w2 net d  x0  x1  x2
1 1 1 0.16 0.41 0.53 1.1 1 0.01 0.01 0.01
1 1 1 0.16 0.41 0.53 0.04 1 0.1 0.1 0.1
1 1 1 0.16 0.41 0.53 0.28 1 0.13 0.13 0.13
1 1 1 0.16 0.41 0.53 0.78 1 0.18 0.18 0.18
 0.14 0.04 0.44
0.04 0.01 0.11

40

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﺛﺎل‬

x0 x1 x2 w0 w1 w2 net d  x 0  x1  x 2
1 1 1  0.5 0.5  0.5  0.5 1  0.5 0.5 0.5
1 1 1  0.5 0.5  0.5  1.5 1 0.5  0.5 0.5
1 1 1  0.5 0.5  0.5 0.5 1 0.5 0.5  0.5
1 1 1  0.5 0.5  0.5  0.5 1  0.5  0.5  0.5
 0 0 0
0 0 0

41

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﺛﺎل‬

x0 x1 x2 w0 w1 w2 net d  x0  x1  x2
1 1 1 0.12 0.4 0.65 1.17 1 0.02 0.02 0.02
1 1 1 0.1 0.38 0.62 0.15 1 0.12 0.12 0.12
1 1 1 0.22 0.5 0.51 0.23 1 0.12 0.12 0.12
1 1 1 0.1 0.62 0.39 0.91 1 0.19 0.19 0.19
 0.17 0.03 0.45
0.04 0.01 0.12

42

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﭘﺮﺳﭙﺘﺮون‬
‫‪ ‬اﻟﮕﻮرﯾﺘﻢ ﻣﺸﺎﺑﻪ دﯾﮕﺮ ﮐﻪ ﻧﻮﻋﯽ از ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺑﺮﻣﺒﻨﺎي ﯾﮏ واﺣﺪ ﻣﺤﺎﺳﺒﺎﺗﯽ اﺳﺖ‪ ،‬ﺑﻪ‬
‫ﻧﺎم ﭘﺮﺳﭙﺘﺮون ﺷﻨﺎﺧﺘﻪ ﻣﯽ ﺷﻮد‪ .‬ﭘﺮﺳﭙﺘﺮون ﻧﺨﺴﺘﯿﻦ ﺑﺎرﺗﻮﺳﻂ ﻓﺮاﻧﮏ روزﻧﺒﻼت ﺑﻤﻨﻈﻮر‬
‫ﺗﺸﺮﯾﺢ ﺗﻌﺪادي از اﻧﻮاع ﻣﺨﺘﻠﻒ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺑﮑﺎر ﮔﺮﻓﺘﻪ ﺷﺪ‪ .‬ﯾﮏ ﭘﺮﺳﭙﺘﺮون ﺑﺮداري از‬
‫ورودﯾﻬﺎي ﺑﺎ ﻣﻘﺎدﯾﺮ ﺣﻘﯿﻘﯽ را ﮔﺮﻓﺘﻪ و ﯾﮏ ﺗﺮﮐﯿﺐ ﺧﻄﯽ از اﯾﻦ ورودﯾﻬﺎ را ﻣﺤﺎﺳﺒﻪ‬
‫ﻣﯿﮑﻨﺪ ‪.‬اﮔﺮ ﺣﺎﺻﻞ از ﯾﮏ ﻣﻘﺪار آﺳﺘﺎﻧﻪ ﺑﯿﺸﺘﺮ ﺑﻮد ﺧﺮوﺟﯽ ﭘﺮﺳﭙﺘﺮون ﺑﺮاﺑﺮ ﺑﺎ ‪ 1‬و در ﻏﯿﺮ‬
‫اﯾﻨﺼﻮرت ﻣﻌﺎدل‪ 0‬ﺧﻮاﻫﺪ ﺑﻮد‪.‬‬

‫‪x1‬‬ ‫‪w1‬‬
‫‪x2‬‬
‫‪w2‬‬ ‫‪Σ‬‬ ‫}‪{1 or 0‬‬

‫‪wn‬‬ ‫‪w0‬‬
‫‪xn‬‬
‫‪X0=1‬‬
‫‪43‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫اﻟﮕﻮرﯾﺘﻢ ﻓﺮاﮔﯿﺮي ﭘﺮﺳﭙﺘﺮون‬

‫‪ ‬اﻟﮕﻮرﯾﺘﻢ ﻓﺮاﮔﯿﺮي ﭘﺮﺳﭙﺘﺮون ﺗﻀﻤﯿﻦ ﻣﯽ ﮐﻨﺪ ﮐﻪ ﺿﺮاﯾﺐ وزﻧﯽ ﻫﺮ‬

‫ﺑﺎر در ﺟﻬﺖ ﺗﻘﻠﯿﻞ ﺧﻄﺎ ﺗﻌﺪﯾﻞ ﻣﯽ ﯾﺎﺑﺪ‪.‬‬

‫‪44‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺗﻔﮑﯿﮏ ﭘﺬﯾﺮي ﺧﻄﯽ‬
‫‪ ‬ﻋﺒﺎرت ﺗﻔﮑﯿﮏ ﭘﺬﯾﺮي ﺧﻄﯽ ﺑﯿﺎﻧﮕﺮ اﯾﻦ اﻣﺮ اﺳﺖ ﮐﻪ ﻣﯿﺘﻮان ﻣﯿﺎن ورودﯾﻬﺎﯾﯽ ﮐﻪ‬
‫ﺧﺮوﺟﯽ ﻣﺘﻔﺎوت از ورودﯾﻬﺎي دﯾﮕﺮ ﺗﻮﻟﯿﺪ ﻣﯽ ﮐﻨﻨﺪ ﺧﻄﯽ رﺳﻢ ﻧﻤﻮده و اﻧﻬﺎ را از‬
‫ﻫﻢ ﻣﺠﺰا ﻧﻤﻮد‪ .‬در واﻗﻊ ﺧﻄﯽ در ﻓﻀﺎي اﻟﮕﻮ ﺗﺮﺳﯿﻢ ﻧﻤﻮد و ﮔﺮوه ﻫﺎي ﻣﺨﺘﻠﻒ را‬
‫از ﻫﻢ ﺟﺪا ﮐﺮد‪ .‬در اﯾﻦ ﻓﻀﺎ ﻫﺮ ورودي ﻧﺸﺎﻧﮕﺮ ﯾﮏ ﺑﻌﺪ از ﻓﻀﺎ ﻣﯽ ﺑﺎﺷﺪ‪.‬‬
‫‪Y= w0 + w1x1 + w2x2 + … + wnxn‬‬

‫‪45‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 n
N et  wx
i0
i i  0 .4 x1  0.15 x 2  0 .3 2  0

0 .4 x1  0 .15 x 2  0 .3 2

46

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫اﻟﮕﻮرﯾﺘﻢ ﻓﺮاﮔﯿﺮي ﭘﺮﺳﭙﺘﺮون‬
‫‪ ‬ﺿﺮاﯾﺐ و ﻣﻘﺎدﯾﺮ اوﻟﯿﻪ اﺳﺘﺎﻧﻪ را ﺗﻌﯿﯿﻦ ﮐﻨﯿﺪ‪.‬‬
‫)‪wi(t‬را ﺑﻌﻨﻮان ﺿﺮﯾﺐ وزﻧﯽ ورودي ‪ i‬در زﻣﺎن ‪ t‬و ‪ ‬را ﺑﻪ ﻋﻨﻮان ﻣﻘﺪار اﺳﺘﺎﻧﻪ در ﻧﻈﺮ ﺑﮕﯿﺮﯾﺪ‪.‬‬
‫ﻣﻘﺪار ‪ w0‬ﺑﺮاﺑﺮ ‪ ‬وﻣﻘﺪار ‪ x0‬را ﻫﻤﻮاره ﺑﺮاﺑﺮﯾﮏ ﻗﺮار دﻫﯿﺪ‪ wi(0) .‬را ﺑﺮاﺑﺮﯾﮏ ﻣﻘﺪار ﺗﺼﺎدﻓﯽ‬
‫ﮐﻮﭼﮏ ﻗﺮار دﻫﯿﺪ‬
‫• ورودي و ﺧﺮوﺟﯽ ﻣﻄﻠﻮب را ﺑﻪ ﻣﺪل اراﺋﻪ دﻫﯿﺪ‪.‬‬
‫• ﺧﺮوﺟﯽ واﻗﻌﯽ را ﻣﺤﺎﺳﺒﻪ ﮐﻨﯿﺪ‬
‫‪Y(t)=∑ Wi(t)Xi‬‬
‫‪ ‬ﺿﺮاﯾﺐ وزﻧﯽ را ﺗﻌﺪﯾﻞ ﮐﻨﯿﺪ‬
‫)‪ Wi(t+1)=wi(t‬اﮔﺮ ﺧﺮوﺟﯽ ﺻﺤﯿﺢ ﺑﺎﺷﺪ‬
‫)‪ Wi(t+1)=wi(t)+ η xi (t‬اﮔﺮ ﺧﺮوﺟﯽ واﻗﻌﯽ ﺻﻔﺮ وﺧﺮوﺟﯽ ﻣﻄﻠﻮب ‪ 1‬ﺑﺎﺷﺪ‪.‬‬
‫)‪ Wi(t+1)=wi(t)- η xi (t‬اﮔﺮ ﺧﺮوﺟﯽ واﻗﻌﯽ ‪1‬وﺧﺮوﺟﯽ ﻣﻄﻠﻮب ﺻﻔﺮ ﺑﺎﺷﺪ‪.‬‬
‫ﻗﺎﺑﻞ ﺗﻮﺟﻪ اﺳﺖ ‪ ،‬در اﯾﻦ روش اوزان ﺗﻮﺳﻂ ﻣﻘﺪار ﺛﺎﺑﺖ‪+‬و‪ η -‬ﺗﻌﺪﯾﻞ ﻣﯽ ﺷﻮﻧﺪ ﮐﻪ ﺑﺎ‬
‫اﻧﭽﻪ در ادﻻﯾﻦ اﻧﺠﺎم ﻣﯽ ﮔﺮدد ﺗﻔﺎوت دارد‪.‬‬
‫‪47‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 Y  X1   X 2 ‫ﻣﺜﺎل‬ X1 X 2  X 2 d
  0.1 0 0 1 0
0 1 0 0
1 0 1 1
1 1 0 0
x0 x1 x2 w0 w1 w2 net Y ...d W0 W1 W2
1 0 0 0.12 0.4 0.65 0.12 0...0 0 0 0
1 0 1 0.12 0.4 0.65 0.53 1...0 0.1 0.1 0.1
1 1 0 0.22 0.4 0.55 0.18 1...1 0 0 0
1 1 1 0.22 0.4 0.55 0.73 1...0 0.1 0.1 0.1

48

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 x0 x1 x2 w0 w1 w2 net Y...d W0 W1 W2
1 0 0 0.32 0.4 0.15 0.32 0...0 0 0 0
1 0 1 0.32 0.4 0.15 0.47 0...0 0 0 0
1 1 0 0.32 0.4 0.15 0.08 1...1 0 0 0
1 1 1 0.32 0.4 0.15 0.07 0...0 0 0 0

n
N et  wx
i0
i i  0 .4 x1  0.15 x 2  0 .3 2  0

0 .4 x1  0 .15 x 2  0 .3 2
49

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻔﮑﯿﮏ ﭘﺬﯾﺮي ﺧﻄﯽ‬

+ +

- -

50

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻔﮑﯿﮏ ﭘﺬﯾﺮي ﺧﻄﯽ‬
‫‪ ‬ﭘﺮﺳﭙﺘﺮون ﺑﺪﻧﺒﺎل ﺧﻄﯽ اﺳﺖ ﮐﻪ ﺗﻮﺳﻂ آن ﻃﺒﻘﺎت را ﺗﻔﮑﯿﮏ ودر دو ﺳﻮي ﺧﻂ‬
‫ﻗﺮار دﻫﺪ‪ .‬ﺑﯿﺸﺘﺮ ﺗﻮاﺑﻊ ﮐﻪ داراي ورودي دو دوﯾﯽ ﻣﯽ ﺑﺎﺷﻨﺪ داراي اﯾﻦ ﺧﺎﺻﯿﺖ‬
‫ﻣﯽ ﺑﺎﺷﻨﺪ‬
‫‪x1 x 2‬‬ ‫‪y  x1  x 2‬‬ ‫‪x1 x 2‬‬ ‫‪y  x1  x 2‬‬ ‫‪x1‬‬ ‫‪x2‬‬ ‫‪XOR‬‬
‫‪0 0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬
‫‪0 1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬
‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪0‬‬

‫‪1,1‬‬ ‫‪1,1‬‬ ‫‪1,1‬‬

‫‪0,0‬‬ ‫‪1,0‬‬ ‫‪0,0‬‬ ‫‪1,0‬‬ ‫‪0,0‬‬ ‫‪1,0‬‬

‫‪51‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﭘﺮﺳﭙﺘﺮون ﭼﻨﺪ ﻻﯾﻪ‬
y  ( x1   x2 )  (  x1  x2 )
y  ( x1  x2 )  ( x1  x2 )
y1  ( x1  x2 )
X0 0 y2   ( x1  x2 )
X1 1
y  y1  y2
X2 1
-1
Y
1

1
2
n
-1 net1  wi xi  x1  x2  x1  x2
-1
i 1
n
net2  wi xi  2  x1  x2  x2  x1  2
i 1
n

52
net  wi xi  1 y1  y2  y2   y1 1
i 1

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﻣﺴﺎﺋﻞ ﻏﯿﺮ ﺧﻄﯽ‬

x2

x1
Smooth regions

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫اﻧﺘﺸﺎر ‪Back‬‬ ‫ﭘﺲ‪-‬‬
‫‪propagation‬‬
‫• ﻗﺎﻧﻮن ﻓﺮاﮔﯿﺮي ﭘﺮﺳﭙﺘﺮون ﭼﻨﺪ ﻻﯾﻪ را ﻗﺎﻋﺪه ﭘﺲ اﻧﺘﺸﺎر ﻣﯽ ﻧﺎﻣﻨﺪ‪ .‬اﯾﻦ ﻋﻨﺎوﯾﻦ‬
‫ﺗﻮﺳﻂ ﻫﺎرت‪ ،‬ﻣﮏ ﮐﻠﻠﻨﺪ و وﯾﻠﯿﺎﻣﺰ در ﺳﺎل ‪ 1986‬ﭘﯿﺸﻨﻬﺎد ﺷﺪ‪ .‬ﻧﺤﻮه ﻋﻤﻠﮑﺮد‬
‫ﭘﺮﺳﭙﺘﺮون ﭼﻨﺪ ﻻﯾﻪ ﻣﺸﺎﺑﻪ ﭘﺮﺳﭙﺘﺮون ﺗﮏ ﻻﯾﻪ اﺳﺖ‪ ،‬ﺑﺪﯾﺖ ﺻﻮرت ﮐﻪ اﻟﮕﻮﯾﯽ ﺑﻪ‬
‫ﺷﺒﮑﻪ ﻋﺮﺿﻪ و ﺧﺮوﺟﯽ ان ﻣﺤﺎﺳﺒﻪ ﻣﯽ ﮔﺮدد‪ .‬ﻣﻘﺎﯾﺴﻪ ﺧﺮوﺟﯽ واﻗﻌﯽ و ﺧﺮوﺟﯽ‬
‫ﻣﻄﻠﻮب ﻣﻨﺠﺮ ﺑﻪ ﺗﻐﯿﯿﺮ ﺿﺮاﯾﺐ وزﻧﯽ ﺷﺒﮑﻪ در ﺟﻬﺖ ﺑﻬﺒﻮد ﻣﯽ ﮔﺮدد‪.‬‬
‫• در اﯾﻦ ﺷﺒﮑﻪ ﻋﻼوه ﺑﺮ ﻻﯾﻪ ﻫﺎي ورودي و ﺧﺮوﺟﯽ ﻻﯾﻪ ﻫﺎﯾﯽ ﻣﻮﺳﻮم ﺑﻪ ﻻﯾﻪ ﻫﺎي‬
‫ﭘﻨﻬﺎن )‪ ( Hidden Layers‬وﺟﻮد دارد‪ .‬اﯾﻦ ﻻﯾﻪ ﻫﺎ را ﻻﯾﻪ ﻫﺎي ﭘﻨﻬﺎن ﻣﯽ ﻧﺎﻣﻨﺪ‬
‫زﯾﺮا از ﺑﯿﺮون اﯾﻦ ﻻﯾﻪ ﻧﻤﯽ ﺗﻮان ﻋﺼﺒﻬﺎي ورودي و ﺧﺮوﺟﯽ ﻣﺮﺑﻮط ﺑﻪ ان را‬
‫ﻣﺸﺎﻫﺪه ﻧﻤﻮد‪ .‬ﺑﻄﻮر ﻣﺜﺎل در ﯾﮏ ﺷﺒﮑﻪ ﭼﻬﺎر ﻻﯾﻪ دو ﻻﯾﻪ ﭘﻨﻬﺎن وﺟﻮد دارد‪.‬‬
‫• از وﯾﮋﮔﯿﻬﺎي ﺑﺮﺟﺴﺘﻪ اﯾﻦ ﺷﺒﮑﻪ در ان اﺳﺖ ﮐﻪ ﻣﻘﺎدﯾﺮ ﻧﺮوﻧﻬﺎي ورودي ﻣﯽ ﺗﻮاﻧﺪ‬
‫ﭘﯿﻮﺳﺘﻪ ﺑﺎﺷﺪ‪ .‬ﻫﻤﭽﻨﯿﻦ اﯾﻦ ﺷﺒﮑﻪ ﻣﯽ ﺗﻮاﻧﺪ ﻣﺴﺎﺋﻞ ﺑﺸﺪت ﻏﯿﺮ ﺧﻄﯽ و ﻧﻈﺎرﺗﯽ‬
‫را در ﺻﻮرت وﺟﻮد ﺟﻮاب ﺣﻞ ﮐﻨﺪ‪.‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫اﺳﺘﻔﺎده از ﻻﯾﻪ ﭘﻨﻬﺎن در ﭘﺮﺳﭙﺘﺮون ﭼﻨﺪ ﻻﯾﻪ‬
+1

+1 -2
1.5 ٠٫۵
+1

x1 x2 XOR
+1
0 0 0
0 1 1
+1 1 0 1
٠٫۵ +1 1 1 0
+1
٠٫۵

+1
-1
1.5
+1

55

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫‪Sigmoid Function‬‬ ‫ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﯿﮕﻤﻮﺋﯿﺪ‬
‫از آﻧﺠﺎﯾﯽ ﮐﻪ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﻟﮕﺎرﯾﺘﻤﯽ ﺳﯿﮕﻤﻮﺋﯿﺪ‪ ،‬ﯾﮏ ﺗﺎﺑﻊ ﻣﺸﺘﻖ ﭘﺬﯾﺮ اﺳﺖ‪ ،‬ﻋﻤﻮﻣﺎً از‬
‫آن در ﺷﺒﮑﻪ ﻫﺎي ﭼﻨﺪ ﻻﯾﻪ اي اﺳﺘﻔﺎده ﻣﯽ ﺷﻮد ﮐﻪ ﺑﺎ اﺳﺘﻔﺎده از اﻟﮕﻮرﯾﺘﻢ ﭘﺲ اﻧﺘﺸﺎر‬
‫ﺧﻄﺎ ) ‪ ( Back propagation‬آﻣﻮزش ﻣﯽ ﭘﺬﯾﺮﻧﺪ‪ .‬ﻧﻤﻮﻧﻪ اي از اﯾﻦ ﺗﺎﺑﻊ ﺑﻪ ﺻﻮرت زﯾﺮ‬
‫اﺳﺖ‪:‬‬

‫‪1‬‬
‫‪a ‬‬
‫‪1  e  net  g‬‬
‫‪g ‬‬

‫ﻣﻄﺎﺑﻖ اﯾﻦ ﻋﺒﺎرت‪ ،‬ورودي اﯾﻦ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﻣﯽ ﺗﻮاﻧﺪ ﻫﺮ ﻣﻘﺪاري ﺑﯿﻦ ﻣﻨﻔﯽ ﺑﯿﻨﻬﺎﯾﺖ‬
‫ﺗﺎ ﻣﺜﺒﺖ ﺑﯿﻨﻬﺎﯾﺖ ﺑﺎﺷﺪ در ﺣﺎﻟﯿﮑﻪ ﺧﺮوﺟﯽ آن در ﺑﺎزه ﺻﻔﺮ و ‪ 1‬ﻣﺤﺪود ﺷﺪه اﺳﺖ‪.‬‬

‫‪56‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﯿﮕﻤﻮﺋﯿﺪ‬

57

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻐﯿﯿﺮ ﻗﺎﻧﻮن دﻟﺘﺎ‬
‫ﺟﺎﯾﮕﺰﯾﻨﯽ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﯿﮕﻤﻮﺋﯿﺪ ﺑﺠﺎي ﻣﺤﺪود ﮐﻨﻨﺪه ﺳﺨﺖ‬
E
 wi   k
wi
p
1
E 
p
p 1
ep

2
ep   p

 p  d p  net p
e p  (d p  net p )2
1
yp   n et .k
58 1 e
Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)
 ‫ﺗﻐﯿﯿﺮ ﻗﺎﻧﻮن دﻟﺘﺎ‬
‫ﺟﺎﯾﮕﺰﯾﻨﯽ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﯿﮕﻤﻮﺋﯿﺪ ﺑﺠﺎي ﻣﺤﺪود ﮐﻨﻨﺪه ﺳﺨﺖ‬

n
n et p   (w x )
i0
i i p

e p   2p
 p  d p  N et p
n
N et p   (w x )
i0
i i p

p n
1
E   [d p   ( w i xi ) p ]2
p p 1 i0

59

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫ﺗﻐﯿﯿﺮ ﻗﺎﻧﻮن دﻟﺘﺎ‬
‫ﺟﺎﯾﮕﺰﯾﻨﯽ ﺗﺎﺑﻊ اﻧﺘﻘﺎل ﺳﯿﮕﻤﻮﺋﯿﺪ ﺑﺠﺎي ﻣﺤﺪود ﮐﻨﻨﺪه ﺳﺨﺖ‬

p p
E 1 e p 1 e p y p
 wi

p

p 1  w i

p
 .
p 1  y p  w i

p
E 1 y p
 wi

p
  2( d
p 1
p  y p ).
 wi
p
E 2 y p  net p
 wi

p
 (d
p 1
p  y p ).
 net p
.
 wi
p
E 2
 wi

p
 (d
p 1
p  y p ). y p (1  y p ). x p

60

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫اﻟﮕﻮرﯾﺘﻢ ﭘﺲ – اﻧﺘﺸﺎر‪:‬‬
‫• ﺷﺒﮑﻪ ﺑﺎ ﻣﻘﺪار دﻫﯽ اوﻟﯿﻪ ﺗﻤﺎﻣﯽ اوزان ﺑﻮﺳﯿﻠﻪ اﻋﺪاد ﺗﺼﺎدﻓﯽ ﮐﻮﭼﮏ اﻏﺎز ﻣﯽ‬
‫ﮔﺮدد‪.‬‬

‫• ﺑﻮﺳﯿﻠﻪ اﻟﮕﻮي ورودي ﻣﻘﺎدﯾﺮ ﺧﺮوﺟﯽ ﻣﺤﺎﺳﺒﻪ ﻣﯽ ﮔﺮدد )ﻣﺴﯿﺮ رو ﺑﻪ ﺟﻠﻮ(‪.‬‬

‫• ﻣﻘﺎدﯾﺮ ﺧﺮوﺟﯿﻬﺎي ﻣﺤﺎﺳﺒﻪ ﺷﺪه ﺑﺎ اﻧﭽﻪ در ﻧﻈﺮ اﺳﺖ )ﻫﺪف( ﻣﺘﻔﺎوت اﺳﺖ‪.‬‬
‫• ﺧﻄﺎي ﻫﺮ ﻧﺮون ﮐﻪ ﻋﺒﺎرت اﺳﺖ از ﺗﻔﺎﺿﻞ ﺑﯿﻦ ﻫﺪف و ﻣﻘﺪار ﺑﺴﺖ اﻣﺪه و ﺑﺮاي‬
‫ﺗﻐﯿﯿﺮ اوزان در ﺟﻬﺖ ﮐﺎﻫﺶ ﺧﻄﺎ ﺑﮑﺎر ﮔﺮﻓﺘﻪ ﻣﯽ ﺷﻮد‪ .‬ﺑﻪ ﺑﯿﺎن دﯾﮕﺮ ﺧﺮوﺟﯽ ﻫﺮ‬
‫ﻧﺮون ﺑﻪ ﻫﺪف ﻧﺰدﯾﮑﺘﺮ ﻣﯽ ﮔﺮدد )ﻣﺴﯿﺮ ﻣﻌﮑﻮس(‪.‬‬
‫• اﯾﻦ ﻓﺮاﯾﻨﺪ ﺗﺎ زﻣﺎﻧﯿﮑﻪ ﺧﻄﺎ ﺣﺪاﻗﻞ ﮔﺮدد‪ ،‬اداﻣﻪ ﻣﯽ ﯾﺎﺑﺪ‪.‬‬

‫‪61‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 Feedforward part

F1(.) 1 ( n1 1) F2 (.)

xR ( n0 1)
n1 o R o 2  R n2  2
w1 w2
_
+
d  Rn  2
∑

e1 e
 
Backpropagation part

4.8 : The matrix representation of backpropagation learning for two-layered

feedforward neural network with linear output neurons

62

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 ‫اﻟﮕﻮرﯾﺘﻢ ﭘﺲ – اﻧﺘﺸﺎر)اداﻣﻪ(‪:‬‬

‫در ﺷﮑﻞ ﺑﺎﻻ اﺗﺼﺎﻻت ﺑﯿﻦ دو ﻧﺮون ﻻﯾﻪ ﺧﺮوﺟﯽ وﯾﮏ ﻧﺮون ﻻﯾﻪ ﭘﻨﻬﺎن ﻧﺸﺎن داده ﺷﺪه‬
‫اﺳﺖ‪.‬‬
‫اﺗﺼﺎل ﺑﯿﻦ ﻧﺮون ‪) A‬ﻧﺮون ﻻﯾﻪ ﭘﻨﻬﺎن( و ﻧﺮون ‪) B‬ﻧﺮون ﻻﯾﻪ ﺧﺮوﺟﯽ( داراي وزن ‪WAB‬‬
‫ﻧﯿﺰ ﻧﺸﺎن داده ﺷﺪه اﺳﺖ‪.‬‬ ‫اﺳﺖ‪ .‬در اﯾﻦ ﺷﮑﻞ ﺷﮑﻞ اﺗﺼﺎﻻت ﺑﯿﻦ ﻧﺮوﻧﻬﺎي ‪ A‬و ‪ C‬ﺑﺎ وزن‪WAC‬‬
‫اﻟﮕﻮرﯾﺘﻢ ﻣﺤﺎﺳﺒﻪ در ﺻﻔﺤﻪ ﺑﻌﺪ اراﺋﻪ ﮔﺮدﯾﺪه اﺳﺖ‪.‬‬

‫‪63‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫اﻟﮕﻮرﯾﺘﻢ ﭘﺲ – اﻧﺘﺸﺎر)اداﻣﻪ(‪:‬‬

‫‪ -1‬اﻋﻤﺎل ورودي ﺑﻪ ﺷﺒﮑﻪ و ﻣﺤﺎﺳﺒﻪ ﺧﺮوﺟﯽ‬

‫‪ -2‬ﻣﺤﺎﺳﺒﻪ ﺧﻄﺎي ﻧﺮون ‪ B‬ﺑﺎ اﺳﺘﻔﺎده از ﻓﺮﻣﻮل‬

‫ﺑﺪﻟﯿﻞ اﺳﺘﻔﺎده از ﺗﺎﺑﻊ ﺳﯿﮕﻤﻮﺋﯿﺪ ﺿﺮوري اﺳﺖ‪ .‬اﮔﺮ از‬ ‫واژه‬

‫ﻣﺤﺪود ﮐﻨﻨﺪه ﺳﺨﺖ اﺳﺘﻔﺎده ﺷﻮد ﺧﻄﺎ ﺗﻨﻬﺎ ﻫﺪف ﻣﻨﻬﺎي ﺧﺮوﺟﯽ اﺳﺖ‪.‬‬
‫‪-3‬ﺗﻐﯿﯿﺮ اوزان ﺑﺎ اﺳﺘﻔﺎده از ﻣﻌﺎدﻟﻪ‬

‫وزن ﻗﺪﯾﻢ ﻣﯽ ﺑﺎﺷﺪ‪ .‬ﺗﻮﺟﻪ داﺷﺘﻪ‬ ‫وزن ﺟﺪﯾﺪ )آﻣﻮزش دﯾﺪه( و‬ ‫ﮐﻪ در ان‬
‫ﺑﺎﺷﯿﺪ ﮐﻪ ﺧﺮوﺟﯽ ﻣﺮﺑﻮط ﺑﻪ ﻧﺮون ﻣﺘﺼﻞ )ﻧﺮون‪ ( A‬ﻣﯽ ﺑﺎﺷﺪ‪.‬‬

‫‪64‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 ‫اﻟﮕﻮرﯾﺘﻢ ﭘﺲ – اﻧﺘﺸﺎر)اداﻣﻪ(‪:‬‬
‫‪ -4‬ﻣﺤﺎﺳﺒﻪ ﺧﻄﺎي ﻧﺮوﻧﻬﺎي ﻻﯾﻪ ﭘﻨﻬﺎن‪:‬‬
‫ﺑﺮﺧﻼف ﻻﯾﻪ ﺧﺮوﺟﯽ ﺑﺪﻟﯿﻞ اﻧﮑﻪ در اﯾﻦ ﻻﯾﻪ ﻫﺪف وﺟﻮد ﻧﺪارد ﻧﻤﯽ ﺗﻮان‬
‫ﺧﻄﺎي اﯾﻦ ﻻﯾﻪ را ﺑﻄﻮر ﻣﺴﺘﻘﯿﻢ ﻣﺤﺎﺳﺒﻪ ﻧﻤﻮد‪ .‬ﺑﻨﺎ ﺑﺮاﯾﻦ اﻧﻬﺎ را از ﻃﺮق‬
‫ﻻﯾﻪ ﻫﺎي ﺧﺮوﺟﯽ ﭘﺲ اﻧﺘﺸﺎر ﻣﯽ دﻫﯿﻢ‪ .‬اﯾﻦ ﮐﺎر ﺑﻮﺳﯿﻠﻪ اﺗﺨﺎذ ﺧﻄﺎي‬
‫ﻧﺮوﻧﻬﺎي ﻻﯾﻪ ﺧﺮوﺟﯽ و اﻧﺘﺸﺎر اﻧﻬﺎ رو ﺑﻪ ﻋﻘﺐ از ﻃﺮق وزﻧﻬﺎ اﻧﺠﺎم ﻣﯽ‬
‫ﺷﻮد‪ .‬ﺑﺮاي ﻣﺜﺎل اﮔﺮ ﻧﺮون ‪ A‬ﻫﻤﺎﻧﮕﻮﻧﻪ ﮐﻪ در ﺷﮑﻞ ﻧﺸﺎن داده ﺷﺪه ﺑﻪ‬
‫ﻧﺮوﻧﻬﺎي ‪ B‬و ‪ C‬ﻣﺘﺼﻞ ﺑﺎﺷﺪ‪ ،‬اﻧﮕﺎه ﺑﺎ اﺗﺨﺎذ ﺧﻄﺎﻫﺎي ‪ B‬و ‪ C‬ﺧﻄﺎي ﻧﺮون‬
‫ﻣﺤﺎﺳﺒﻪ ﻣﯽ ﮔﺮدد‪:‬‬

‫‪-5‬ﺑﺎ ﺑﺪﺳﺖ اوردن اوزان ﺧﻄﺎي ﻻﯾﻪ ﭘﻨﻬﺎن ﻣﯽ ﺗﻮان ﻫﻤﺎﻧﻨﺪ ﮔﺎم ‪ 3‬ﺟﻬﺖ‬
‫ﺗﻐﯿﯿﺮ اوزان ﻻﯾﻪ ﭘﻨﻬﺎن اﻗﺪام ﻧﻤﻮد‪.‬‬
‫‪65‬‬

‫)‪Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/‬‬

 66

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 67

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 68

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 69

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 70

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 71

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)

 72

Print to PDF without this message by purchasing novaPDF (http://www.novapdf.com/)