Форумы портала PHP.SU :: Версия для печати :: Нейронные сети (обучение сети)

1. DlTA - 16 Июня, 2020 - 13:28:56 - перейти к сообщению
Сложил свой код для обработки
Генерирует веса, решает задачу XOR
 
 
function f($s) {
        return 1/(1+exp(-$s));
}
function df($s){
        $val =f($s);
        return $val*(1-$val);
}
function w($ns) {
  $w = [];
  //строим веса
  foreach ($ns as $u => $ct) {
    if ($u == 0) {
      continue;
    }
    for ($kt = 1; $kt <= $ct; $kt++) {
      for ($kf = 0; $kf <= $ns[$u-1]; $kf++) {
        $w[$u][$kt][$kf] = 
                rand(-9, 9)/10;
        
        $w[$u][$kt][$kf] == 0
                ?0.1
                :$w[$u][$kt][$kf];
      }
    }
  }
  return $w;
}
 
function p($v){
        $v=substr($v,0,6);
        return str_pad($v, 6, ' ', STR_PAD_RIGHT);
}
 
function i(&$xy, &$w, &$s, &$i){
        //$s=[];
        //$i=[];
        
        
                $i=[];
                $i[0]=$xy['x'];
                foreach ($i[0] as $ki=>$vi){
                        $i[0][$ki] = f($i[0][$ki]);
                }
                
                $s=[];
                
                echo "\n";
                
                foreach ($w as $u=>$lt){
                
                        if (!isset($i[$u-1][0])){
                                $i[$u-1][0]=1;
                        }
 
                        foreach ($lt as $kt=>$lf){
                                
                                //echo "[$u,$kt]";
                                
                                foreach ($lf as $kf=>$vw){
                                        
                                        if (!isset($s[$u][$kt])){
                                                $s[$u][$kt]=0;
                                        }
                                        //echo "w[$u][$kt][$kf]*i[".($u-1)."][$kf] = ";
                                        
                                        //echo ($w[$u][$kt][$kf]*$i[$u-1][$kf])."\n";
                                        
                                        $s[$u][$kt]+=
                                                $w[$u][$kt][$kf]*$i[$u-1][$kf];
                                                
                                        echo "w[$u][$kt][$kf]*i[".($u-1).",$kf] = "
                                        .p($w[$u][$kt][$kf]).'* '.p($i[$u-1][$kf]).'= ';
                                        echo p($w[$u][$kt][$kf]*$i[$u-1][$kf])."\n";
                                        
                                        //echo $s[$u][$kt]."\n";
                                        
                                }
                                //echo "\n";
                                
                                $i[$u][$kt]=f($s[$u][$kt]);
                                //echo "s=".$s[$u][$kt].' ';
                                echo "s[$u][$kt]=".p($s[$u][$kt])
                                .' ';
                                echo "i[$u][$kt]=".p($i[$u][$kt])
                                ."\n";
                        }
                }
                
                //print_r(['$y'=>$xy['y'][1], '$i'=>$i[$ur][1]]);
                $ur=array_key_last($i);
                echo '['.implode(', ', $xy['x']).'] $y='.$xy['y'][1].' $i='.$i[$ur][1]."\n";
                
        
        //print_r(['$i'=>$i, '$w'=>$w]);
}
 
rand();
 
$step=20000;
 
$a=$da=0.5;
/*
$data=[
          ['x'=>[1, 50, 50], 'y'=>[1=>1 ]]
        , ['x'=>[1, 20, 20], 'y'=>[1=>1 ]]
        , ['x'=>[1, 50, 20], 'y'=>[1=>0 ]]
        , ['x'=>[1, 20, 50], 'y'=>[1=>0 ]]
        //, ['x'=>[1=> -30], 'y'=>[1=>0 ]]
        //, ['x'=>[1=>10], 'y'=>[1=>0]]
        //, ['x'=>[1=>30], 'y'=>[1=>0]]
];
*/
 
$data=[
          ['x'=>[1=>-1, 1], 'y'=>[1=>1 ]]
        , ['x'=>[1=>1 , 0], 'y'=>[1=>1 ]]
        , ['x'=>[1=>0 , 0], 'y'=>[1=>0 ]]
        , ['x'=>[1=>1,  1], 'y'=>[1=>0 ]]
];
 
 
$s=[];
$e=[];
/*
$w=array (
  1 =>
  array (
    1 =>
    array (
     // 0 => 0.07,
      1 => -0.02,
      2 => -0.01,
    ),
    2 =>
    array (
     // 0 => 0.02,
      1 => -0.05,
      2 => 0.05,
    ),
    3 =>
    array (
      //0 => -0.09,
      1 => 0.07,
      2 => -0.07,
    ),
  ),
  2 =>
  array (
    1 =>
    array (
      //0 => 0.03,
      1 => 0.07,
      2 => -0.06,
      3 => 0.1,
    ),
    2 =>
    array (
     // 0 => -0.01,
      1 => -0.01,
      2 => 0.04,
      3 => -0.04,
    ),
    3 =>
    array (
     // 0 => 0.03,
      1 => -0.04,
      2 => 0.05,
      3 => -0.01,
    ),
  ),
  3 =>
  array (
    1 =>
    array (
     // 0 => -0.1,
      1 => -0.01,
      2 => -0.09,
      3 => 0.02,
    ),
  ),
);
*/
$w=w([2, 2, 2, 1]); 
/*
print_r(var_export($w,1));
exit;
*/
 
 
$sw=0;
 
 
for($k=0; $k<$step; $k++){
 
        shuffle($data);
        $mse=0;
        
        echo "\n\n$k\n";
        
        foreach ($data as $xy){
                $i=[];
                $i[0]=$xy['x'];
 
                $s=[];
                
                // нейрон
                ob_start();
                i($xy, $w, $s, $i);
                $it = ob_get_clean();
                //echo $it;
 
                ob_start();
                
                //ksort($i[0]);
                echo "\n".' i=['.implode(',',$i[0])."] \n          y={$xy['y']['1']}\n";
                
                //print_r(['$y'=>$xy['y'][1], '$i'=>$i]);
                
                $ur=array_key_last($i);
                //echo '$ur='.$ur."\n";
                
                $e = [];
                $se=0;
                $ske=0;
                // ошибка
 
                        
                        $e[$ur][1] = 
                                $xy['y'][1]-$i[$ur][1];
                                
                                
                        //$se+=pow(($e[$ur][$ki]),2);
                                
                        //$ske++;
                        echo '          i='.$i[$ur][1]."\n";
                        echo "    e[$ur][1]=".$e[$ur][1]."\n";
 
                
                
                //пересчет ошибок
                for ($u=$ur; $u>1; $u--){
                        foreach ($w[$u] as $kt=>$lf){
                                if ($kt==0){
                                        continue;
                                }
                                foreach ($w[$u][$kt] as $kf=>$vw){
                                        
                                        if (!isset($e[$u-1][$kf])){
                                                $e[$u-1][$kf]=0;
                                        }
                                        
                                        $e[$u-1][$kf]+=
                                                $w[$u][$kt][$kf]*$e[$u][$kt];
                                        
                                }
                        }
                }
 
                
                $mse+=pow($e[$ur][1], 2);
                // пересчет весов
                for ($u=$ur; $u>=1; $u--){
                        
                        //print_r(['$e'=>$e, '$u'=>$u]);
                        
                        //echo "    $u\n";
                        
                        foreach ($w[$u] as $kt=>$lt){
                                
                                //print_r(['$lt'=>$lt]);
                                //нейрон
                                //echo "$kt\n";
                                
                                //rsort($i[$u-1]);
                                /*
                                $i[$u-1] = array_map(function($val){
                                        return substr($val, 0, 6);
                                }, $i[$u-1]);*/
                                
                                
                                echo "    $u $kt i["
                                                .implode(',', $i[$u-1])."] "
                                        .substr($e[$u][$kt],0, 6)."\n";
                                
                                //сумма весов к нейрону
                                foreach ($lt as $kf=>$vw){
                                        
                                        $dw=  (
                                                        $a
                                                        * df($s[$u][$kt])
                                                        * $e[$u][$kt]
                                                        * $i[$u-1][$kf]
                                                );
                                                echo "dw[$u,$kt]=\n";
                                                echo '   $a='.p($a)."\n";
                                                echo '   df='.p(df($s[$u][$kt]))."\n";
                                                echo '   e='.p($e[$u][$kt])."\n";
                                                echo '   i='.p($i[$u-1][$kf])."\n";
                                                echo "   =$dw\n";
                                                
                                        
                                        
                                        $w[$u][$kt][$kf]+=$dw;
                                                
                                                /*1
                                                //* df($s[$u][$kt])
                                                * (
                                                                $e[$u][$kt] / $sw
                                                                //* abs($w[$u][$kt][$kf])
                                                                * $w[$u][$kt][$kf]
                                                        )
                                                        
                                                        //* $i[$u-1][$kf]
                                                * $a
                                                        ;
                                        echo "1*({$e[$u][$kt]}/$sw*"
                                                //.abs($w[$u][$kt][$kf])
                                                .$w[$u][$kt][$kf]
                                                .")*$a \n";
                                        echo "dw=".(1
                                                //* df($s[$u][$kt])
                                                * (
                                                                $e[$u][$kt] / $sw
                                                                //* abs($w[$u][$kt][$kf])
                                                                * $w[$u][$kt][$kf]
                                                        )
                                                        
                                                        //* $i[$u-1][$kf]
                                                * $a)."\n";     
                                                */
                                        
                                        echo "     $kf dw=".str_pad($dw, 20, " ");
                                                
                                        echo "  w={$w[$u][$kt][$kf]} \n";
                                        
                                        /*
                                        if ($w[$u][$kt][$kf]==NAN){
                                                exit;
                                        }
                                        */
                                                
                                }
                                //print_r(['$w'=>$w]);
                                
                        }
                        
                }
                $et=ob_get_clean();
                
                //echo $et;
                ob_start();
                echo "re \n";
                i($xy, $w, $s, $i);
                echo "er\n";
                $it2=ob_get_clean();
                //echo $it2;
                
        }
        $mse/=count($data);
        //$mse=pow($mse, 0.5);
        echo "  ==  mse=$mse \n\n";
        
}
echo "-----\n";
 
file_put_contents('w.data', serialize($w));
 
print_r([$w]);
 
for($k=0;$k<1; $k++){
// гручим результат
        foreach ($data as $xy){
                $i=[];
                $i[0]=$xy['x'];
                foreach ($i[0] as $ki=>$vi){
                        //$i[0][$ki] = f($i[0][$ki]);
                }
                
                $s=[];
                ob_start();
                i($xy, $w, $s, $i);
                $it=ob_get_clean();
                //echo $it;
 
                
                echo '    $y='.$xy['y'][1].' $i='.$i[$ur][1]."\n";
                
        }
}
 
 
 
Может кому-то будет интересно
Скрипт писался по консоль на телефоне.
Иногда задача не сходится, большая ошибка, повторители попытку
Обычно XOR считается за 2.5-5 тысяч.
А иногда только на 15 тысячах ошибка опускается к проценту.

Есть вывод в изображение. Но в другом файле.

По коду: коменты в коде есть.