Replace UCT.java

src/mcts/UCT.java

@@ -5,8 +5,8 @@
  */
 package mcts;
 
-import java.util.Collections;
-import java.util.Comparator;
+//import java.util.Collections;
+//import java.util.Comparator;
 
 /**
  *
@@ -14,23 +14,22 @@ import java.util.Comparator;
  */
 public class UCT {
     
-    public static double calculUCT(int nbVisiteParent, int nbVictoire, int nbVisiteEnfant, double coefficientUCT) {
+    public static double calculUCT(int nbVisiteParent, double scoreVictoire, int nbVisiteEnfant, double coefficientUCT) {
         if (nbVisiteEnfant == 0) {
             return Integer.MAX_VALUE;
         }
-        return ((double) nbVictoire/(double) nbVisiteEnfant + coefficientUCT *  Math.sqrt(Math.log(nbVisiteParent)/(double) nbVisiteEnfant));
-        
+        return (scoreVictoire / (double) nbVisiteEnfant + coefficientUCT *  Math.sqrt(Math.log(nbVisiteParent) / (double) nbVisiteEnfant));
     }
     
-    public static Noeud trouverNoeudPrometteur(Noeud noeud, double coefficient) {
+    public static Noeud trouverNoeudPrometteurUCT(Noeud noeud, double coefficient) {
         int nbVisiteParent = noeud.getEtat().getNbVisite();
         Noeud noeudPrometteur = null;
         double uctNoeudPrometteur = Integer.MIN_VALUE;
         
         for (Noeud enfant : noeud.getListeEnfant()) {
-            int nbVictoireEnfant = enfant.getEtat().getNbVictoire();
+            double scoreVictoireEnfant = enfant.getEtat().getScoreVictoire();
             int nbVisiteEnfant = enfant.getEtat().getNbVisite();
-            double valeurUCTenfant = calculUCT(nbVisiteParent, nbVictoireEnfant, nbVisiteEnfant, coefficient); 
+            double valeurUCTenfant = calculUCT(nbVisiteParent, scoreVictoireEnfant, nbVisiteEnfant, coefficient); 
                     
             if (valeurUCTenfant > uctNoeudPrometteur) {
                 uctNoeudPrometteur = valeurUCTenfant;
@@ -42,12 +41,81 @@ public class UCT {
     }
     
     
-    /* // no such element exeption
-    public static Noeud trouverMeilleurNoeud(Noeud noeud, double coefficient) {
+    
+    
+    
+    
+    
+    
+    
+    
+    
+    
+    // !! TESTS PAS FINIS !!
+    
+    //RAVE SANS UCT
+    
+    public static double calculTEST(int nbVisiteParent, int nbVisiteEnfant, double scoreDernierCoup, int nbDernierCoup, double coefficientUCT) {
+        if (nbVisiteEnfant == 0) {
+            return Integer.MAX_VALUE;
+        }
+        return  scoreDernierCoup / (double) nbDernierCoup + coefficientUCT * Math.sqrt(Math.log(nbVisiteParent) / (double) nbVisiteEnfant);
+    }
+    
+    public static Noeud trouverNoeudPrometteurTEST(Noeud noeud, double coefficientUCT) {
+        int nbVisiteParent = noeud.getEtat().getNbVisite();
+        Noeud noeudPrometteur = null;
+        double testNoeudPrometteur = Integer.MIN_VALUE;
+        
+        for (Noeud enfant : noeud.getListeEnfant()) {
+            int nbVisite = enfant.getEtat().getNbVisite();
+            double scoreDernierCoup = enfant.getEtat().getScoreDernierCoup();
+            int nbDernierCoup = enfant.getEtat().getNbDernierCoup();
+            double valeurTEST = calculTEST(nbVisiteParent, nbVisite, scoreDernierCoup, nbDernierCoup, coefficientUCT);
+                    
+            if (valeurTEST > testNoeudPrometteur) {
+                testNoeudPrometteur = valeurTEST;
+                noeudPrometteur = enfant;
+            }
+        }
+        
+        return noeudPrometteur;
+    }
+    
+    public static double calculRAVE(int nbVisiteParent, 
+            double scoreVictoire, int nbVisiteEnfant, double scoreDernierCoup, int nbDernierCoup, double coefficientUCT, double coefficientRAVE) {
+        if (nbVisiteEnfant == 0) {
+            return Integer.MAX_VALUE;
+        }
+        double ratioUCT = scoreVictoire / (double) nbVisiteEnfant;
+        double ratioRAVE = scoreDernierCoup / (double) nbDernierCoup;
+        double beta = (double) nbDernierCoup / (2 * (double) nbVisiteEnfant + (double) nbDernierCoup 
+                + coefficientRAVE * (double) nbDernierCoup * (double) nbVisiteEnfant);
+        //double exploitation = (1-beta) * ratioUCT + beta * ratioRAVE;
+        //double exploration = coefficientUCT * Math.sqrt(Math.log(nbVisiteParent) / (double) nbVisiteEnfant);
+        return (1-beta) * ratioUCT + beta * ratioRAVE + ( coefficientUCT * Math.sqrt(Math.log(nbVisiteParent) / (double) nbVisiteEnfant) );
+        //return (1-beta) * ratioUCT + beta * ratioRAVE;
+    }
+    
+    public static Noeud trouverNoeudPrometteurRAVE(Noeud noeud, double coefficientUCT, double coefficientRAVE) {
         int nbVisiteParent = noeud.getEtat().getNbVisite();
-        return Collections.max(
-          noeud.getListeEnfant(),
-          Comparator.comparing(c -> calculUCT(nbVisiteParent, c.getEtat().getNbVictoire(), c.getEtat().getNbVisite(), coefficient)));
+        Noeud noeudPrometteur = null;
+        double raveNoeudPrometteur = Integer.MIN_VALUE;
+        
+        for (Noeud enfant : noeud.getListeEnfant()) {
+            double scoreVictoire = enfant.getEtat().getScoreVictoire();
+            int nbVisite = enfant.getEtat().getNbVisite();
+            double scoreDernierCoup = enfant.getEtat().getScoreDernierCoup();
+            int nbDernierCoup = enfant.getEtat().getNbDernierCoup();
+            double valeurRAVE = calculRAVE(nbVisiteParent, scoreVictoire, nbVisite, scoreDernierCoup, nbDernierCoup, coefficientUCT, coefficientRAVE);
+            
+                    
+            if (valeurRAVE > raveNoeudPrometteur) {
+                raveNoeudPrometteur = valeurRAVE;
+                noeudPrometteur = enfant;
+            }
+        }
+        
+        return noeudPrometteur;
     }
-    */
 }