u115php

Sommaire du BPM Project

• Présentation (voir ci dessous)
• Comment participer ?
• Explications pour les utilisateurs de VDJ
• Explications pour les utilisateurs d'autres logiciels
• Le nettoyeur de titre ! (Nouveau présentation V8 a venir)
• Tester en ligne le titre cleaner (Bientôt une nouvelle version!)(Version 7 déja en ligne)
  
• Le classement: explications du calcul des points (Nouveau système de calcul, explication bientôt)
• Voir le CLASSEMENT (Mis à Jour!)
  
• Accéder a la base globale (Indisponible)

Le BPM Project

Qui peut être interessé?
>> Les utilisateurs de logiciels de mix qui peuvent participer au projet et en récolter les fruits
>> Les DJs qui pourraient plus tard se servir de cette base
>> Les webradios qui seront particulièrement interessées par le Titre Cleaner
>> Les développeurs PHP qui pourront optimiser le code qui sera mis en OPEN SOURCE
>> Les curieux qui veulent mieux comprendre les possibilités d' Internet

Présentation
L' objectif de ce premier projet est de constituer une base géante qui permet de trouver le rythme d un morceau, ce que l'on appelle son BPM.
L' utilisateur n'aura plus qu'à tapper le nom de l'artiste ou du titre pour voir s'afficher la liste des morceaux dans la base correspondante. La base a pour objectif de répertorier un million de morceau, et de réussir a l exploiter de facon fluide, l'enjeu est donc de taille.

Composante du projet

La récupération des données

Cette récupération doit être automatisée ou plutot assistée par le php afin de tenir l'objectif ambitieux du nombre de morceaux répertoriés. Les données sont récupérées sur des logiciels qui sont capables de calculer les BPM des morceaux:

La source

* Virtual DJ: Ce logiciel fournit un fichier XML avec les données qui nous interesse, c'est à dire le titre du morceau son auteur et le BPM
* ID3Tag: Ce logiciel est capable d' exporter au format excel les données des ID3tag.
Tout autre logiciel de mix ou de calcul de BPM est normalement compatible et je lancerai la création d un parseur (code qui permet la récupération automatique des données) pour ces nouveaux formats lorsque des personnes m' auront transmis ces fichiers spécifiques.

La récupération automatisée

Je vais présenter le premier parseur qui est validé pour VirtualDJ:
Ce logiciel stoque le résultat de l'analyse de ces BPM sous forme d' un fichier XML situé dans :

Voici un extrait pour vous permettre de mieux comprendre la démarche:

Pour récupérer l' information qui nous interesse donc le titre du morceau contenu dans Filename, il faut faire ce qu' on appelle un parseur. Ce code php permet d' analyser a la volé le fichier xml et d' en extraire dans une table a deux colonnes les infos:

Table $database:

Cetta variable tableau est ensuite stockée une fois nettoyée dans la base finale qui contient les informations.
Passons maintenant a l'étape de nettoyage !

Le nettoyage des titres

Pour gérer un telle base provenant de la contribution de diverse utilisateurs avec leur habitude pour nommer leur morceau, il est indispensable d' établir une régle de "nommage" des titres rigoureuses et de l'appliquer sur les fichiers de données reçus afin d éviter au maximum les doublons dans la base.
J'ai donc commencé par mettre en oeuvre mon standard d'écriture des titres qui est présenté plus en détail sur un autre article et peut servir d' exemple d'ailleurs pour toutes personnes souhaitant arrivées à un certain niveau d' excellence dans l' organisation de ses morceaux.
Concrétement pour notre projet ce standard doit etre appliqué à tous les titres de morceaux reçus et ce de façon assistée par l ordinateur sinon le travail serait trop énorme ! et trop compliqué pour arriver à une base finale optimisée.
Voici donc un petit graphique pour vous expliquer où intervient ce nettoyeur et la structure globale du projet:

Le nettoyeur de titre est un module a part entière qui intervient dans ce projet mais sera aussi proposé gratuitement aux webradios partenaires qui auront bien contribuées au projet.
Ce module permet de présenter dans un formulaire la liste des titres contenu dans le fichier de données(XML) en les pré nettoyant afin de gagner un temps considérable pour le remplissage de la base finale et surtout d' uniformiser au maximum et de façon certaine la façon de nommer les titres, ce module pourra pour les webradios leur permettre d'assurer un bon nettoyage de l' info titre en cours et ce en live afin d'assurer à leur visiteurs une meilleur information de qualité.

Quelques exemples de l' action du nettoyeur:

Titre avant traitement:
David Guetta---Love doN't Let me go (((Remix featuring Joachim garraud)))(geozzz2005@yahoo.fr)(http://u115php.over-blog.fr)

On voit sur ce titre de nombreux défauts par exemple:
* Le shéma Artiste - Titre est respecté mais avec plusieurs tirets et sans espace
* Les majuscules sont mal placée
* Des parenthèses sont redondantes
* L' utilisateur a mis son adresse email et son URL de site internet ce qu'il faut effacer!
* La guillement peut faire un ravage dans le code php d' un site de webradio ou dans la manipulation

Mais le nettoyeur est là !!!
Voici le Titre après traitement

David Guetta - Love Don T Let Me Go ( Rmx Ft Joachim Garraud)

Le shéma est alors bien respecté, ce titre nettoyé est ensuite séparé automatiquement en Auteur et Titre puis injecté dans un table formulaire que je vérifie visuellement pour assurer les défaillances éventuelles du nettoyeur.
Au fur et à mesure de l' exploitation j'optimise ce nettoyeur.

Une fois bien revérifier il ne reste plus qu'à valider pour que les données soient enregistrés dans la base finale.

>>>>> Plus d info sur le Titre Clean

Exploitation de la base finale

La base finale a été pensé pour être la plus légére possible.
Nous avons donc la structure suivante:

Il est plus judicieux de créer un table artiste séparée que de stoquer dans une même table les données Artistes et Titres car cela impliquerai une redondance des données si un même artiste a plusieurs titres ce qui va forcément arriver (esperons le ou sinon c'est le fiasco du projet !).
Cette base une fois bien remplie sera exploitée par une application AJAX pour faire un site internet dédié (enfin essayer, c'est ma première tentative en ajax).
Pour mieux comprendre cela je vous conseille d' aller jeter un oeil sur les exemples en ligne fournit par Rico.
C'est l extension Livegrid qui sera utilisée ici, si quelqun si connais pour cela il faut m' aider car je n'ai pas d ' expérience dans ce domaine.

Comment contribuer?

N' hésitez pas à poster vos commentaires!

Présentation du module Titre Cleaner
Date de lancement: Avril 2005
Version Actuelle: 7 (Version 8 beta en cours)
Auteur: U115
Contribution: Aucune contribution pour le moment
Télécharger: (Pas encore dispo, interesser mettez un commentaire)

Ils utilisent Titre Cleaner sur leur site:

(Nouveau) La Version 8 Beta en cours de préparation !

Une nouvelle version très prometteuse qui est en cours d'optimisation et qui donne des résultats impressionants avec un taux de correction bien supérieur a la dernière version en ligne.

Au menu:

• Correction de plus de 90% des bugs de la dernière version
• Traitement des suffixes indésirables (Plus de 430 répertoriés a ce jour, à sa sortie la version 8 en comprendra environ 600)
• Optimisation majeur du traitement de l'étiquette de la version du morceau (par exemple (Original Mix))
• Rajouts de spécificités

La version 8 beta est utilisée actuellement pour le BPM Project et permet de réduire le temps de traitement pour 100 morceaux de 9 minutes à 4 minutes environ avec un taux de correction amélioré de plus de 40%. (Une partie du temps gagné dans le traitement vient de l'amélioration du formulaire de traitement).

La sortie c'est pour quand?

La version 8 a pour ambition d'être une version vraiment aboutie, sa sortie est conditionnée par plusieurs points:

>> La version devra être testé et optimisé sur 10 000 titres

>> Le formulaire de saisie pour le bpm project permet d'inscrire dans un fichier les titres qui ont mal été traité par le correcteur de titre, actuellement environ 1000 titres mal traités doivent être inspecté et une adaptation du nettoyeur envisagé pour chaque si possible, cette étape minutieuse devra être terminée avant la sortie.

Vous l'avez bien compris cette version 8 sera la version de référence une fois sortie et marquera la fin de la phase de test du concept.

Présentation rapide:
Ce module écrit en php a pour objectif de standardiser l ecriture des titres musicaux dans le but
soit de gérer la qualité d une base de donnée (BPM Project) soit de fournir des
informations en live sur le titre en cours pour une webradio (Des webradios interessées, voir la page INFO).

A long terme il pourra aboutir sur la création d un logiciel permettant d utiliser ces filtres sur son
ordinateur en local.

Standard pour le titre d'un morceau

Ce module php a pour but d arriver a une écriture standard des morceaux afin par exemple de ne pas faire
de doublon inutiles dans une base de donnée ou de rendre propre et cohérent l affichage d
une playlist sur une webradio.
Le standard choisi a été peaufinné par mes soins au cours de mon expérience en tant que DJ
(non professionel), il est donc assujeti a une grande expérience dans ce domaine.

Descriptif du standard:

>Le champs Auteur

Ce champ est scindé en deux parties Auteur et Auteur2 ou plus, chaque artiste étant écrit avec une majuscule au départ et espacé, la sépration entre l artiste principale et les autres se fait par
un Ft signifiant featuring.

>La séparation Auteur Titre

La séparation se fait avec le tiret avec un espace avant et après le tiret. Les différents mot dans le titre global du morceau sont séparés par des espaces et non des "_" ou autres.

Le tiret doit etre présent une seule fois.

>Le type de la version

Ce champs doit etre mis entre parenthèse "( )" avec une seule répétition (pas de "(( ))") et pas d utilisation d autre symbole par exemple "[ ]".
Les mots utilisés dans ce champs sont soumis a une orthographe stricte par exemple:
Rmx: pour remix et non remixed, remix, rmix etc
Original Mix: pour une version original et non Originale Mix, Original Version etc
Acapella: pour une version seul avec les voix et non akapella, accapella etc

Descriptif des filtres présent dans le module

Cette description n est volontairement pas complète mais vous donne déja de bon exemple sur l'action du script.
L 'usage du module est instantané et est supporté par une architecture en PHP uniquement.

Mise en compatibilité des résultats avec le format HTML (pas besoin d utiliser des fonctions
comme htmlentities) Censure des adresses email dans les titres et des URL avec effacement
automatique des parenthèses autour de cette info

Effacement complet des accents comme par exemple à qui devient a ou é qui devient e.

Traitement des caractéres en double abusif: adapté au tiret et au parenthèse,
par exemple un "- -" deviendra "-" ou un "((((( )))))" deviendraa "( )". Capable jusqu a plus de 100
répétitions et sans bouclage du code.

Effacement du suffixe audio par exemple du .mp3

Traitement de standardisation des mots courant, comme par exemple
une version remixé sera tojours noté Rmx, idem pour un acapella.

Effacement des points présents dans le titre (pour une meilleur compatibilité php)

Traitement des fautes d orthographe couramment rencontré par exemple sur Mix ou acapella.
Sera optimiser avec le temps.

Effacement des guillements, par exemple "Il S'est Planter" devient "Il S Est Planter"

Controle des espacement après le séparateur Artiste Titre et les parenthèses

Fermeture automatique d une parenthèse non fermée

Standardisation du placement des majuscules
(y compris des usages spéciaux comme DJ qui ne sera jamais écrit Dj puis dj etc mais
toujours DJ ou mise en majuscule de part et d autre du caractère &)

Mise en sortie dans deux variable distinctes de l auteur et du titre.

D autres idées, vos suggestions en commentaire
Quelques exemples
En rouge le titre avant le traitement
En vert le titre après le traitement


David Guetta---Love doN't Let me go
(((Remix featuring Joachim garraud)))(geozzz2005@yahoo.fr)(http://u115php.over-blog.fr)
David Guetta - Love Don T Let Me Go ( Rmx Ft Joachim Garraud)

Frankie GoEs To hollywood -- Relax '[Original New York Mix]
Frankie Goes To Hollywood - Relax (Original New York Mix)

Kool & The Gang - Fresh [[[Remix Akapella par Dj édithôs]]]
Kool & The Gang - Fresh ( Rmx Akapella Par DJ Edithos )


D autres exemple soumettez le code a l épreuve en m envoyant en commentaire un titre que vous voulez voir réécrit.