El algoritmo Snowball y el stemming.

Que es el Stemming?
Durante la fase de tratamiento del texo (Tratare sobre esto mas adelante) podemos identificar cuatro fases.

  1. Linealizacion del texto
  2. Tokenizacion del texto
  3. Filtrado de palabras
  4. Stemming

Es de esta ultima de la que voy hablar un poco en esta entrada. En uno de los parrafos de mi futuro diplomarbeiten menciono lo siguiente

One of the problems in vector space models is the heterogeneity of the words. Removing suffixes by automatic means is an operation which is especially useful in this field. In order to maintain all the information together it is necessary to group those words with same lexema and meanings

As we saw before in a typical VSM environment, one has a collection of documents, each described by the words in the document, we can say that a document is represented by a vector of words, or terms. Normally terms with a common stem will have similar meanings, we can see that in the next example.\item Paice/Husk Stemming Algorithm

Exsiten varios algoritmos para hacer stemming :

  1. Paice/Husk Stemming Algorithm \cite{stemming:paice}
  2. Porter Stemming Algorithm \cite{stemming:porter}
  3. Lovins Stemming Algorithm \cite{Lovins68}
  4. Dawson Stemming Algorithm \cite{stemming:dawson}
  5. Krovetz Stemming Algorithm \cite{stemming:krovetz}

Yo me he decantado por el algoritmo de Porter, ya que es el usado por defecto dentro del poryecto Lucene. El algoritmo Snowball es algo asi como la implementación de referencai del proceso de stemming de Porter.

Un sencillo ejemplo para ver que es el stemming (sacado del paper de Porter) :

Palabra –> Stemm –> sufijo
CONNECT –> CONNECT –> no tiene
CONNECTED –> CONNECT –>ED
CONNECTING –> CONNECT –> ING
CONNECTION –> CONNECT & ION
CONNECTIONS –> CONNECT –> IONS

3 comentarios to “El algoritmo Snowball y el stemming.”

  1. abraahm Says:

    me interesa saber de que diablos hablas, disculpa mi ignorancia gracias

  2. гей знакомства порно Says:

    в конце концов: благодарю!!

  3. brady Says:

    Y los 3 primeros temas cuando los comentas, a ver si te das un tiempo, esta interesante esos pasos.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s


A %d blogueros les gusta esto: