Define is a semantic annotation software aimed at enhancing and constraining hand similarity annotation tasks.
- Se elige un término sobre el cual se desea etiquetar sus snippets. A partir de los snippets correspondientes al término elegido, el sistema presenta 10 snippets elegidos de manera aleatoria (con distribución uniforme).
- Durante la sesión iniciada por el usuario, es necesario terminar de etiquetar al menos 10 snippets. En otro caso, si el mismo usuario inicia sesión posteriormente, la sesión le lleva al punto donde se quedó incompleta su última sesión. Actualmente los grupos pueden ser individuales (por usuario) o bien pueden ser globales y que todos los usuarios puedan ver todos los grupos que se han creado o designado.
- A partir de todo el corpus, se presentan 10 snippets para etiquetar al azar (con distribución uniforme) en una sesión de etiquetado que debe ser necesariamente terminada por el usuario que la inicia.
- Cada usuario genera diferentes listas aleatorias que se almacenan para que la sesión se pueda retomar después en caso de interrupción. La sesión almacena el etiquetado al mismo tiempo en que éste se hace o modifica. Esto genera un tabla, resultado del etiquetado. En la misma tabla, por usuario, se mantiene además una referencia del estado actual de la sesión. Una vez terminada la sesión (etiquetado de 10 definiciones), dicha referencia se pierde.
- Cambiar la selección de un grupo para que ahora sea posible elegir más de uno, en este caso se usará un grado de certeza, se genera un registro por cada grupo.[+]
- Los grupos ahora se pueden generar usando wordnet (con opción a ampliarse otras herramientas, e.g. Wikipedia, Babelnet, Framenet y Metanet) el usuario selecciona de una lista, en caso de que ninguno de los grupos sea adecuado se puede generar uno personalizado. En la base de datos se indicará qué tipo de grupo es. [+]
- Agregar un historial que indique cuántas personas han etiquetado (asignado) una definición a un grupo en específico, se realizará por porcentajes con una leyenda que advierta al usuario que es preferible aplicar su propio criterio.
- Implementar un sistema de validación para evitar etiquetados aleatorios por usuarios no confiables.
- Agregar NNs que implementó Ramón
- Crear otra interfaz en inglés. [$]
- Crear un módulo de etiquetado para similitud por pares y manejo de criterios de similitud.
- Módulo especial para gestión de criterios de similitud
- Crear un módulo para etiquetado por pares de palabras y frases.
- Agregar módulo opcional de análisis lingüístico.
- Implementar funciones estadísticas diferentes al promedio, de tal manera que sean opcionales o que se puedan mostrar más de una (Chi^2, t-student). Por ejemplo, la Chi^2 de los grados de certeza de un grupo semántico en particular, la t-student de los grados de certeza de una definición o de de un usuario, etc.
- Crear módulo de interfaz para mostrar estadísticas tales como las anteriores, histogramas y diagramas de caja.
- Ordenar por frecuencia de ocurrencia las acepciones de wordNet (Passonneau, 2012); de la menos frecuente a la más frecuente (prioridad a la menos frecuente). Que se pueda además elegir si se quiere un orden inverso (sólo disponible para el administrador).
- Averiguar si existe un número único de referencia (índice) o función para conectar (persistencia) cada definición etiquetada con Wordnet (y las demás bases de conocimiento en su caso, wikipedia, babelnet, etc).
- Una definición puede pertenecer a un grupo personalizado y a otros de base de conocimiento simultáneamente. [$]
- Pruebas de usabilidad y las modificaciones que implique a la interfaz.
- Volver amigable la interfaz.[$]
- Hacer comparaciones de las prestaciones que ofrece el sistema de (Passonneau, 2012) y el nuestro. Documentar los resultados [$]
- Agregar un módulo para anotación semántica de opiniones que incluya la definición lingüística de Tavo.
[*] = Listo [+] = Solo un modo [$] = Urgente
Algunas características están pendientes de implementación.