goanon

README

go-anon

Pipeline de reconnaissance d'entités nommées (NER) et d'anonymisation pour le français et l'anglais, sans dépendance externe.

Fonctionnalités

• Détection d'entités nommées (personnes, lieux, organisations) via un modèle CRF linéaire ;
• Détection par expression régulière d'identifiants structurés : e-mail, IPv4/IPv6, IBAN, SIRET, SIREN, numéro de téléphone ;
• Détection de jetons d'authentification et clés d'API : JWT, OpenAI, AWS, GitHub, Slack, Stripe, Bearer ;
• Anonymisation configurable : remplacement par tag, caviardage, empreinte SHA-256 ou pseudonymes cohérents ;
• Traitement de documents bureautiques : DOCX, ODT, CSV/TSV, PDF ;
• Support du français et de l'anglais avec profils linguistiques dédiés ;
• Post-filtres chaînables : seuil de confiance, longueur de span, liste noire ;
• Enrichissement optionnel via gazetteers et Brown clusters ;
• Serveur HTTP intégré via cmd/server.

Utilisation

go get github.com/bornholm/go-anon

import goanon "github.com/bornholm/go-anon"

// Charger un modèle
f, _ := os.Open("model_fr.crf.gz")
m, _ := goanon.LoadModel(f)

// Reconnaître des entités
r, _ := goanon.NewRecognizer(m, goanon.WithLanguage("fr"))
entities, _ := r.Recognize("Jean Dupont habite à Paris.")
// → [{Text:"Jean Dupont", Type:"PER"}, {Text:"Paris", Type:"LOC"}]

// Anonymiser
anon := goanon.NewAnonymizer(r, goanon.Config{Strategy: goanon.TagReplace})
result, _ := anon.Anonymize("Jean Dupont habite à Paris.")
// result.Text → "[PERSON_1] habite à [LOCATION_1]."

// Activer la détection des identifiants structurés courants (e-mail, IP, IBAN…)
r, _ = goanon.NewRecognizer(m,
    goanon.WithLanguage("fr"),
    goanon.WithBuiltinRegexPatterns(),
)

// Activer la détection des jetons d'authentification et clés d'API
r, _ = goanon.NewRecognizer(m,
    goanon.WithLanguage("fr"),
    goanon.WithBuiltinSecretPatterns(), // JWT, OpenAI sk-, AWS AKIA, GitHub ghp_, Slack xox*, Stripe sk_live_, Bearer…
)

Voir docs/tutoriel-modele.md pour entraîner un modèle français.

Licence

GPL-3.0

Documentation

Overview

Package goanon fournit une API de haut niveau pour la reconnaissance d'entités nommées (NER) et l'anonymisation de texte en français et en anglais.

Usage minimal :

f, _ := os.Open("model.crf.gz")
m, err := goanon.LoadModel(f)
r, err := goanon.NewRecognizer(m, goanon.WithLanguage("fr"))
entities, err := r.Recognize("Jean Dupont habite à Paris.")

Anonymisation :

anon := goanon.NewAnonymizer(r, goanon.Config{Strategy: goanon.TagReplace})
result, err := anon.Anonymize("Jean Dupont habite à Paris.")
// result.Text == "[PERSON_1] habite à [LOCATION_1]."

Index

• Constants
• Variables
• type AnonymizePass
• type BrownClusters
• type Config
• type Entity
• type EntityFilter
• type EntityType
• type Gazetteer
• type LanguageDetector
• type LanguageResult
• type Model
• type Recognizer
• type RecognizerOption
• type RegexPattern
• type ReplacerFunc
• type Result
• type Strategy

Constants

const (
	TypePER  = ner.TypePER
	TypeLOC  = ner.TypeLOC
	TypeORG  = ner.TypeORG
	TypeMISC = ner.TypeMISC

	TypeEMAIL = ner.TypeEMAIL
	TypeIPV4  = ner.TypeIPV4
	TypeIPV6  = ner.TypeIPV6
	TypeIBAN  = ner.TypeIBAN
	TypeSIRET = ner.TypeSIRET
	TypeSIREN = ner.TypeSIREN
	TypePHONE = ner.TypePHONE

	TypeAPIKey = ner.TypeAPIKey
	TypeJWT    = ner.TypeJWT
	TypeSecret = ner.TypeSecret
)

const (
	TagReplace = anonymizer.TagReplace
	Redact     = anonymizer.Redact
	Hash       = anonymizer.Hash
	Consistent = anonymizer.Consistent
)

Variables

var BlocklistFilter = ner.BlocklistFilter

var BuiltinRegexPatterns = ner.BuiltinRegexPatterns

var ConsistencyPass = anonymizer.ConsistencyPass

var DefaultSentenceBoundaries = ner.DefaultSentenceBoundaries

var FirstNameDetectionFilter = ner.FirstNameDetectionFilter

var FirstNameReclassifyFilter = ner.FirstNameReclassifyFilter

var LoadBrownClusters = features.LoadBrownClusters

var LoadGazetteer = features.LoadGazetteer

var LoadModel = ner.LoadModel

LoadModel charge un modèle CRF sérialisé depuis r (format gob+gzip).

var MaxTokensFilter = ner.MaxTokensFilter

var MergePass = ner.MergePass

var MinConfidenceFilter = ner.MinConfidenceFilter

var NameCompletionPass = ner.NameCompletionPass

var NewAnonymizer = anonymizer.New

NewAnonymizer crée un Anonymizer qui s'appuie sur le Recognizer donné.

var NewRecognizer = ner.New

NewRecognizer construit un Recognizer NER avec le modèle m et les options fournies. Voir WithLanguage, WithGazetteers, WithBrownClusters, WithPostFilters.

var NewWhatlangDetector = langdetect.NewWhatlangDetector

NewWhatlangDetector construit un détecteur de langue basé sur whatlanggo, restreint aux codes ISO 639-1 fournis.

var RegexEntityFilter = ner.RegexEntityFilter

var SecretPatterns = ner.SecretPatterns

var SupportedLanguages = ner.SupportedLanguages

SupportedLanguages retourne les codes ISO 639-1 gérés par le pipeline (fr/en/es).

var SurnameCompletionPass = anonymizer.SurnameCompletionPass

var WithBrownClusters = ner.WithBrownClusters

var WithBuiltinRegexPatterns = ner.WithBuiltinRegexPatterns

var WithBuiltinSecretPatterns = ner.WithBuiltinSecretPatterns

var WithFirstNameDetectionPass = ner.WithFirstNameDetectionPass

var WithFirstNameReclassify = ner.WithFirstNameReclassify

var WithGazetteers = ner.WithGazetteers

var WithLanguage = ner.WithLanguage

var WithMergePass = ner.WithMergePass

var WithNameCompletionPass = ner.WithNameCompletionPass

var WithPostFilters = ner.WithPostFilters

var WithRegexPatterns = ner.WithRegexPatterns

var WithSentenceBoundaries = ner.WithSentenceBoundaries

Types

type AnonymizePass

type AnonymizePass = anonymizer.AnonymizePass

type BrownClusters

type BrownClusters = features.BrownClusters

type Config

type Config = anonymizer.Config

type Entity

type Entity = ner.Entity

type EntityFilter

type EntityFilter = ner.EntityFilter

type EntityType

type EntityType = ner.EntityType

type Gazetteer

type Gazetteer = features.Gazetteer

type LanguageDetector

type LanguageDetector = langdetect.Detector

type LanguageResult

type LanguageResult = langdetect.Result

type Model

type Model = ner.Model

type Recognizer

type Recognizer = anonymizer.Recognizer

type RecognizerOption

type RecognizerOption = ner.RecognizerOption

type RegexPattern

type RegexPattern = ner.RegexPattern

RegexPattern associe une expression régulière à un type d'entité.

type ReplacerFunc

type ReplacerFunc = anonymizer.ReplacerFunc

type Result

type Result = anonymizer.Result

type Strategy

type Strategy = anonymizer.Strategy