bolt

Documentation

Index

• Variables
• type BoltStore
  • func (b *BoltStore) AllowedSites() (res []*crawler.Site, e error)
  • func (b *BoltStore) Connect(filepath string) (e error)
  • func (b *BoltStore) CountLink() (count int)
  • func (b *BoltStore) CountSite() (count int)
  • func (b *BoltStore) GetBlob(key string) ([]byte, error)
  • func (b *BoltStore) GetLink(rawurl string) (*crawler.Link, bool)
  • func (b *BoltStore) GetSite(host string) (*crawler.Site, bool)
  • func (b *BoltStore) NotVisited() (res []*crawler.Link, e error)
  • func (b *BoltStore) SaveBlob(key string, in []byte) (e error)
  • func (b *BoltStore) SaveLink(l *crawler.Link) error
  • func (b *BoltStore) SaveSite(s *crawler.Site) error
  • func (b *BoltStore) Visited() (res []*crawler.Link, e error)

Variables

var (
	LinkBucketName []byte = []byte("link")
	SiteBucketName []byte = []byte("site")
	BlobBucketName []byte = []byte("blob")
)

Types

type BoltStore

type BoltStore struct {
	// contains filtered or unexported fields
}

func (*BoltStore) AllowedSites

func (b *BoltStore) AllowedSites() (res []*crawler.Site, e error)

func (*BoltStore) Connect

func (b *BoltStore) Connect(filepath string) (e error)

func (*BoltStore) CountLink

func (b *BoltStore) CountLink() (count int)

func (*BoltStore) CountSite

func (b *BoltStore) CountSite() (count int)

func (*BoltStore) GetBlob

func (b *BoltStore) GetBlob(key string) ([]byte, error)

func (*BoltStore) GetLink

func (b *BoltStore) GetLink(rawurl string) (*crawler.Link, bool)

func (*BoltStore) GetSite

func (b *BoltStore) GetSite(host string) (*crawler.Site, bool)

func (*BoltStore) NotVisited

func (b *BoltStore) NotVisited() (res []*crawler.Link, e error)

func (*BoltStore) SaveBlob

func (b *BoltStore) SaveBlob(key string, in []byte) (e error)

func (*BoltStore) SaveLink

func (b *BoltStore) SaveLink(l *crawler.Link) error

func (*BoltStore) SaveSite

func (b *BoltStore) SaveSite(s *crawler.Site) error

func (*BoltStore) Visited

func (b *BoltStore) Visited() (res []*crawler.Link, e error)