llama

Documentation

Index

• type LLM
  • func (llm *LLM) Embeddings(opts *pb.PredictOptions) ([]float32, error)
  • func (llm *LLM) Load(opts *pb.ModelOptions) error
  • func (llm *LLM) Predict(opts *pb.PredictOptions) (string, error)
  • func (llm *LLM) PredictStream(opts *pb.PredictOptions, results chan string) error
  • func (llm *LLM) TokenizeString(opts *pb.PredictOptions) (pb.TokenizationResponse, error)

Types

type LLM

type LLM struct {
	base.SingleThread
	// contains filtered or unexported fields
}

func (*LLM) Embeddings

func (llm *LLM) Embeddings(opts *pb.PredictOptions) ([]float32, error)

func (*LLM) Load

func (llm *LLM) Load(opts *pb.ModelOptions) error

func (*LLM) Predict

func (llm *LLM) Predict(opts *pb.PredictOptions) (string, error)

func (*LLM) PredictStream

func (llm *LLM) PredictStream(opts *pb.PredictOptions, results chan string) error

func (*LLM) TokenizeString

func (llm *LLM) TokenizeString(opts *pb.PredictOptions) (pb.TokenizationResponse, error)