transform

package
v2.7.0-rc.2 Latest Latest
Warning

This package is not in the latest version of its module.

 Go to latest Published: Aug 4, 2023 License: Apache-2.0 Imports: 37 Imported by: 0

Documentation

Index

Constants

This section is empty.

Variables

View Source 
var File_server_worker_pipeline_transform_transform_proto protoreflect.FileDescriptor

Functions

func Run 

func Run(driver driver.Driver, logger logs.TaggedLogger) error

Run will run a transform pipeline until the driver is canceled.

func Worker 

func Worker(ctx context.Context, driver driver.Driver, logger logs.TaggedLogger, status *Status) error

Types

type CreateDatumSetsTask 

type CreateDatumSetsTask struct {
	FileSetId string         `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	PathRange *pfs.PathRange `protobuf:"bytes,2,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	SetSpec   *datum.SetSpec `protobuf:"bytes,3,opt,name=set_spec,json=setSpec,proto3" json:"set_spec,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateDatumSetsTask) Descriptor deprecated 

func (*CreateDatumSetsTask) Descriptor() ([]byte, []int)

Deprecated: Use CreateDatumSetsTask.ProtoReflect.Descriptor instead.

func (*CreateDatumSetsTask) GetFileSetId 

func (x *CreateDatumSetsTask) GetFileSetId() string

func (*CreateDatumSetsTask) GetPathRange 

func (x *CreateDatumSetsTask) GetPathRange() *pfs.PathRange

func (*CreateDatumSetsTask) GetSetSpec 

func (x *CreateDatumSetsTask) GetSetSpec() *datum.SetSpec

func (*CreateDatumSetsTask) MarshalLogObject 

func (x *CreateDatumSetsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateDatumSetsTask) ProtoMessage 

func (*CreateDatumSetsTask) ProtoMessage()

func (*CreateDatumSetsTask) ProtoReflect added in v2.7.0 

func (x *CreateDatumSetsTask) ProtoReflect() protoreflect.Message

func (*CreateDatumSetsTask) Reset 

func (x *CreateDatumSetsTask) Reset()

func (*CreateDatumSetsTask) String 

func (x *CreateDatumSetsTask) String() string

type CreateDatumSetsTaskResult 

type CreateDatumSetsTaskResult struct {
	DatumSets []*pfs.PathRange `protobuf:"bytes,1,rep,name=datum_sets,json=datumSets,proto3" json:"datum_sets,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateDatumSetsTaskResult) Descriptor deprecated 

func (*CreateDatumSetsTaskResult) Descriptor() ([]byte, []int)

Deprecated: Use CreateDatumSetsTaskResult.ProtoReflect.Descriptor instead.

func (*CreateDatumSetsTaskResult) GetDatumSets 

func (x *CreateDatumSetsTaskResult) GetDatumSets() []*pfs.PathRange

func (*CreateDatumSetsTaskResult) MarshalLogObject 

func (x *CreateDatumSetsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateDatumSetsTaskResult) ProtoMessage 

func (*CreateDatumSetsTaskResult) ProtoMessage()

func (*CreateDatumSetsTaskResult) ProtoReflect added in v2.7.0 

func (x *CreateDatumSetsTaskResult) ProtoReflect() protoreflect.Message

func (*CreateDatumSetsTaskResult) Reset 

func (x *CreateDatumSetsTaskResult) Reset()

func (*CreateDatumSetsTaskResult) String 

func (x *CreateDatumSetsTaskResult) String() string

type CreateParallelDatumsTask 

type CreateParallelDatumsTask struct {
	Job           *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	Salt          string         `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"`
	FileSetId     string         `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	BaseFileSetId string         `protobuf:"bytes,4,opt,name=base_file_set_id,json=baseFileSetId,proto3" json:"base_file_set_id,omitempty"`
	PathRange     *pfs.PathRange `protobuf:"bytes,5,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateParallelDatumsTask) Descriptor deprecated 

func (*CreateParallelDatumsTask) Descriptor() ([]byte, []int)

Deprecated: Use CreateParallelDatumsTask.ProtoReflect.Descriptor instead.

func (*CreateParallelDatumsTask) GetBaseFileSetId 

func (x *CreateParallelDatumsTask) GetBaseFileSetId() string

func (*CreateParallelDatumsTask) GetFileSetId 

func (x *CreateParallelDatumsTask) GetFileSetId() string

func (*CreateParallelDatumsTask) GetJob 

func (x *CreateParallelDatumsTask) GetJob() *pps.Job

func (*CreateParallelDatumsTask) GetPathRange 

func (x *CreateParallelDatumsTask) GetPathRange() *pfs.PathRange

func (*CreateParallelDatumsTask) GetSalt 

func (x *CreateParallelDatumsTask) GetSalt() string

func (*CreateParallelDatumsTask) MarshalLogObject 

func (x *CreateParallelDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateParallelDatumsTask) ProtoMessage 

func (*CreateParallelDatumsTask) ProtoMessage()

func (*CreateParallelDatumsTask) ProtoReflect added in v2.7.0 

func (x *CreateParallelDatumsTask) ProtoReflect() protoreflect.Message

func (*CreateParallelDatumsTask) Reset 

func (x *CreateParallelDatumsTask) Reset()

func (*CreateParallelDatumsTask) String 

func (x *CreateParallelDatumsTask) String() string

type CreateParallelDatumsTaskResult 

type CreateParallelDatumsTaskResult struct {
	FileSetId string       `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	Stats     *datum.Stats `protobuf:"bytes,2,opt,name=stats,proto3" json:"stats,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateParallelDatumsTaskResult) Descriptor deprecated 

func (*CreateParallelDatumsTaskResult) Descriptor() ([]byte, []int)

Deprecated: Use CreateParallelDatumsTaskResult.ProtoReflect.Descriptor instead.

func (*CreateParallelDatumsTaskResult) GetFileSetId 

func (x *CreateParallelDatumsTaskResult) GetFileSetId() string

func (*CreateParallelDatumsTaskResult) GetStats 

func (x *CreateParallelDatumsTaskResult) GetStats() *datum.Stats

func (*CreateParallelDatumsTaskResult) MarshalLogObject 

func (x *CreateParallelDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateParallelDatumsTaskResult) ProtoMessage 

func (*CreateParallelDatumsTaskResult) ProtoMessage()

func (*CreateParallelDatumsTaskResult) ProtoReflect added in v2.7.0 

func (x *CreateParallelDatumsTaskResult) ProtoReflect() protoreflect.Message

func (*CreateParallelDatumsTaskResult) Reset 

func (x *CreateParallelDatumsTaskResult) Reset()

func (*CreateParallelDatumsTaskResult) String 

func (x *CreateParallelDatumsTaskResult) String() string

type CreateSerialDatumsTask 

type CreateSerialDatumsTask struct {
	Job            *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	Salt           string         `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"`
	FileSetId      string         `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	BaseMetaCommit *pfs.Commit    `protobuf:"bytes,4,opt,name=base_meta_commit,json=baseMetaCommit,proto3" json:"base_meta_commit,omitempty"`
	NoSkip         bool           `protobuf:"varint,5,opt,name=no_skip,json=noSkip,proto3" json:"no_skip,omitempty"`
	PathRange      *pfs.PathRange `protobuf:"bytes,6,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateSerialDatumsTask) Descriptor deprecated 

func (*CreateSerialDatumsTask) Descriptor() ([]byte, []int)

Deprecated: Use CreateSerialDatumsTask.ProtoReflect.Descriptor instead.

func (*CreateSerialDatumsTask) GetBaseMetaCommit 

func (x *CreateSerialDatumsTask) GetBaseMetaCommit() *pfs.Commit

func (*CreateSerialDatumsTask) GetFileSetId 

func (x *CreateSerialDatumsTask) GetFileSetId() string

func (*CreateSerialDatumsTask) GetJob 

func (x *CreateSerialDatumsTask) GetJob() *pps.Job

func (*CreateSerialDatumsTask) GetNoSkip 

func (x *CreateSerialDatumsTask) GetNoSkip() bool

func (*CreateSerialDatumsTask) GetPathRange 

func (x *CreateSerialDatumsTask) GetPathRange() *pfs.PathRange

func (*CreateSerialDatumsTask) GetSalt 

func (x *CreateSerialDatumsTask) GetSalt() string

func (*CreateSerialDatumsTask) MarshalLogObject 

func (x *CreateSerialDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateSerialDatumsTask) ProtoMessage 

func (*CreateSerialDatumsTask) ProtoMessage()

func (*CreateSerialDatumsTask) ProtoReflect added in v2.7.0 

func (x *CreateSerialDatumsTask) ProtoReflect() protoreflect.Message

func (*CreateSerialDatumsTask) Reset 

func (x *CreateSerialDatumsTask) Reset()

func (*CreateSerialDatumsTask) String 

func (x *CreateSerialDatumsTask) String() string

type CreateSerialDatumsTaskResult 

type CreateSerialDatumsTaskResult struct {
	FileSetId             string       `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	OutputDeleteFileSetId string       `` /* 130-byte string literal not displayed */
	MetaDeleteFileSetId   string       `protobuf:"bytes,3,opt,name=meta_delete_file_set_id,json=metaDeleteFileSetId,proto3" json:"meta_delete_file_set_id,omitempty"`
	Stats                 *datum.Stats `protobuf:"bytes,4,opt,name=stats,proto3" json:"stats,omitempty"`
	// contains filtered or unexported fields
}

func (*CreateSerialDatumsTaskResult) Descriptor deprecated 

func (*CreateSerialDatumsTaskResult) Descriptor() ([]byte, []int)

Deprecated: Use CreateSerialDatumsTaskResult.ProtoReflect.Descriptor instead.

func (*CreateSerialDatumsTaskResult) GetFileSetId 

func (x *CreateSerialDatumsTaskResult) GetFileSetId() string

func (*CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId 

func (x *CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId() string

func (*CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId 

func (x *CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId() string

func (*CreateSerialDatumsTaskResult) GetStats 

func (x *CreateSerialDatumsTaskResult) GetStats() *datum.Stats

func (*CreateSerialDatumsTaskResult) MarshalLogObject 

func (x *CreateSerialDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateSerialDatumsTaskResult) ProtoMessage 

func (*CreateSerialDatumsTaskResult) ProtoMessage()

func (*CreateSerialDatumsTaskResult) ProtoReflect added in v2.7.0 

func (x *CreateSerialDatumsTaskResult) ProtoReflect() protoreflect.Message

func (*CreateSerialDatumsTaskResult) Reset 

func (x *CreateSerialDatumsTaskResult) Reset()

func (*CreateSerialDatumsTaskResult) String 

func (x *CreateSerialDatumsTaskResult) String() string

type DatumSetTask 

type DatumSetTask struct {
	Job          *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	FileSetId    string         `protobuf:"bytes,2,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	PathRange    *pfs.PathRange `protobuf:"bytes,3,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	OutputCommit *pfs.Commit    `protobuf:"bytes,4,opt,name=output_commit,json=outputCommit,proto3" json:"output_commit,omitempty"`
	// contains filtered or unexported fields
}

func (*DatumSetTask) Descriptor deprecated 

func (*DatumSetTask) Descriptor() ([]byte, []int)

Deprecated: Use DatumSetTask.ProtoReflect.Descriptor instead.

func (*DatumSetTask) GetFileSetId 

func (x *DatumSetTask) GetFileSetId() string

func (*DatumSetTask) GetJob 

func (x *DatumSetTask) GetJob() *pps.Job

func (*DatumSetTask) GetOutputCommit 

func (x *DatumSetTask) GetOutputCommit() *pfs.Commit

func (*DatumSetTask) GetPathRange 

func (x *DatumSetTask) GetPathRange() *pfs.PathRange

func (*DatumSetTask) MarshalLogObject 

func (x *DatumSetTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*DatumSetTask) ProtoMessage 

func (*DatumSetTask) ProtoMessage()

func (*DatumSetTask) ProtoReflect added in v2.7.0 

func (x *DatumSetTask) ProtoReflect() protoreflect.Message

func (*DatumSetTask) Reset 

func (x *DatumSetTask) Reset()

func (*DatumSetTask) String 

func (x *DatumSetTask) String() string

type DatumSetTaskResult 

type DatumSetTaskResult struct {
	OutputFileSetId string       `protobuf:"bytes,1,opt,name=output_file_set_id,json=outputFileSetId,proto3" json:"output_file_set_id,omitempty"`
	MetaFileSetId   string       `protobuf:"bytes,2,opt,name=meta_file_set_id,json=metaFileSetId,proto3" json:"meta_file_set_id,omitempty"`
	Stats           *datum.Stats `protobuf:"bytes,3,opt,name=stats,proto3" json:"stats,omitempty"`
	// contains filtered or unexported fields
}

func (*DatumSetTaskResult) Descriptor deprecated 

func (*DatumSetTaskResult) Descriptor() ([]byte, []int)

Deprecated: Use DatumSetTaskResult.ProtoReflect.Descriptor instead.

func (*DatumSetTaskResult) GetMetaFileSetId 

func (x *DatumSetTaskResult) GetMetaFileSetId() string

func (*DatumSetTaskResult) GetOutputFileSetId 

func (x *DatumSetTaskResult) GetOutputFileSetId() string

func (*DatumSetTaskResult) GetStats 

func (x *DatumSetTaskResult) GetStats() *datum.Stats

func (*DatumSetTaskResult) MarshalLogObject 

func (x *DatumSetTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*DatumSetTaskResult) ProtoMessage 

func (*DatumSetTaskResult) ProtoMessage()

func (*DatumSetTaskResult) ProtoReflect added in v2.7.0 

func (x *DatumSetTaskResult) ProtoReflect() protoreflect.Message

func (*DatumSetTaskResult) Reset 

func (x *DatumSetTaskResult) Reset()

func (*DatumSetTaskResult) String 

func (x *DatumSetTaskResult) String() string

type Status 

type Status struct {
	// contains filtered or unexported fields
}

Status is a struct representing the current status of the transform worker, its public interface only allows getting the status of a task and canceling the currently-processing datum.

func (*Status) Cancel 

func (s *Status) Cancel(jobID string, datumFilter []string) bool

Cancel cancels the currently running datum if it matches the specified job and inputs

func (*Status) GetStatus 

func (s *Status) GetStatus() (*pps.WorkerStatus, error)

GetStatus returns the current WorkerStatus for the transform worker

func (*Status) NextDatum 

func (s *Status) NextDatum(ctx context.Context, err error) ([]string, error)

Source Files

View all Source files

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL
go.dev uses cookies from Google to deliver and enhance the quality of its services and to analyze traffic. Learn more.