Documentation ¶
Index ¶
- Variables
- func Run(driver driver.Driver, logger logs.TaggedLogger) error
- func Worker(ctx context.Context, driver driver.Driver, logger logs.TaggedLogger, ...) error
- type CreateDatumSetsTask
- func (*CreateDatumSetsTask) Descriptor() ([]byte, []int)deprecated
- func (x *CreateDatumSetsTask) GetFileSetId() string
- func (x *CreateDatumSetsTask) GetPathRange() *pfs.PathRange
- func (x *CreateDatumSetsTask) GetSetSpec() *datum.SetSpec
- func (x *CreateDatumSetsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateDatumSetsTask) ProtoMessage()
- func (x *CreateDatumSetsTask) ProtoReflect() protoreflect.Message
- func (x *CreateDatumSetsTask) Reset()
- func (x *CreateDatumSetsTask) String() string
- type CreateDatumSetsTaskResult
- func (*CreateDatumSetsTaskResult) Descriptor() ([]byte, []int)deprecated
- func (x *CreateDatumSetsTaskResult) GetDatumSets() []*pfs.PathRange
- func (x *CreateDatumSetsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateDatumSetsTaskResult) ProtoMessage()
- func (x *CreateDatumSetsTaskResult) ProtoReflect() protoreflect.Message
- func (x *CreateDatumSetsTaskResult) Reset()
- func (x *CreateDatumSetsTaskResult) String() string
- type CreateParallelDatumsTask
- func (*CreateParallelDatumsTask) Descriptor() ([]byte, []int)deprecated
- func (x *CreateParallelDatumsTask) GetBaseFileSetId() string
- func (x *CreateParallelDatumsTask) GetFileSetId() string
- func (x *CreateParallelDatumsTask) GetJob() *pps.Job
- func (x *CreateParallelDatumsTask) GetPathRange() *pfs.PathRange
- func (x *CreateParallelDatumsTask) GetSalt() string
- func (x *CreateParallelDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateParallelDatumsTask) ProtoMessage()
- func (x *CreateParallelDatumsTask) ProtoReflect() protoreflect.Message
- func (x *CreateParallelDatumsTask) Reset()
- func (x *CreateParallelDatumsTask) String() string
- type CreateParallelDatumsTaskResult
- func (*CreateParallelDatumsTaskResult) Descriptor() ([]byte, []int)deprecated
- func (x *CreateParallelDatumsTaskResult) GetFileSetId() string
- func (x *CreateParallelDatumsTaskResult) GetStats() *datum.Stats
- func (x *CreateParallelDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateParallelDatumsTaskResult) ProtoMessage()
- func (x *CreateParallelDatumsTaskResult) ProtoReflect() protoreflect.Message
- func (x *CreateParallelDatumsTaskResult) Reset()
- func (x *CreateParallelDatumsTaskResult) String() string
- type CreateSerialDatumsTask
- func (*CreateSerialDatumsTask) Descriptor() ([]byte, []int)deprecated
- func (x *CreateSerialDatumsTask) GetBaseMetaCommit() *pfs.Commit
- func (x *CreateSerialDatumsTask) GetFileSetId() string
- func (x *CreateSerialDatumsTask) GetJob() *pps.Job
- func (x *CreateSerialDatumsTask) GetNoSkip() bool
- func (x *CreateSerialDatumsTask) GetPathRange() *pfs.PathRange
- func (x *CreateSerialDatumsTask) GetSalt() string
- func (x *CreateSerialDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateSerialDatumsTask) ProtoMessage()
- func (x *CreateSerialDatumsTask) ProtoReflect() protoreflect.Message
- func (x *CreateSerialDatumsTask) Reset()
- func (x *CreateSerialDatumsTask) String() string
- type CreateSerialDatumsTaskResult
- func (*CreateSerialDatumsTaskResult) Descriptor() ([]byte, []int)deprecated
- func (x *CreateSerialDatumsTaskResult) GetFileSetId() string
- func (x *CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId() string
- func (x *CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId() string
- func (x *CreateSerialDatumsTaskResult) GetStats() *datum.Stats
- func (x *CreateSerialDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*CreateSerialDatumsTaskResult) ProtoMessage()
- func (x *CreateSerialDatumsTaskResult) ProtoReflect() protoreflect.Message
- func (x *CreateSerialDatumsTaskResult) Reset()
- func (x *CreateSerialDatumsTaskResult) String() string
- type DatumSetTask
- func (*DatumSetTask) Descriptor() ([]byte, []int)deprecated
- func (x *DatumSetTask) GetFileSetId() string
- func (x *DatumSetTask) GetJob() *pps.Job
- func (x *DatumSetTask) GetOutputCommit() *pfs.Commit
- func (x *DatumSetTask) GetPathRange() *pfs.PathRange
- func (x *DatumSetTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*DatumSetTask) ProtoMessage()
- func (x *DatumSetTask) ProtoReflect() protoreflect.Message
- func (x *DatumSetTask) Reset()
- func (x *DatumSetTask) String() string
- type DatumSetTaskResult
- func (*DatumSetTaskResult) Descriptor() ([]byte, []int)deprecated
- func (x *DatumSetTaskResult) GetMetaFileSetId() string
- func (x *DatumSetTaskResult) GetOutputFileSetId() string
- func (x *DatumSetTaskResult) GetStats() *datum.Stats
- func (x *DatumSetTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
- func (*DatumSetTaskResult) ProtoMessage()
- func (x *DatumSetTaskResult) ProtoReflect() protoreflect.Message
- func (x *DatumSetTaskResult) Reset()
- func (x *DatumSetTaskResult) String() string
- type Status
Constants ¶
This section is empty.
Variables ¶
var File_server_worker_pipeline_transform_transform_proto protoreflect.FileDescriptor
Functions ¶
Types ¶
type CreateDatumSetsTask ¶
type CreateDatumSetsTask struct { FileSetId string `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` PathRange *pfs.PathRange `protobuf:"bytes,2,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"` SetSpec *datum.SetSpec `protobuf:"bytes,3,opt,name=set_spec,json=setSpec,proto3" json:"set_spec,omitempty"` // contains filtered or unexported fields }
func (*CreateDatumSetsTask) Descriptor
deprecated
func (*CreateDatumSetsTask) Descriptor() ([]byte, []int)
Deprecated: Use CreateDatumSetsTask.ProtoReflect.Descriptor instead.
func (*CreateDatumSetsTask) GetFileSetId ¶
func (x *CreateDatumSetsTask) GetFileSetId() string
func (*CreateDatumSetsTask) GetPathRange ¶
func (x *CreateDatumSetsTask) GetPathRange() *pfs.PathRange
func (*CreateDatumSetsTask) GetSetSpec ¶
func (x *CreateDatumSetsTask) GetSetSpec() *datum.SetSpec
func (*CreateDatumSetsTask) MarshalLogObject ¶
func (x *CreateDatumSetsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateDatumSetsTask) ProtoMessage ¶
func (*CreateDatumSetsTask) ProtoMessage()
func (*CreateDatumSetsTask) ProtoReflect ¶ added in v2.7.0
func (x *CreateDatumSetsTask) ProtoReflect() protoreflect.Message
func (*CreateDatumSetsTask) Reset ¶
func (x *CreateDatumSetsTask) Reset()
func (*CreateDatumSetsTask) String ¶
func (x *CreateDatumSetsTask) String() string
type CreateDatumSetsTaskResult ¶
type CreateDatumSetsTaskResult struct { DatumSets []*pfs.PathRange `protobuf:"bytes,1,rep,name=datum_sets,json=datumSets,proto3" json:"datum_sets,omitempty"` // contains filtered or unexported fields }
func (*CreateDatumSetsTaskResult) Descriptor
deprecated
func (*CreateDatumSetsTaskResult) Descriptor() ([]byte, []int)
Deprecated: Use CreateDatumSetsTaskResult.ProtoReflect.Descriptor instead.
func (*CreateDatumSetsTaskResult) GetDatumSets ¶
func (x *CreateDatumSetsTaskResult) GetDatumSets() []*pfs.PathRange
func (*CreateDatumSetsTaskResult) MarshalLogObject ¶
func (x *CreateDatumSetsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateDatumSetsTaskResult) ProtoMessage ¶
func (*CreateDatumSetsTaskResult) ProtoMessage()
func (*CreateDatumSetsTaskResult) ProtoReflect ¶ added in v2.7.0
func (x *CreateDatumSetsTaskResult) ProtoReflect() protoreflect.Message
func (*CreateDatumSetsTaskResult) Reset ¶
func (x *CreateDatumSetsTaskResult) Reset()
func (*CreateDatumSetsTaskResult) String ¶
func (x *CreateDatumSetsTaskResult) String() string
type CreateParallelDatumsTask ¶
type CreateParallelDatumsTask struct { Job *pps.Job `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"` Salt string `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"` FileSetId string `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` BaseFileSetId string `protobuf:"bytes,4,opt,name=base_file_set_id,json=baseFileSetId,proto3" json:"base_file_set_id,omitempty"` PathRange *pfs.PathRange `protobuf:"bytes,5,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"` // contains filtered or unexported fields }
func (*CreateParallelDatumsTask) Descriptor
deprecated
func (*CreateParallelDatumsTask) Descriptor() ([]byte, []int)
Deprecated: Use CreateParallelDatumsTask.ProtoReflect.Descriptor instead.
func (*CreateParallelDatumsTask) GetBaseFileSetId ¶
func (x *CreateParallelDatumsTask) GetBaseFileSetId() string
func (*CreateParallelDatumsTask) GetFileSetId ¶
func (x *CreateParallelDatumsTask) GetFileSetId() string
func (*CreateParallelDatumsTask) GetJob ¶
func (x *CreateParallelDatumsTask) GetJob() *pps.Job
func (*CreateParallelDatumsTask) GetPathRange ¶
func (x *CreateParallelDatumsTask) GetPathRange() *pfs.PathRange
func (*CreateParallelDatumsTask) GetSalt ¶
func (x *CreateParallelDatumsTask) GetSalt() string
func (*CreateParallelDatumsTask) MarshalLogObject ¶
func (x *CreateParallelDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateParallelDatumsTask) ProtoMessage ¶
func (*CreateParallelDatumsTask) ProtoMessage()
func (*CreateParallelDatumsTask) ProtoReflect ¶ added in v2.7.0
func (x *CreateParallelDatumsTask) ProtoReflect() protoreflect.Message
func (*CreateParallelDatumsTask) Reset ¶
func (x *CreateParallelDatumsTask) Reset()
func (*CreateParallelDatumsTask) String ¶
func (x *CreateParallelDatumsTask) String() string
type CreateParallelDatumsTaskResult ¶
type CreateParallelDatumsTaskResult struct { FileSetId string `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` Stats *datum.Stats `protobuf:"bytes,2,opt,name=stats,proto3" json:"stats,omitempty"` // contains filtered or unexported fields }
func (*CreateParallelDatumsTaskResult) Descriptor
deprecated
func (*CreateParallelDatumsTaskResult) Descriptor() ([]byte, []int)
Deprecated: Use CreateParallelDatumsTaskResult.ProtoReflect.Descriptor instead.
func (*CreateParallelDatumsTaskResult) GetFileSetId ¶
func (x *CreateParallelDatumsTaskResult) GetFileSetId() string
func (*CreateParallelDatumsTaskResult) GetStats ¶
func (x *CreateParallelDatumsTaskResult) GetStats() *datum.Stats
func (*CreateParallelDatumsTaskResult) MarshalLogObject ¶
func (x *CreateParallelDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateParallelDatumsTaskResult) ProtoMessage ¶
func (*CreateParallelDatumsTaskResult) ProtoMessage()
func (*CreateParallelDatumsTaskResult) ProtoReflect ¶ added in v2.7.0
func (x *CreateParallelDatumsTaskResult) ProtoReflect() protoreflect.Message
func (*CreateParallelDatumsTaskResult) Reset ¶
func (x *CreateParallelDatumsTaskResult) Reset()
func (*CreateParallelDatumsTaskResult) String ¶
func (x *CreateParallelDatumsTaskResult) String() string
type CreateSerialDatumsTask ¶
type CreateSerialDatumsTask struct { Job *pps.Job `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"` Salt string `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"` FileSetId string `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` BaseMetaCommit *pfs.Commit `protobuf:"bytes,4,opt,name=base_meta_commit,json=baseMetaCommit,proto3" json:"base_meta_commit,omitempty"` NoSkip bool `protobuf:"varint,5,opt,name=no_skip,json=noSkip,proto3" json:"no_skip,omitempty"` PathRange *pfs.PathRange `protobuf:"bytes,6,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"` // contains filtered or unexported fields }
func (*CreateSerialDatumsTask) Descriptor
deprecated
func (*CreateSerialDatumsTask) Descriptor() ([]byte, []int)
Deprecated: Use CreateSerialDatumsTask.ProtoReflect.Descriptor instead.
func (*CreateSerialDatumsTask) GetBaseMetaCommit ¶
func (x *CreateSerialDatumsTask) GetBaseMetaCommit() *pfs.Commit
func (*CreateSerialDatumsTask) GetFileSetId ¶
func (x *CreateSerialDatumsTask) GetFileSetId() string
func (*CreateSerialDatumsTask) GetJob ¶
func (x *CreateSerialDatumsTask) GetJob() *pps.Job
func (*CreateSerialDatumsTask) GetNoSkip ¶
func (x *CreateSerialDatumsTask) GetNoSkip() bool
func (*CreateSerialDatumsTask) GetPathRange ¶
func (x *CreateSerialDatumsTask) GetPathRange() *pfs.PathRange
func (*CreateSerialDatumsTask) GetSalt ¶
func (x *CreateSerialDatumsTask) GetSalt() string
func (*CreateSerialDatumsTask) MarshalLogObject ¶
func (x *CreateSerialDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateSerialDatumsTask) ProtoMessage ¶
func (*CreateSerialDatumsTask) ProtoMessage()
func (*CreateSerialDatumsTask) ProtoReflect ¶ added in v2.7.0
func (x *CreateSerialDatumsTask) ProtoReflect() protoreflect.Message
func (*CreateSerialDatumsTask) Reset ¶
func (x *CreateSerialDatumsTask) Reset()
func (*CreateSerialDatumsTask) String ¶
func (x *CreateSerialDatumsTask) String() string
type CreateSerialDatumsTaskResult ¶
type CreateSerialDatumsTaskResult struct { FileSetId string `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` OutputDeleteFileSetId string `` /* 130-byte string literal not displayed */ MetaDeleteFileSetId string `protobuf:"bytes,3,opt,name=meta_delete_file_set_id,json=metaDeleteFileSetId,proto3" json:"meta_delete_file_set_id,omitempty"` Stats *datum.Stats `protobuf:"bytes,4,opt,name=stats,proto3" json:"stats,omitempty"` // contains filtered or unexported fields }
func (*CreateSerialDatumsTaskResult) Descriptor
deprecated
func (*CreateSerialDatumsTaskResult) Descriptor() ([]byte, []int)
Deprecated: Use CreateSerialDatumsTaskResult.ProtoReflect.Descriptor instead.
func (*CreateSerialDatumsTaskResult) GetFileSetId ¶
func (x *CreateSerialDatumsTaskResult) GetFileSetId() string
func (*CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId ¶
func (x *CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId() string
func (*CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId ¶
func (x *CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId() string
func (*CreateSerialDatumsTaskResult) GetStats ¶
func (x *CreateSerialDatumsTaskResult) GetStats() *datum.Stats
func (*CreateSerialDatumsTaskResult) MarshalLogObject ¶
func (x *CreateSerialDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*CreateSerialDatumsTaskResult) ProtoMessage ¶
func (*CreateSerialDatumsTaskResult) ProtoMessage()
func (*CreateSerialDatumsTaskResult) ProtoReflect ¶ added in v2.7.0
func (x *CreateSerialDatumsTaskResult) ProtoReflect() protoreflect.Message
func (*CreateSerialDatumsTaskResult) Reset ¶
func (x *CreateSerialDatumsTaskResult) Reset()
func (*CreateSerialDatumsTaskResult) String ¶
func (x *CreateSerialDatumsTaskResult) String() string
type DatumSetTask ¶
type DatumSetTask struct { Job *pps.Job `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"` FileSetId string `protobuf:"bytes,2,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"` PathRange *pfs.PathRange `protobuf:"bytes,3,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"` OutputCommit *pfs.Commit `protobuf:"bytes,4,opt,name=output_commit,json=outputCommit,proto3" json:"output_commit,omitempty"` // contains filtered or unexported fields }
func (*DatumSetTask) Descriptor
deprecated
func (*DatumSetTask) Descriptor() ([]byte, []int)
Deprecated: Use DatumSetTask.ProtoReflect.Descriptor instead.
func (*DatumSetTask) GetFileSetId ¶
func (x *DatumSetTask) GetFileSetId() string
func (*DatumSetTask) GetJob ¶
func (x *DatumSetTask) GetJob() *pps.Job
func (*DatumSetTask) GetOutputCommit ¶
func (x *DatumSetTask) GetOutputCommit() *pfs.Commit
func (*DatumSetTask) GetPathRange ¶
func (x *DatumSetTask) GetPathRange() *pfs.PathRange
func (*DatumSetTask) MarshalLogObject ¶
func (x *DatumSetTask) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*DatumSetTask) ProtoMessage ¶
func (*DatumSetTask) ProtoMessage()
func (*DatumSetTask) ProtoReflect ¶ added in v2.7.0
func (x *DatumSetTask) ProtoReflect() protoreflect.Message
func (*DatumSetTask) Reset ¶
func (x *DatumSetTask) Reset()
func (*DatumSetTask) String ¶
func (x *DatumSetTask) String() string
type DatumSetTaskResult ¶
type DatumSetTaskResult struct { OutputFileSetId string `protobuf:"bytes,1,opt,name=output_file_set_id,json=outputFileSetId,proto3" json:"output_file_set_id,omitempty"` MetaFileSetId string `protobuf:"bytes,2,opt,name=meta_file_set_id,json=metaFileSetId,proto3" json:"meta_file_set_id,omitempty"` Stats *datum.Stats `protobuf:"bytes,3,opt,name=stats,proto3" json:"stats,omitempty"` // contains filtered or unexported fields }
func (*DatumSetTaskResult) Descriptor
deprecated
func (*DatumSetTaskResult) Descriptor() ([]byte, []int)
Deprecated: Use DatumSetTaskResult.ProtoReflect.Descriptor instead.
func (*DatumSetTaskResult) GetMetaFileSetId ¶
func (x *DatumSetTaskResult) GetMetaFileSetId() string
func (*DatumSetTaskResult) GetOutputFileSetId ¶
func (x *DatumSetTaskResult) GetOutputFileSetId() string
func (*DatumSetTaskResult) GetStats ¶
func (x *DatumSetTaskResult) GetStats() *datum.Stats
func (*DatumSetTaskResult) MarshalLogObject ¶
func (x *DatumSetTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error
func (*DatumSetTaskResult) ProtoMessage ¶
func (*DatumSetTaskResult) ProtoMessage()
func (*DatumSetTaskResult) ProtoReflect ¶ added in v2.7.0
func (x *DatumSetTaskResult) ProtoReflect() protoreflect.Message
func (*DatumSetTaskResult) Reset ¶
func (x *DatumSetTaskResult) Reset()
func (*DatumSetTaskResult) String ¶
func (x *DatumSetTaskResult) String() string
type Status ¶
type Status struct {
// contains filtered or unexported fields
}
Status is a struct representing the current status of the transform worker, its public interface only allows getting the status of a task and canceling the currently-processing datum.
func (*Status) Cancel ¶
Cancel cancels the currently running datum if it matches the specified job and inputs