transform

package
v2.6.0-nightly.20230503 Latest Latest
Warning

This package is not in the latest version of its module.

 Go to latest Published: May 2, 2023 License: Apache-2.0 Imports: 37 Imported by: 0

Documentation

Index

Constants

This section is empty.

Variables

View Source 
var (
	ErrInvalidLengthTransform        = fmt.Errorf("proto: negative length found during unmarshaling")
	ErrIntOverflowTransform          = fmt.Errorf("proto: integer overflow")
	ErrUnexpectedEndOfGroupTransform = fmt.Errorf("proto: unexpected end of group")
)

Functions

func Run 

func Run(driver driver.Driver, logger logs.TaggedLogger) error

Run will run a transform pipeline until the driver is canceled.

func Worker 

func Worker(ctx context.Context, driver driver.Driver, logger logs.TaggedLogger, status *Status) error

Types

type CreateDatumSetsTask 

type CreateDatumSetsTask struct {
	FileSetId            string         `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	PathRange            *pfs.PathRange `protobuf:"bytes,2,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	SetSpec              *datum.SetSpec `protobuf:"bytes,3,opt,name=set_spec,json=setSpec,proto3" json:"set_spec,omitempty"`
	XXX_NoUnkeyedLiteral struct{}       `json:"-"`
	XXX_unrecognized     []byte         `json:"-"`
	XXX_sizecache        int32          `json:"-"`
}

func (*CreateDatumSetsTask) Descriptor 

func (*CreateDatumSetsTask) Descriptor() ([]byte, []int)

func (*CreateDatumSetsTask) GetFileSetId 

func (m *CreateDatumSetsTask) GetFileSetId() string

func (*CreateDatumSetsTask) GetPathRange 

func (m *CreateDatumSetsTask) GetPathRange() *pfs.PathRange

func (*CreateDatumSetsTask) GetSetSpec 

func (m *CreateDatumSetsTask) GetSetSpec() *datum.SetSpec

func (*CreateDatumSetsTask) Marshal 

func (m *CreateDatumSetsTask) Marshal() (dAtA []byte, err error)

func (*CreateDatumSetsTask) MarshalLogObject 

func (x *CreateDatumSetsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateDatumSetsTask) MarshalTo 

func (m *CreateDatumSetsTask) MarshalTo(dAtA []byte) (int, error)

func (*CreateDatumSetsTask) MarshalToSizedBuffer 

func (m *CreateDatumSetsTask) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateDatumSetsTask) ProtoMessage 

func (*CreateDatumSetsTask) ProtoMessage()

func (*CreateDatumSetsTask) Reset 

func (m *CreateDatumSetsTask) Reset()

func (*CreateDatumSetsTask) Size 

func (m *CreateDatumSetsTask) Size() (n int)

func (*CreateDatumSetsTask) String 

func (m *CreateDatumSetsTask) String() string

func (*CreateDatumSetsTask) Unmarshal 

func (m *CreateDatumSetsTask) Unmarshal(dAtA []byte) error

func (*CreateDatumSetsTask) XXX_DiscardUnknown 

func (m *CreateDatumSetsTask) XXX_DiscardUnknown()

func (*CreateDatumSetsTask) XXX_Marshal 

func (m *CreateDatumSetsTask) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateDatumSetsTask) XXX_Merge 

func (m *CreateDatumSetsTask) XXX_Merge(src proto.Message)

func (*CreateDatumSetsTask) XXX_Size 

func (m *CreateDatumSetsTask) XXX_Size() int

func (*CreateDatumSetsTask) XXX_Unmarshal 

func (m *CreateDatumSetsTask) XXX_Unmarshal(b []byte) error

type CreateDatumSetsTaskResult 

type CreateDatumSetsTaskResult struct {
	DatumSets            []*pfs.PathRange `protobuf:"bytes,1,rep,name=datum_sets,json=datumSets,proto3" json:"datum_sets,omitempty"`
	XXX_NoUnkeyedLiteral struct{}         `json:"-"`
	XXX_unrecognized     []byte           `json:"-"`
	XXX_sizecache        int32            `json:"-"`
}

func (*CreateDatumSetsTaskResult) Descriptor 

func (*CreateDatumSetsTaskResult) Descriptor() ([]byte, []int)

func (*CreateDatumSetsTaskResult) GetDatumSets 

func (m *CreateDatumSetsTaskResult) GetDatumSets() []*pfs.PathRange

func (*CreateDatumSetsTaskResult) Marshal 

func (m *CreateDatumSetsTaskResult) Marshal() (dAtA []byte, err error)

func (*CreateDatumSetsTaskResult) MarshalLogObject 

func (x *CreateDatumSetsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateDatumSetsTaskResult) MarshalTo 

func (m *CreateDatumSetsTaskResult) MarshalTo(dAtA []byte) (int, error)

func (*CreateDatumSetsTaskResult) MarshalToSizedBuffer 

func (m *CreateDatumSetsTaskResult) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateDatumSetsTaskResult) ProtoMessage 

func (*CreateDatumSetsTaskResult) ProtoMessage()

func (*CreateDatumSetsTaskResult) Reset 

func (m *CreateDatumSetsTaskResult) Reset()

func (*CreateDatumSetsTaskResult) Size 

func (m *CreateDatumSetsTaskResult) Size() (n int)

func (*CreateDatumSetsTaskResult) String 

func (m *CreateDatumSetsTaskResult) String() string

func (*CreateDatumSetsTaskResult) Unmarshal 

func (m *CreateDatumSetsTaskResult) Unmarshal(dAtA []byte) error

func (*CreateDatumSetsTaskResult) XXX_DiscardUnknown 

func (m *CreateDatumSetsTaskResult) XXX_DiscardUnknown()

func (*CreateDatumSetsTaskResult) XXX_Marshal 

func (m *CreateDatumSetsTaskResult) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateDatumSetsTaskResult) XXX_Merge 

func (m *CreateDatumSetsTaskResult) XXX_Merge(src proto.Message)

func (*CreateDatumSetsTaskResult) XXX_Size 

func (m *CreateDatumSetsTaskResult) XXX_Size() int

func (*CreateDatumSetsTaskResult) XXX_Unmarshal 

func (m *CreateDatumSetsTaskResult) XXX_Unmarshal(b []byte) error

type CreateParallelDatumsTask 

type CreateParallelDatumsTask struct {
	Job                  *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	Salt                 string         `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"`
	FileSetId            string         `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	BaseFileSetId        string         `protobuf:"bytes,4,opt,name=base_file_set_id,json=baseFileSetId,proto3" json:"base_file_set_id,omitempty"`
	PathRange            *pfs.PathRange `protobuf:"bytes,5,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	XXX_NoUnkeyedLiteral struct{}       `json:"-"`
	XXX_unrecognized     []byte         `json:"-"`
	XXX_sizecache        int32          `json:"-"`
}

func (*CreateParallelDatumsTask) Descriptor 

func (*CreateParallelDatumsTask) Descriptor() ([]byte, []int)

func (*CreateParallelDatumsTask) GetBaseFileSetId 

func (m *CreateParallelDatumsTask) GetBaseFileSetId() string

func (*CreateParallelDatumsTask) GetFileSetId 

func (m *CreateParallelDatumsTask) GetFileSetId() string

func (*CreateParallelDatumsTask) GetJob 

func (m *CreateParallelDatumsTask) GetJob() *pps.Job

func (*CreateParallelDatumsTask) GetPathRange 

func (m *CreateParallelDatumsTask) GetPathRange() *pfs.PathRange

func (*CreateParallelDatumsTask) GetSalt 

func (m *CreateParallelDatumsTask) GetSalt() string

func (*CreateParallelDatumsTask) Marshal 

func (m *CreateParallelDatumsTask) Marshal() (dAtA []byte, err error)

func (*CreateParallelDatumsTask) MarshalLogObject 

func (x *CreateParallelDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateParallelDatumsTask) MarshalTo 

func (m *CreateParallelDatumsTask) MarshalTo(dAtA []byte) (int, error)

func (*CreateParallelDatumsTask) MarshalToSizedBuffer 

func (m *CreateParallelDatumsTask) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateParallelDatumsTask) ProtoMessage 

func (*CreateParallelDatumsTask) ProtoMessage()

func (*CreateParallelDatumsTask) Reset 

func (m *CreateParallelDatumsTask) Reset()

func (*CreateParallelDatumsTask) Size 

func (m *CreateParallelDatumsTask) Size() (n int)

func (*CreateParallelDatumsTask) String 

func (m *CreateParallelDatumsTask) String() string

func (*CreateParallelDatumsTask) Unmarshal 

func (m *CreateParallelDatumsTask) Unmarshal(dAtA []byte) error

func (*CreateParallelDatumsTask) XXX_DiscardUnknown 

func (m *CreateParallelDatumsTask) XXX_DiscardUnknown()

func (*CreateParallelDatumsTask) XXX_Marshal 

func (m *CreateParallelDatumsTask) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateParallelDatumsTask) XXX_Merge 

func (m *CreateParallelDatumsTask) XXX_Merge(src proto.Message)

func (*CreateParallelDatumsTask) XXX_Size 

func (m *CreateParallelDatumsTask) XXX_Size() int

func (*CreateParallelDatumsTask) XXX_Unmarshal 

func (m *CreateParallelDatumsTask) XXX_Unmarshal(b []byte) error

type CreateParallelDatumsTaskResult 

type CreateParallelDatumsTaskResult struct {
	FileSetId            string       `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	Stats                *datum.Stats `protobuf:"bytes,2,opt,name=stats,proto3" json:"stats,omitempty"`
	XXX_NoUnkeyedLiteral struct{}     `json:"-"`
	XXX_unrecognized     []byte       `json:"-"`
	XXX_sizecache        int32        `json:"-"`
}

func (*CreateParallelDatumsTaskResult) Descriptor 

func (*CreateParallelDatumsTaskResult) Descriptor() ([]byte, []int)

func (*CreateParallelDatumsTaskResult) GetFileSetId 

func (m *CreateParallelDatumsTaskResult) GetFileSetId() string

func (*CreateParallelDatumsTaskResult) GetStats 

func (m *CreateParallelDatumsTaskResult) GetStats() *datum.Stats

func (*CreateParallelDatumsTaskResult) Marshal 

func (m *CreateParallelDatumsTaskResult) Marshal() (dAtA []byte, err error)

func (*CreateParallelDatumsTaskResult) MarshalLogObject 

func (x *CreateParallelDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateParallelDatumsTaskResult) MarshalTo 

func (m *CreateParallelDatumsTaskResult) MarshalTo(dAtA []byte) (int, error)

func (*CreateParallelDatumsTaskResult) MarshalToSizedBuffer 

func (m *CreateParallelDatumsTaskResult) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateParallelDatumsTaskResult) ProtoMessage 

func (*CreateParallelDatumsTaskResult) ProtoMessage()

func (*CreateParallelDatumsTaskResult) Reset 

func (m *CreateParallelDatumsTaskResult) Reset()

func (*CreateParallelDatumsTaskResult) Size 

func (m *CreateParallelDatumsTaskResult) Size() (n int)

func (*CreateParallelDatumsTaskResult) String 

func (m *CreateParallelDatumsTaskResult) String() string

func (*CreateParallelDatumsTaskResult) Unmarshal 

func (m *CreateParallelDatumsTaskResult) Unmarshal(dAtA []byte) error

func (*CreateParallelDatumsTaskResult) XXX_DiscardUnknown 

func (m *CreateParallelDatumsTaskResult) XXX_DiscardUnknown()

func (*CreateParallelDatumsTaskResult) XXX_Marshal 

func (m *CreateParallelDatumsTaskResult) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateParallelDatumsTaskResult) XXX_Merge 

func (m *CreateParallelDatumsTaskResult) XXX_Merge(src proto.Message)

func (*CreateParallelDatumsTaskResult) XXX_Size 

func (m *CreateParallelDatumsTaskResult) XXX_Size() int

func (*CreateParallelDatumsTaskResult) XXX_Unmarshal 

func (m *CreateParallelDatumsTaskResult) XXX_Unmarshal(b []byte) error

type CreateSerialDatumsTask 

type CreateSerialDatumsTask struct {
	Job                  *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	Salt                 string         `protobuf:"bytes,2,opt,name=salt,proto3" json:"salt,omitempty"`
	FileSetId            string         `protobuf:"bytes,3,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	BaseMetaCommit       *pfs.Commit    `protobuf:"bytes,4,opt,name=base_meta_commit,json=baseMetaCommit,proto3" json:"base_meta_commit,omitempty"`
	NoSkip               bool           `protobuf:"varint,5,opt,name=no_skip,json=noSkip,proto3" json:"no_skip,omitempty"`
	PathRange            *pfs.PathRange `protobuf:"bytes,6,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	XXX_NoUnkeyedLiteral struct{}       `json:"-"`
	XXX_unrecognized     []byte         `json:"-"`
	XXX_sizecache        int32          `json:"-"`
}

func (*CreateSerialDatumsTask) Descriptor 

func (*CreateSerialDatumsTask) Descriptor() ([]byte, []int)

func (*CreateSerialDatumsTask) GetBaseMetaCommit 

func (m *CreateSerialDatumsTask) GetBaseMetaCommit() *pfs.Commit

func (*CreateSerialDatumsTask) GetFileSetId 

func (m *CreateSerialDatumsTask) GetFileSetId() string

func (*CreateSerialDatumsTask) GetJob 

func (m *CreateSerialDatumsTask) GetJob() *pps.Job

func (*CreateSerialDatumsTask) GetNoSkip 

func (m *CreateSerialDatumsTask) GetNoSkip() bool

func (*CreateSerialDatumsTask) GetPathRange 

func (m *CreateSerialDatumsTask) GetPathRange() *pfs.PathRange

func (*CreateSerialDatumsTask) GetSalt 

func (m *CreateSerialDatumsTask) GetSalt() string

func (*CreateSerialDatumsTask) Marshal 

func (m *CreateSerialDatumsTask) Marshal() (dAtA []byte, err error)

func (*CreateSerialDatumsTask) MarshalLogObject 

func (x *CreateSerialDatumsTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateSerialDatumsTask) MarshalTo 

func (m *CreateSerialDatumsTask) MarshalTo(dAtA []byte) (int, error)

func (*CreateSerialDatumsTask) MarshalToSizedBuffer 

func (m *CreateSerialDatumsTask) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateSerialDatumsTask) ProtoMessage 

func (*CreateSerialDatumsTask) ProtoMessage()

func (*CreateSerialDatumsTask) Reset 

func (m *CreateSerialDatumsTask) Reset()

func (*CreateSerialDatumsTask) Size 

func (m *CreateSerialDatumsTask) Size() (n int)

func (*CreateSerialDatumsTask) String 

func (m *CreateSerialDatumsTask) String() string

func (*CreateSerialDatumsTask) Unmarshal 

func (m *CreateSerialDatumsTask) Unmarshal(dAtA []byte) error

func (*CreateSerialDatumsTask) XXX_DiscardUnknown 

func (m *CreateSerialDatumsTask) XXX_DiscardUnknown()

func (*CreateSerialDatumsTask) XXX_Marshal 

func (m *CreateSerialDatumsTask) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateSerialDatumsTask) XXX_Merge 

func (m *CreateSerialDatumsTask) XXX_Merge(src proto.Message)

func (*CreateSerialDatumsTask) XXX_Size 

func (m *CreateSerialDatumsTask) XXX_Size() int

func (*CreateSerialDatumsTask) XXX_Unmarshal 

func (m *CreateSerialDatumsTask) XXX_Unmarshal(b []byte) error

type CreateSerialDatumsTaskResult 

type CreateSerialDatumsTaskResult struct {
	FileSetId             string       `protobuf:"bytes,1,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	OutputDeleteFileSetId string       `` /* 130-byte string literal not displayed */
	MetaDeleteFileSetId   string       `protobuf:"bytes,3,opt,name=meta_delete_file_set_id,json=metaDeleteFileSetId,proto3" json:"meta_delete_file_set_id,omitempty"`
	Stats                 *datum.Stats `protobuf:"bytes,4,opt,name=stats,proto3" json:"stats,omitempty"`
	XXX_NoUnkeyedLiteral  struct{}     `json:"-"`
	XXX_unrecognized      []byte       `json:"-"`
	XXX_sizecache         int32        `json:"-"`
}

func (*CreateSerialDatumsTaskResult) Descriptor 

func (*CreateSerialDatumsTaskResult) Descriptor() ([]byte, []int)

func (*CreateSerialDatumsTaskResult) GetFileSetId 

func (m *CreateSerialDatumsTaskResult) GetFileSetId() string

func (*CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId 

func (m *CreateSerialDatumsTaskResult) GetMetaDeleteFileSetId() string

func (*CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId 

func (m *CreateSerialDatumsTaskResult) GetOutputDeleteFileSetId() string

func (*CreateSerialDatumsTaskResult) GetStats 

func (m *CreateSerialDatumsTaskResult) GetStats() *datum.Stats

func (*CreateSerialDatumsTaskResult) Marshal 

func (m *CreateSerialDatumsTaskResult) Marshal() (dAtA []byte, err error)

func (*CreateSerialDatumsTaskResult) MarshalLogObject 

func (x *CreateSerialDatumsTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*CreateSerialDatumsTaskResult) MarshalTo 

func (m *CreateSerialDatumsTaskResult) MarshalTo(dAtA []byte) (int, error)

func (*CreateSerialDatumsTaskResult) MarshalToSizedBuffer 

func (m *CreateSerialDatumsTaskResult) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*CreateSerialDatumsTaskResult) ProtoMessage 

func (*CreateSerialDatumsTaskResult) ProtoMessage()

func (*CreateSerialDatumsTaskResult) Reset 

func (m *CreateSerialDatumsTaskResult) Reset()

func (*CreateSerialDatumsTaskResult) Size 

func (m *CreateSerialDatumsTaskResult) Size() (n int)

func (*CreateSerialDatumsTaskResult) String 

func (m *CreateSerialDatumsTaskResult) String() string

func (*CreateSerialDatumsTaskResult) Unmarshal 

func (m *CreateSerialDatumsTaskResult) Unmarshal(dAtA []byte) error

func (*CreateSerialDatumsTaskResult) XXX_DiscardUnknown 

func (m *CreateSerialDatumsTaskResult) XXX_DiscardUnknown()

func (*CreateSerialDatumsTaskResult) XXX_Marshal 

func (m *CreateSerialDatumsTaskResult) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*CreateSerialDatumsTaskResult) XXX_Merge 

func (m *CreateSerialDatumsTaskResult) XXX_Merge(src proto.Message)

func (*CreateSerialDatumsTaskResult) XXX_Size 

func (m *CreateSerialDatumsTaskResult) XXX_Size() int

func (*CreateSerialDatumsTaskResult) XXX_Unmarshal 

func (m *CreateSerialDatumsTaskResult) XXX_Unmarshal(b []byte) error

type DatumSetTask 

type DatumSetTask struct {
	Job                  *pps.Job       `protobuf:"bytes,1,opt,name=job,proto3" json:"job,omitempty"`
	FileSetId            string         `protobuf:"bytes,2,opt,name=file_set_id,json=fileSetId,proto3" json:"file_set_id,omitempty"`
	PathRange            *pfs.PathRange `protobuf:"bytes,3,opt,name=path_range,json=pathRange,proto3" json:"path_range,omitempty"`
	OutputCommit         *pfs.Commit    `protobuf:"bytes,4,opt,name=output_commit,json=outputCommit,proto3" json:"output_commit,omitempty"`
	XXX_NoUnkeyedLiteral struct{}       `json:"-"`
	XXX_unrecognized     []byte         `json:"-"`
	XXX_sizecache        int32          `json:"-"`
}

func (*DatumSetTask) Descriptor 

func (*DatumSetTask) Descriptor() ([]byte, []int)

func (*DatumSetTask) GetFileSetId 

func (m *DatumSetTask) GetFileSetId() string

func (*DatumSetTask) GetJob 

func (m *DatumSetTask) GetJob() *pps.Job

func (*DatumSetTask) GetOutputCommit 

func (m *DatumSetTask) GetOutputCommit() *pfs.Commit

func (*DatumSetTask) GetPathRange 

func (m *DatumSetTask) GetPathRange() *pfs.PathRange

func (*DatumSetTask) Marshal 

func (m *DatumSetTask) Marshal() (dAtA []byte, err error)

func (*DatumSetTask) MarshalLogObject 

func (x *DatumSetTask) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*DatumSetTask) MarshalTo 

func (m *DatumSetTask) MarshalTo(dAtA []byte) (int, error)

func (*DatumSetTask) MarshalToSizedBuffer 

func (m *DatumSetTask) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*DatumSetTask) ProtoMessage 

func (*DatumSetTask) ProtoMessage()

func (*DatumSetTask) Reset 

func (m *DatumSetTask) Reset()

func (*DatumSetTask) Size 

func (m *DatumSetTask) Size() (n int)

func (*DatumSetTask) String 

func (m *DatumSetTask) String() string

func (*DatumSetTask) Unmarshal 

func (m *DatumSetTask) Unmarshal(dAtA []byte) error

func (*DatumSetTask) XXX_DiscardUnknown 

func (m *DatumSetTask) XXX_DiscardUnknown()

func (*DatumSetTask) XXX_Marshal 

func (m *DatumSetTask) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*DatumSetTask) XXX_Merge 

func (m *DatumSetTask) XXX_Merge(src proto.Message)

func (*DatumSetTask) XXX_Size 

func (m *DatumSetTask) XXX_Size() int

func (*DatumSetTask) XXX_Unmarshal 

func (m *DatumSetTask) XXX_Unmarshal(b []byte) error

type DatumSetTaskResult 

type DatumSetTaskResult struct {
	OutputFileSetId      string       `protobuf:"bytes,1,opt,name=output_file_set_id,json=outputFileSetId,proto3" json:"output_file_set_id,omitempty"`
	MetaFileSetId        string       `protobuf:"bytes,2,opt,name=meta_file_set_id,json=metaFileSetId,proto3" json:"meta_file_set_id,omitempty"`
	Stats                *datum.Stats `protobuf:"bytes,3,opt,name=stats,proto3" json:"stats,omitempty"`
	XXX_NoUnkeyedLiteral struct{}     `json:"-"`
	XXX_unrecognized     []byte       `json:"-"`
	XXX_sizecache        int32        `json:"-"`
}

func (*DatumSetTaskResult) Descriptor 

func (*DatumSetTaskResult) Descriptor() ([]byte, []int)

func (*DatumSetTaskResult) GetMetaFileSetId 

func (m *DatumSetTaskResult) GetMetaFileSetId() string

func (*DatumSetTaskResult) GetOutputFileSetId 

func (m *DatumSetTaskResult) GetOutputFileSetId() string

func (*DatumSetTaskResult) GetStats 

func (m *DatumSetTaskResult) GetStats() *datum.Stats

func (*DatumSetTaskResult) Marshal 

func (m *DatumSetTaskResult) Marshal() (dAtA []byte, err error)

func (*DatumSetTaskResult) MarshalLogObject 

func (x *DatumSetTaskResult) MarshalLogObject(enc zapcore.ObjectEncoder) error

func (*DatumSetTaskResult) MarshalTo 

func (m *DatumSetTaskResult) MarshalTo(dAtA []byte) (int, error)

func (*DatumSetTaskResult) MarshalToSizedBuffer 

func (m *DatumSetTaskResult) MarshalToSizedBuffer(dAtA []byte) (int, error)

func (*DatumSetTaskResult) ProtoMessage 

func (*DatumSetTaskResult) ProtoMessage()

func (*DatumSetTaskResult) Reset 

func (m *DatumSetTaskResult) Reset()

func (*DatumSetTaskResult) Size 

func (m *DatumSetTaskResult) Size() (n int)

func (*DatumSetTaskResult) String 

func (m *DatumSetTaskResult) String() string

func (*DatumSetTaskResult) Unmarshal 

func (m *DatumSetTaskResult) Unmarshal(dAtA []byte) error

func (*DatumSetTaskResult) XXX_DiscardUnknown 

func (m *DatumSetTaskResult) XXX_DiscardUnknown()

func (*DatumSetTaskResult) XXX_Marshal 

func (m *DatumSetTaskResult) XXX_Marshal(b []byte, deterministic bool) ([]byte, error)

func (*DatumSetTaskResult) XXX_Merge 

func (m *DatumSetTaskResult) XXX_Merge(src proto.Message)

func (*DatumSetTaskResult) XXX_Size 

func (m *DatumSetTaskResult) XXX_Size() int

func (*DatumSetTaskResult) XXX_Unmarshal 

func (m *DatumSetTaskResult) XXX_Unmarshal(b []byte) error

type Status 

type Status struct {
	// contains filtered or unexported fields
}

Status is a struct representing the current status of the transform worker, its public interface only allows getting the status of a task and canceling the currently-processing datum.

func (*Status) Cancel 

func (s *Status) Cancel(jobID string, datumFilter []string) bool

Cancel cancels the currently running datum if it matches the specified job and inputs

func (*Status) GetStatus 

func (s *Status) GetStatus() (*pps.WorkerStatus, error)

GetStatus returns the current WorkerStatus for the transform worker

func (*Status) NextDatum 

func (s *Status) NextDatum(ctx context.Context, err error) ([]string, error)

Source Files

View all Source files

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL
go.dev uses cookies from Google to deliver and enhance the quality of its services and to analyze traffic. Learn more.