ATen ops list #258
Description
Canonical ops: https://docs-preview.pytorch.org/90644/ir.html
The list below is an incomplete list of canonical ops + other ops ordered by usage. canonical ops are marked with canonical. Be sure the check the page above for the correct signature for the canonical version of an op.
| OP | GPT2 | Type | PR |
|---|---|---|---|
| - aten::empty_strided | #432 | ||
| - aten::empty | #264 | ||
| - aten::to | what's this? | ||
| - aten::copy_ | #432 | ||
| - aten::as_strided | something like pool | ||
| - aten::fill_ | #432 | ||
| - aten::_to_copy | canonical |
what's this? | |
| - aten::empty_like | #264 | ||
| - aten::zero_ | not defined in core.py | ||
| - aten::detach | Yes |
#324 | |
| - aten::zeros | #251 | ||
| - aten::detach_ | not defined in core.py | ||
| - aten::view | Yes |
canonical |
#265 |
| - aten::uniform_ | not defined in core.py | ||
| - aten::add_ | not defined in core.py | ||
| - aten::_has_compatible_shallow_copy_type | not defined in core.py | ||
| - aten::_reshape_alias | not defined in core.py | ||
| - aten::reshape | #265 | ||
| - aten::add | Yes |
canonical |
#235 |
| - aten::sum | Yes |
canonical |
#348 |
| - aten::transpose | Yes |
done | |
| - aten::resize_ | not defined in core.py | ||
| - aten::expand | Yes |
canonical |
#265 |
| - aten::ones_like | #247 | ||
| - aten::t | #252 | ||
| - aten::mul | Yes |
canonical |
#235 |
| - aten::linear | done | ||
| - aten::mm | canonical |
#252 | |
| - aten::new_empty_strided | #447 | ||
| - aten::clone | Yes |
canonical |
#265 |
| - aten::_local_scalar_dense | not defined in core.py | ||
| - aten::item | is there any op return scalar? | ||
| - aten::slice | Yes |
canonical |
#265 |
| - aten::div | Yes |
canonical |
#265 |
| - aten::normal_ | #440 | ||
| - aten::_log_softmax | canonical |
no definition | |
| - aten::log_softmax | canonical |
#264 | |
| - aten::unsqueeze | Yes |
canonical |
#266 |
| - aten::select | done | ||
| - aten::cat | canonical |
#265 | |
| - aten::eq | canonical |
#265 | |
| - aten::_cat | no definition | ||
| - aten::narrow | #440 | ||
| - aten::_log_softmax_backward_data | backward | ||
| - aten::zeros_like | #251 | ||
| - aten::ones | done | ||
| - aten::cross_entropy_loss | #444 | ||
| - aten::masked_fill_ | done | ||
| - aten::stack | not defined | ||
| - aten::nll_loss_nd | #453 | ||
| - aten::_unsafe_view | no define | ||
| - aten::contiguous | #454 | ||
| - aten::sub | Yes |
canonical |
#235 |
| - aten::dropout | #454 | ||
| - aten::mean | canonical |
xiaowu | |
| - aten::nll_loss_forward | forward | ||
| - aten::nll_loss | #453 | ||
| - aten::matmul | #252 | ||
| - aten::resolve_conj | #458 | ||
| - aten::set_ | no define | ||
| - aten::permute | Yes |
canonical |
#293 |
| - aten::nll_loss_backward | backward | ||
| - aten::mul_ | done | ||
| - aten::bmm | Yes |
canonical |
#255 |
| - aten::resolve_neg | #458 | ||
| - aten::layer_norm | #459 | ||
| - aten::_softmax | canonical |
no define | |
| - aten::softmax | #313 | ||
| - aten::native_layer_norm | Yes |
canonical |
#330 |
| - aten::clamp_min | #247 | ||
| - aten::squeeze | #460 | ||
| - aten::new_empty | #447 | ||
| - aten::native_layer_norm_backward | backward | ||
| - aten::_softmax_backward_data | backward | ||
| - aten::arange | Yes |
#285 | |
| - aten::native_dropout | canonical |
#432 | |
| - aten::native_dropout_backward | backward | ||
| - aten::index_select | canonical |
#274 | |
| - aten::addmm | Yes |
canonical |
#255 |
| - aten::neg | canonical |
#266 | |
| - aten::flatten | no define | ||
| - aten::ne | canonical |
#266 | |
| - aten::abs | canonical |
#255 | |
| - aten::embedding | Yes |
#306 | |
| - aten::unbind | no define | ||
| - aten::any | #463 | ||
| - aten::expand_as | #463 | ||
| - aten::embedding_backward | backward | ||
| - aten::embedding_dense_backward | canonical |
backward | |
| - aten::is_nonzero | #530 | ||
| - aten::split | Yes |
#337 | |
| - aten::le | canonical |
#325 | |
| - aten::select_backward | backward | ||
| - aten::max | canonical |
#314 | |
| - aten::random_ | no def | ||
| - aten::rsub | Yes |
#279 | |
| - aten::iand | no def | ||
| - aten::chunk | #511 | ||
| - aten::slice_backward | backward | ||
| - aten::split_with_sizes | #513 | ||
| - aten::bitwise_and_ | #266 | ||
| - aten::isfinite | #513 | ||
| - aten::flatten_dense_tensors | |||
| - aten::all | #513 | ||
| - aten::_index_put | #522 | ||
| - aten::unflatten_dense_tensors | |||
| - aten::index_put_ | #522 | ||
| - aten::isclose | #526 | ||
| - aten::ior | |||
| - aten::bitwise_or_ | #266 | ||
| - aten::alias | done | ||
| - aten::allclose | #526 | ||
| - aten::gelu | canonical |
#323 | |
| - aten::gelu_backward | backward | ||
| - aten::isinf | canonical |
#266 | |
| - aten::gt | canonical |
#247 | |
| - aten::isnan | #530 | ||
| - aten::sub_ | done | ||
| - aten::round | #247 | ||
| - aten::unfold | #534 | ||
| - aten::repeat | canonical |
#247 | |
| - aten::lt | canonical |
#247 | |
| - aten::masked_fill | done | ||
| - aten::argmax | canonical |
#324 | |
| - aten::argmin | canonical |
#324 | |
| - aten::clamp | canonical |
#247 | |
| - aten::sigmoid | canonical |
#266 | |
| - aten::convolution | canonical |
#411 | |
| - aten::convolution_backward | canonical |
backward | |
| - aten::index | |||
| - aten::new_zeros | #535 | ||
| - aten::cudnn_convolution | |||
| - aten::sqrt | canonical |
#266 | |
| - aten::result_type | |||
| - aten::threshold_backward | backward | ||
| - aten::where | Yes |
#286 | |
| - aten::_s_where | |||
| - aten::ge | canonical |
#325 | |
| - aten::broadcast_tensors | |||
| - aten::mse_loss_backward | backward | ||
| - aten::mse_loss | #536 | ||
| - aten::binary_cross_entropy_with_logits_backward | backward | ||
| - aten::addcmul_ | |||
| - aten::binary_cross_entropy_with_logits | |||
| - aten::conv2d | |||
| - aten::addcdiv_ | |||
| - aten::cumsum | |||
| - aten::as_strided_ | |||
| - aten::constant_pad_nd | canonical |
#492 | |
| - aten::nonzero | canonical |
#266 | |
| - aten::tanh | Yes |
canonical |
#256 |
| - aten::scatter_ | |||
| - aten::randint | |||
| - aten::min | canonical |
#491 | |
| - aten::full | Yes |
canonical |
#286 |
| - aten::pow | Yes |
canonical |
#293 |
| - aten::bitwise_and | canonical |
#266 | |
| - aten::einsum | |||
| - aten::scalar_tensor | canonical |
#492 | |
| - aten::norm | |||
| - aten::relu | canonical |
#266 | |
| - aten::remainder | canonical |
#266 | |
| - aten::gather | |||
| - aten::tanh_backward | backward | ||
| - aten::repeat_interleave | |||
| - aten::topk | |||
| - aten::randperm | |||
| - aten::reciprocal | canonical |
#266 | |
| - aten::new_ones | #535 | ||
| - aten::type_as | |||
| - aten::sort | |||
| - aten::exponential_ | |||
| - aten::multinomial | #1032 | ||
| - aten::index_add_ | |||
| - aten::scatter | |||
| - aten::bincount | |||
| - aten::take | |||
| - aten::randn | |||
| - aten::cos | canonical |
#256 | |
| - aten::sin | canonical |
#256 | |
| - aten::exp | Yes |
canonical |
#256 |
| - aten::tril | |||
| - aten::_batch_norm_impl_index | |||
| - aten::unsqueeze_ | |||
| - aten::batch_norm | |||
| - aten::cudnn_batch_norm | |||
| - aten::relu_ | |||
| - aten::squeeze_ | |||
| - aten::max_pool2d_with_indices | canonical |
Jay | |
| - aten::cudnn_batch_norm_backward | backward | ||
| - aten::max_pool2d | |||
| - aten::dense_dim | |||
| - aten::to_dense | |||
| - aten::coalesced | |||
| - aten::sparse_dim | |||
| - aten::copy_sparse_to_sparse_ | |||
| - aten::_nnz | |||
| - aten::is_coalesced | |||
| - aten::_indices | |||
| - aten::sparse_coo_tensor | |||
| - aten::_values | |||
| - aten::_sparse_coo_tensor_with_dims_and_tensors | |||
| - aten::full_like | #286 | ||
| - aten::log | canonical |
#281 | |
| - aten::max_pool2d_with_indices_backward | canonical |
backward | |
| - aten::bitwise_not | canonical |
#266 | |
| - aten::adaptive_avg_pool2d | |||
| - aten::rand | |||
| - aten::bernoulli_ | |||
| - aten::divide_ | |||
| - aten::conv1d | #431 | ||
| - aten::conv3d | #431 | ||
| - aten::sigmoid_backward | backward | ||
| - aten::and | |||
| - aten::minimum | canonical |
#313 | |
| - aten::gather_backward | backward | ||
| - aten::linspace | |||
| - aten::scatter_add_ | |||
| - aten::masked_select | |||
| - aten::flip | |||
| - aten::_conv_depthwise2d | |||
| - aten::index_put | #522 | ||
| - aten::upsample_bilinear2d | canonical |
seems deprecated | |
| - aten::native_group_norm | canonical |
no torch def, and no def in torch-onnx symbolic function | |
| - aten::group_norm | |||
| - aten::native_group_norm_backward | canonical |
backward | |
| - aten::upsample_bilinear2d_backward | backward | ||
| - aten::one_hot | |||
| - aten::resize_as_ | |||
| - aten::_weight_norm_cuda_interface | |||
| - aten::_weight_norm | |||
| - aten::norm_except_dim | |||
| - aten::bitwise_or | canonical |
#266 | |
| - aten::_use_cudnn_ctc_loss | |||
| - aten::_ctc_loss | |||
| - aten::nll_loss2d | #453 | ||
| - aten::index_select_backward | backward | ||
| - aten::ctc_loss | |||
| - aten::kl_div_backward | backward | ||
| - aten::kl_div | |||
| - aten::or | |||
| - aten::_ctc_loss_backward | backward | ||
| - aten::triu | |||
| - aten::value_selecting_reduction_backward | |||
| - aten::nll_loss2d_backward | backward | ||
| - aten::nll_loss2d_forward | |||
| - aten::view_as | |||
| - aten::is_pinned | |||
| - aten::avg_pool2d_backward | canonical |
backward | |
| - aten::avg_pool2d | canonical |
Jay | |
| - aten::_weight_norm_cuda_interface_backward | backward | ||
| - aten::rand_like | |||
| - aten::numpy_T | |||
| - aten::std | |||
| - aten::rsqrt | canonical |
#266 | |
| - aten::conv_transpose2d | |||
| - aten::cudnn_convolution_transpose | |||
| - aten::l1_loss | |||
| - aten::im2col | |||
| - aten::sgn_ | |||
| - aten::roll | |||
| - aten::eye | |||
| - aten::glu | |||
| - aten::l1_loss_backward | backward | ||
| - aten::nonzero_numpy | |||
| - aten::im2col_backward | backward | ||
| - aten::_adaptive_avg_pool2d | canonical |
Jay | |
| - aten::maximum | canonical |
#313 | |
| - aten::ceil | |||
| - aten::unique_consecutive | |||
| - aten::argsort | |||
| - aten::is_same_size | #530 | ||
| - aten::equal | #265 | ||
| - aten::erf | canonical |
#266 | |
| - aten::mkldnn_convolution | |||
| - aten::_adaptive_avg_pool2d_backward | canonical |
backward | |
| - aten::meshgrid | |||
| - aten::floor_ | |||
| - aten::bernoulli | |||
| - aten::amax | Yes |
canonical |
#279 |
| - aten::pixel_shuffle | |||
| - aten::logical_not | canonical |
#266 | |
| - aten::avg_pool1d | Jay | ||
| - aten::logsumexp | #281 | ||
| - aten::leaky_relu_backward | backward | ||
| - aten::lift | |||
| - aten::new_full | #286 | ||
| - aten::upsample_nearest2d | canonical |
#279 | |
| - aten::max_pool1d | |||
| - aten::frobenius_norm | |||
| - aten::triu_ | |||
| - aten::feature_dropout | |||
| - aten::square | |||
| - aten::nansum | |||
| - aten::transpose_ | |||
| - aten::sqrt_ | |||
| - aten::cosine_similarity | |||
| - aten::view_as_real | |||
| - aten::real | |||
| - aten::dropout_ | |||
| - aten::upsample_nearest2d_backward | backward | ||
| - aten::adaptive_avg_pool1d | |||
| - aten::clip | |||
| - aten::sgn | |||
| - aten::abs_ | |||
| - aten::leaky_relu | canonical |
#266 | |
| - aten::silu_backward | backward | ||
| - aten::fmod | canonical |
#266 | |
| - aten::broadcast_to | |||
| - aten::erfinv_ | |||
| - aten::logical_and | canonical |
#266 | |
| - aten::hardsigmoid | |||
| - aten::hardswish_ | |||
| - aten::hann_window | |||
| - aten::fill_diagonal_ | |||
| - aten::t_ | |||
| - aten::isneginf | #530 | ||
| - aten::from_file | |||
| - aten::smooth_l1_loss | |||
| - aten::grid_sampler_2d_backward | backward | ||
| - aten::replication_pad1d | |||
| - aten::amp_update_scale | |||
| - aten::grid_sampler_2d | |||
| - aten::grid_sampler | |||
| - aten::amp_foreach_non_finite_check_and_unscale | |||
| - aten::dot | |||
| - aten::silu_ | |||
| - aten::_convolution_double_backward | |||
| - aten::instance_norm | |||
| - aten::pin_memory | |||
| - aten::reshape_as | |||
| - aten::_unique2 | |||
| - aten::baddbmm | |||
| - aten::index_fill_ | |||
| - aten::index_fill | |||
| - aten::outer | |||
| - aten::ger | |||
| - aten::index_copy | |||
| - aten::index_copy_ | |||
| - aten::_pin_memory | |||
| - aten::_fft_r2c | |||
| - aten::fft_rfft | |||
| - aten::elu_backward | backward | ||
| - aten::elu | |||
| - aten::selu | |||
| - aten::movedim | |||
| - aten::moveaxis | |||
| - aten::median | |||
| - aten::glu_backward | backward | ||
| - aten::_cudnn_rnn_backward | backward | ||
| - aten::_cudnn_rnn | |||
| - aten::cudnn_is_acceptable | |||
| - aten::lstm | |||
| - aten::_cudnn_rnn_flatten_weight | |||
| - aten::_use_cudnn_rnn_flatten_weight | |||
| - aten::reflection_pad2d | |||
| - aten::silu | |||
| - aten::randn_like | |||
| - aten::cumprod | |||
| - aten::masked_scatter_ | |||
| - aten::masked_select_backward | backward | ||
| - aten::native_batch_norm_backward | backward | ||
| - aten::hardtanh_backward | backward | ||
| - aten::fake_quantize_per_tensor_affine_cachemask_backward | backward | ||
| - aten::hardtanh_ | |||
| - aten::native_batch_norm | canonical |
when training=True, the return mean,var is not close with torch test case | |
| - aten::fake_quantize_per_channel_affine_cachemask | |||
| - aten::_fake_quantize_per_tensor_affine_cachemask_tensor_qparams | |||
| - aten::aminmax | |||
| - aten::_fused_moving_avg_obs_fq_helper | |||
| - aten::fused_moving_avg_obs_fake_quant | |||
| - aten::max_pool1d_with_indices | |||
| - aten::view_as_complex | |||
| - aten::_fft_c2c | |||
| - aten::fft_fftn | |||
| - aten::bitwise_xor | canonical |
#266 | |
| - aten::log2 | #281 | ||
| - aten::sign | canonical |
#266 | |
| - aten::floor | |||
| - aten::range | |||
| - aten::logical_and_ | #266 | ||
| - aten::logical_not_ | #266 | ||
| - aten::tile | |||
| - aten::diag_backward | backward | ||
| - aten::acos | canonical |
#256 | |
| - aten::unique_dim | |||
| - aten::diag | |||
| - aten::_cdist_forward | |||
| - aten::cdist | |||
| - aten::hardsigmoid_backward | backward | ||
| - aten::hardswish_backward | backward | ||
| - aten::prod | |||
| - aten::binary_cross_entropy_backward | backward | ||
| - aten::binary_cross_entropy | |||
| - aten::leaky_relu_ | #266 | ||
| - aten::var_mean | |||
| - aten::_thnn_fused_gru_cell_backward | backward | ||
| - aten::_thnn_fused_gru_cell | |||
| - aten::gru_cell | |||
| - aten::multiply | |||
| - aten::softplus_backward | backward | ||
| - aten::polygamma | |||
| - aten::digamma | |||
| - aten::lgamma | |||
| - aten::softplus |
### Tasks