Trong vài năm qua, với tư cách là một lĩnh vực phụ của học máy và học thống kê, Deep Learning (học sâu) đã tạo ra những bước đột phá ấn tượng trong nhiều lĩnh vực. Các công cụ nguồn mở Open Source mạnh mẽ, điện toán đám mây và một lượng lớn dữ liệu có sẵn là các khối xây dựng quan trọng để thành công trong học tập sâu.
Phương pháp tiếp cận máy học truyền thống hoạt động giống như nửa trên của hình bên dưới. Bạn sẽ phải thiết kế một thuật toán trích xuất tính năng (feature engineering) thường liên quan đến nhiều toán học nặng (thiết kế phức tạp), không hiệu quả và hoàn toàn không hoạt động tốt (mức độ chính xác chỉ không phù hợp với các ứng dụng trong thế giới thực ). Sau khi thực hiện tất cả điều đó, bạn cũng sẽ phải thiết kế một mô hình phân loại toàn bộ để phân loại đầu vào của bạn với các tính năng được trích xuất.Đó là rất nhiều công việc cho quy trình Machine Learning truyền thống !!!
- Với các mạng sâu (Deep Network), chúng tôi có thể thực hiện trích xuất và phân loại tính năng trong một lần, điều đó có nghĩa là chúng tôi chỉ phải thiết kế một mô hình (one model).
- Tính sẵn có của một lượng lớn dữ liệu (Big Data) được dán nhãn cũng như GPU có thể xử lý dữ liệu này song song ở tốc độ cao cho phép các mô hình này nhanh hơn nhiều so với các phương pháp trước đây.
- Sử dụng thuật toán lan truyền ngược (back-propagation algorithm), hàm mất mát (loss function) được thiết kế tốt và hàng triệu tham số, các mạng sâu này có thể tìm hiểu các tính năng rất phức tạp (theo truyền thống phải được thiết kế bằng tay).
- Chúng đã trở nên khá dễ thực hiện, đặc biệt là với các thư viện mã nguồn mở cấp cao như Keras, Pytorch và TensorFlow.
Deep Learning đã thực sự làm cho nhiều ứng dụng mới thực tế khả thi. VD như Google Translate!
Dưới đây, chúng tôi liệt kê mười bài (research papers) học sâu hàng đầu cho năm 2018:
▌ 1.Deep Learning, bởi Yann L., Yoshua Geoffrey B. & H. (2015) (trích dẫn: 5716):
Deep learning là một mô hình tính toán bao gồm nhiều lớp xử lý có thể học biểu diễn trừu tượng đa cấp của dữ liệu. Hiện tại, các phương pháp như vậy đã đạt được hiệu suất tốt nhất trong việc phát hiện mục tiêu, nhận dạng giọng nói, nhận dạng mục tiêu trực quan và nhiều lĩnh vực khác, như khám phá thuốc và genomics.
▌ 2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)
Đây là một hệ thống học sâu linh hoạt có thể được sử dụng để thể hiện các thuật toán khác nhau, bao gồm các thuật toán đào tạo và suy luận cho các mô hình mạng thần kinh sâu, và nhiều nhà nghiên cứu sử dụng nó và triển khai nó cho các hệ thống máy học để đạt được nhiều nhiệm vụ. Bao gồm truy xuất máy tính và các lĩnh vực khác như truy xuất thông tin, nhận dạng giọng nói, robot, thị giác máy tính, khai thác thông tin địa lý, xử lý ngôn ngữ tự nhiên và khám phá thuốc tính toán.
Liên kết PDF: http://doad.tensorflow.org/apers/whitepaper2015.pdf
▌ 3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)
TensorFlow là một dự án nguồn mở được thiết kế để giải quyết việc đào tạo và lý luận về các mạng lưới thần kinh sâu sắc. Nó hỗ trợ một loạt các ứng dụng. TensorFlow được sử dụng bởi nhiều dịch vụ và ứng dụng của Google. Theo thời gian, nó cũng đã được sử dụng rộng rãi trong lĩnh vực học máy.
▌ 4.Deep Learning trong Neural Networks, bởi Juergen Schmidhuber (2015) (trích dẫn: 2.196)
Bài viết này là một đánh giá về sự phát triển của học tập sâu, mạng lưới thần kinh sâu sắc và công việc liên quan. Hầu hết các nội dung giới thiệu kết quả nghiên cứu của thế kỷ trước. Mạng lưới thần kinh nông và sâu được phân biệt theo độ sâu của đường phân phối tín dụng. Đường phân phối tín dụng được xác định bởi mối quan hệ nhân quả giữa hành vi và hiệu quả, và mối quan hệ nhân quả này có thể được học.
Liên kết PDF: https://arxiv.org/pdf/1404.7828.pdf
▌ 5..Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)
Bài báo này phát triển một loại trí thông minh nhân tạo mới gọi là "mạng Q" sâu. Sử dụng những tiến bộ gần đây trong đào tạo mạng lưới thần kinh sâu sắc, chúng tôi sử dụng chiến lược học tập củng cố từ đầu đến cuối để học các chiến lược thành công trực tiếp từ đầu vào cảm biến chiều cao. Ngoài ra, tác nhân này đã được thử nghiệm trong một số khu vực đầy thách thức của trò chơi Atari 2600 cổ điển.
▌ 6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)
Trong công việc này, chúng tôi sẽ giới thiệu Mạng khuyến nghị khu vực (RPN), một tính năng hình ảnh được tích hợp đầy đủ, để triển khai mạng phát hiện đề xuất khu vực được chia sẻ. Mạng tư vấn khu vực là một mạng lưới thần kinh tích chập hoàn toàn, chia sẻ các khu vực phát hiện và đồng thời dự đoán ranh giới mục tiêu và điểm số khách quan tại mỗi địa điểm.
Liên kết PDF: https://arxiv.org/pdf/1506.01497.pdf
▌ 7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)
Không giống như trường tiếp nhận không gian cố định hoặc mô hình chuỗi thời gian trung bình đơn giản để xử lý dữ liệu chuỗi, mạng nơ ron tích chập có thể đạt được phản ứng tổng hợp mô hình ở cấp độ không gian và thời gian thông qua cơ chế "sâu kép".
Liên kết PDF: https://arxiv.org/pdf/1411.4389.pdf
▌ 8MatConvNet:Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)
Mô hình này dễ sử dụng và mở nguồn các chức năng khối xây dựng CNN của nó trong MATLAB, cung cấp các đường dẫn để tính toán các kết hợp tuyến tính với các ngân hàng bộ lọc, tính năng tổng hợp, v.v. Bài viết này sẽ cung cấp một cái nhìn tổng quan về cấu trúc mạng nơ ron tích chập và việc triển khai nó trong MatConvNet và cung cấp các chi tiết kỹ thuật tương tự trong hộp công cụ cho mỗi khối tính toán.
Liên kết PDF: https://arxiv.org/pdf/1412.4564.pdf
▌ 9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)
Trong công việc này, mối quan tâm chính của chúng tôi là thu hẹp khoảng cách giữa CNN trong học tập có giám sát và học tập không giám sát. Trong bài báo này, chúng tôi giới thiệu một lớp các mô hình CNN với một số hạn chế về kiến trúc nhất định, được gọi là Mạng chống tạo thế hệ sâu (DCGAN). Kết quả thử nghiệm cho thấy chúng là một phương pháp học tập không giám sát đầy hứa hẹn.
Liên kết PDF: https://arxiv.org/pdf/1511.06434.pdf
▌ 10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (Cited: 975)
Sự thành công của mạng lưới thần kinh sâu đòi hỏi nhiều mẫu đào tạo được dán nhãn, đó là một sự đồng thuận. Trong bài viết này, chúng tôi sẽ đề xuất một cấu trúc mạng và chiến lược đào tạo mới để sử dụng hiệu quả hơn các mẫu chú thích hiện có để huấn luyện mô hình, dựa hoàn toàn vào các cải tiến dữ liệu mạnh mẽ.
Liên kết PDF: https://arxiv.org/pdf/1505.04597.pdf
Trên đây là tóm tắt ngắn gọn về mười bài học sâu hàng đầu năm 2018. Để biết thông tin chi tiết về bài báo, bạn có thể tham khảo liên kết văn bản gốc bên dưới mỗi bài.
