Bisakah Anda menyiapkan repo reproduksi? Jumlah posting seharusnya tidak menjadi masalah (setidaknya pada langkah ini) - v1 mungkin mengalami masalah memori tetapi ini akan menjadi langkah pembuatan selanjutnya dan tidak boleh macet

Penasaran apakah itu masalah dengan Local by Flywheel , dan mampu membangun situs saat melayani WordPress melalui MAMP Pro .

Tapi, saya bahkan belum membuat halaman posting (sedang membangun halaman), dan waktu eksekusi untuk langkah bermasalah itu adalah 636,41 detik (hanya 11 menit).

const path = require('path')

exports.createPages = ({ boundActionCreators, graphql }) => {
  const { createPage } = boundActionCreators

  const postTemplate = path.resolve('./src/templates/Post/Post.js')

  graphql(
    `
      {
        allWordpressPost {
          edges {
            node {
              id
              slug
            }
          }
        }
      }
    `
  )
    .then((result) => {
      console.log('posts')
      // const { data, errors } = result

      // if (errors) console.log(errors)

      // if (!data) return

      //data.allWordpressPost.edges.forEach(({ node }) => {
      //  const { id, slug } = node

      //  createPage({
      //    component: postTemplate,
      //    context: {
      //      id,
      //    },
      //    path: slug,
      //  })
      //})
    })

edit: cukup aktifkan createPage untuk posting dan eksekusi item itu naik menjadi 14 menit. Brutal, tetapi juga menarik karena hanya 3 menit lebih lama untuk ~9000 item lebih banyak. Itu duduk di ⠁ run graphql queries untuk waktu yang lama saat ini.

edit: yang berjalan selama 419.470 detik, atau 7 menit.

@pieh Ups, memposting itu sebelum saya melihat Anda baru saja menjawab. Saya dapat mencoba untuk mendapatkan situs ini dari jarak jauh besok.

Dan dimaksudkan untuk menyertakan, baris terakhir ini adalah tempat hang melalui Lokal, dan berlangsung selamanya melalui MAMP.

$ gatsby develop
success delete html and css files from previous builds — 0.017 s
success open and validate gatsby-config — 0.226 s
info One or more of your plugins have changed since the last time you ran Gatsby. As
a precaution, we're deleting your site's cache to ensure there's not any stale
data
success copy gatsby files — 0.013 s
success onPreBootstrap — 0.159 s
⠁ source and transform nodes -> wordpress__acf_posts fetched : 100
⠁ source and transform nodes -> wordpress__acf_pages fetched : 34
⠂ source and transform nodes -> wordpress__acf_media fetched : 100
⠈ source and transform nodes -> wordpress__acf_categories fetched : 13
⢀ source and transform nodes -> wordpress__acf_tags fetched : 0
⠄ source and transform nodes -> wordpress__acf_users fetched : 11
⢀ source and transform nodes -> wordpress__POST fetched : 9092
⢀ source and transform nodes -> wordpress__PAGE fetched : 34
⠐ source and transform nodes -> wordpress__wp_media fetched : 7483
⡀ source and transform nodes -> wordpress__wp_types fetched : 1
⠁ source and transform nodes -> wordpress__wp_statuses fetched : 1
⢀ source and transform nodes -> wordpress__wp_taxonomies fetched : 1
⠄ source and transform nodes -> wordpress__CATEGORY fetched : 14
⠈ source and transform nodes -> wordpress__TAG fetched : 19
⠐ source and transform nodes -> wordpress__wp_users fetched : 11
⡀ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "You are not currently logged in."
⠈ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
⡀ source and transform nodesThe server response was "404 Not Found"
Inner exception message : "No route was found matching the URL and request method"
success source and transform nodes — 636.410 s

@pieh Belum mengonfirmasi ini akan berhasil dibangun (sekarang dengan remote WordPress, butuh berjam-jam), tetapi itu pasti mengungkapkan masalah: https://github.com/dustinhorton/gatsby-issue

Seharusnya bisa mengkloning itu dan membangun.

Hanya berlari dua kali selama lebih dari 10 jam tanpa situs menyelesaikan bangunan. Tolong beri tahu saya apa lagi yang bisa saya berikan untuk bantuan debugging.

Bisakah Anda mencoba meningkatkan ke v2? Kami telah melakukan banyak peningkatan kecepatan pada berbagai subsistem gatsby yang secara dramatis akan mempercepat situs besar seperti ini.

@KyleAMthews Saya akan mencobanya malam ini—terima kasih.

@KyleAMthews versi v2 @ https://github.com/dustinhorton/gatsby-v2-issue. Telah membangun selama sekitar 50 menit pada saat ini.

Membunuhnya sekarang. Situs masih belum dibangun.

Hal lain yang dapat Anda coba adalah mengaktifkan pelacakan https://next.gatsbyjs.org/docs/performance-tracing/

Kami belum menambahkan dukungan penelusuran ke gatsby-source-wordpress tetapi laporan penelusuran mungkin membantu Anda mengetahui di mana itu terhenti.

Jika ada orang lain yang tertarik untuk melihat ini, PR yang bagus adalah menambahkan dukungan penelusuran ke gatsby-source-wordpress. Beri tahu saya jika Anda tertarik!

Sayangnya, saya harus menyelamatkan ini, karena saya harus menghabiskan seluruh waktu saya untuk beralih ke tema tradisional — agak hancur karena tidak dapat menggunakan Gatsby. Segala sesuatu yang lain terasa begitu mundur.

Maaf kami tidak memiliki kesempatan untuk melihat ini :-( Berlari sekarang untuk mengeluarkan v2.

Apakah ada kemungkinan Anda dapat membiarkan situs WP tetap berjalan? Sepertinya ada bug di sini yang harus diperbaiki.

Saya men-tweet meminta bantuan jadi semoga seseorang akan segera melakukannya :-)

https://twitter.com/gatsbyjs/status/1027079401287102465

Wow, itu rad—terima kasih banyak. Situs tidak ke mana-mana untuk saat ini (dan saya akan memigrasikan salinan dan memperbarui repo repo jika perlu).

@dustinhorton untuk apa nilainya Saya juga melihat masalah membangun proyek yang lebih besar (~1.000 posting) di Local by Flywheel dibandingkan dengan lingkungan produksi kami dengan CDN di depannya.

Respons REST untuk Gatsby 10-20x lebih lama dari Lokal daripada dari produksi, sehingga situs membutuhkan waktu lama untuk dibangun. Saya belum menghabiskan waktu untuk men-debug masalah di Lokal, tetapi ada di daftar tugas saya :)

@KyleAMthews saya bisa melihat menambahkan tracing ke source-wordpress.

@Khristophor itu bagus!

@dustinhorton Saya melihat 404 untuk gambar di situs sampel Anda (https://dustinhorton.com/gatsby-wp/wp-content/uploads/2018/07/IMG_9906.jpg, misalnya) yang mungkin menggembungkan build waktu. Adakah kemungkinan Anda bisa mencari jalan untuk itu?

Permintaan WP_MEDIA berjalan cukup cepat dengan hasil jadi saya pikir saya masuk
jelas, tapi saya bisa melihatnya nanti minggu ini jika Anda memikirkannya
mungkin demikian.

Pada Rabu, 8 Agustus 2018 pukul 17:45 Chris Wiseman [email protected]
menulis:

@dustinhorton https://github.com/dustinhorton Saya melihat 404 untuk
gambar di situs sampel Anda (
https://dustinhorton.com/gatsby-wp/wp-content/uploads/2018/07/IMG_9906.jpg,
misalnya) yang mungkin menggembungkan waktu pembuatan. Setiap kesempatan Anda bisa
melihat ke jalan untuk itu?

—
Anda menerima ini karena Anda disebutkan.
Balas email ini secara langsung, lihat di GitHub
https://github.com/gatsbyjs/gatsby/issues/6654#issuecomment-411562589 ,
atau matikan utasnya
https://github.com/notifications/unsubscribe-auth/AAXFNRHTA-vqIwCTtioejUL-Ei3nM0Lbks5uO1vygaJpZM4VZ57n
.

Itu benar, tetapi bagian dari langkah sumber dan transformasi adalah mengunduh semua item media yang ditemukan dalam respons REST:
https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-wordpress/src/normalize.js#L434

Mendapatkan 404 pada 7504 gambar mungkin menyebabkan beberapa masalah;)

Percayalah saya telah membersihkan semua 404. Akan mencoba untuk membangun malam ini. Terima kasih semuanya.

Tampaknya tidak ada perubahan:

~/Sites/gatsby-issue-v2 (master)
→yarn build
yarn run v1.5.1
$ gatsby build
success open and validate gatsby-config — 0.009 s
success load plugins — 0.277 s
success onPreInit — 0.257 s
success delete html and css files from previous builds — 0.008 s
success initialize cache — 0.245 s
success copy gatsby files — 0.079 s
success onPreBootstrap — 0.001 s
⠁
=START PLUGIN=====================================

Site URL: http://dustinhorton.com/gatsby-wp
Site hosted on Wordpress.com: false
Using ACF: true
Using Auth: undefined undefined
Verbose output: true

Mama Route URL: http://dustinhorton.com/gatsby-wp/wp-json

⠁ source and transform nodesRoute discovered : /
Invalid route.
Route discovered : /oembed/1.0
Invalid route.
Route discovered : /oembed/1.0/embed
Invalid route.
Route discovered : /oembed/1.0/proxy
Invalid route.
Route discovered : /yoast/v1
Valid route found. Will try to fetch.
Route discovered : /yoast/v1/configurator
Valid route found. Will try to fetch.
Route discovered : /yoast/v1/reindex_posts
Valid route found. Will try to fetch.
Route discovered : /yoast/v1/ryte
Valid route found. Will try to fetch.
Route discovered : /yoast/v1/indexables/(?P<object_type>.*)/(?P<object_id>\d+)
Invalid route.
Route discovered : /yoast/v1/statistics
Valid route found. Will try to fetch.
Route discovered : /acf/v3
Invalid route.
Route discovered : /acf/v3/posts/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/posts
Valid route found. Will try to fetch.
Route discovered : /acf/v3/pages/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/pages
Valid route found. Will try to fetch.
Route discovered : /acf/v3/media/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/media
Valid route found. Will try to fetch.
Route discovered : /acf/v3/categories/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/categories
Valid route found. Will try to fetch.
Route discovered : /acf/v3/tags/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/tags
Valid route found. Will try to fetch.
Route discovered : /acf/v3/comments/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/comments
Valid route found. Will try to fetch.
Route discovered : /acf/v3/options/(?P<id>[\w\-\_]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/users/(?P<id>[\d]+)/?(?P<field>[\w\-\_]+)?
Invalid route.
Route discovered : /acf/v3/users
Valid route found. Will try to fetch.
Route discovered : /wp/v2
Invalid route.
Route discovered : /wp/v2/posts
Valid route found. Will try to fetch.
Route discovered : /wp/v2/posts/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/posts/(?P<parent>[\d]+)/revisions
Invalid route.
Route discovered : /wp/v2/posts/(?P<parent>[\d]+)/revisions/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/pages
Valid route found. Will try to fetch.
Route discovered : /wp/v2/pages/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/pages/(?P<parent>[\d]+)/revisions
Invalid route.
Route discovered : /wp/v2/pages/(?P<parent>[\d]+)/revisions/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/media
Valid route found. Will try to fetch.
Route discovered : /wp/v2/media/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/types
Valid route found. Will try to fetch.
Route discovered : /wp/v2/types/(?P<type>[\w-]+)
Invalid route.
Route discovered : /wp/v2/statuses
Valid route found. Will try to fetch.
Route discovered : /wp/v2/statuses/(?P<status>[\w-]+)
Invalid route.
Route discovered : /wp/v2/taxonomies
Valid route found. Will try to fetch.
Route discovered : /wp/v2/taxonomies/(?P<taxonomy>[\w-]+)
Invalid route.
Route discovered : /wp/v2/categories
Valid route found. Will try to fetch.
Route discovered : /wp/v2/categories/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/tags
Valid route found. Will try to fetch.
Route discovered : /wp/v2/tags/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/users
Valid route found. Will try to fetch.
Route discovered : /wp/v2/users/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/users/me
Valid route found. Will try to fetch.
Route discovered : /wp/v2/comments
Valid route found. Will try to fetch.
Route discovered : /wp/v2/comments/(?P<id>[\d]+)
Invalid route.
Route discovered : /wp/v2/settings
Valid route found. Will try to fetch.
Added ACF Options route.

Fetching the JSON data from 25 valid API Routes...

=== [ Fetching wordpress__yoast_v1 ] === https://dustinhorton.com/gatsby-wp/wp-json/yoast/v1
⠈ source and transform nodes -> wordpress__yoast_v1 fetched : 1
Fetching the wordpress__yoast_v1 took: 936.166ms

=== [ Fetching wordpress__yoast_configurator ] === https://dustinhorton.com/gatsby-wp/wp-json/yoast/v1/configurator
⢀ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
Fetching the wordpress__yoast_configurator took: 846.014ms

=== [ Fetching wordpress__yoast_reindex_posts ] === https://dustinhorton.com/gatsby-wp/wp-json/yoast/v1/reindex_posts
⢀ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
Fetching the wordpress__yoast_reindex_posts took: 1010.589ms

=== [ Fetching wordpress__yoast_ryte ] === https://dustinhorton.com/gatsby-wp/wp-json/yoast/v1/ryte
⠠ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
Fetching the wordpress__yoast_ryte took: 1022.977ms

=== [ Fetching wordpress__yoast_statistics ] === https://dustinhorton.com/gatsby-wp/wp-json/yoast/v1/statistics
⠄ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
Fetching the wordpress__yoast_statistics took: 820.827ms

=== [ Fetching wordpress__acf_posts ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/posts
⠈ source and transform nodes -> wordpress__acf_posts fetched : 100
Fetching the wordpress__acf_posts took: 6352.670ms

=== [ Fetching wordpress__acf_pages ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/pages
⡀ source and transform nodes -> wordpress__acf_pages fetched : 34
Fetching the wordpress__acf_pages took: 2760.048ms

=== [ Fetching wordpress__acf_media ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/media
⠈ source and transform nodes -> wordpress__acf_media fetched : 100
Fetching the wordpress__acf_media took: 4273.250ms

=== [ Fetching wordpress__acf_categories ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/categories
⠁ source and transform nodes -> wordpress__acf_categories fetched : 13
Fetching the wordpress__acf_categories took: 1029.029ms

=== [ Fetching wordpress__acf_tags ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/tags
⠈ source and transform nodes -> wordpress__acf_tags fetched : 0
Fetching the wordpress__acf_tags took: 941.066ms

=== [ Fetching wordpress__acf_comments ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/comments
⢀ source and transform nodes -> wordpress__acf_comments fetched : 9
Fetching the wordpress__acf_comments took: 2868.036ms

=== [ Fetching wordpress__acf_users ] === https://dustinhorton.com/gatsby-wp/wp-json/acf/v3/users
⠠ source and transform nodes -> wordpress__acf_users fetched : 11
Fetching the wordpress__acf_users took: 2049.181ms

=== [ Fetching wordpress__POST ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/posts
⠁ source and transform nodes
Total entities : 9094
Pages to be requested : 91
⠁ source and transform nodes -> wordpress__POST fetched : 9094
Fetching the wordpress__POST took: 152767.807ms

=== [ Fetching wordpress__PAGE ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/pages
⢀ source and transform nodes -> wordpress__PAGE fetched : 34
Fetching the wordpress__PAGE took: 2194.895ms

=== [ Fetching wordpress__wp_media ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media
⢀ source and transform nodes
Total entities : 7504
Pages to be requested : 76
⢀ source and transform nodes -> wordpress__wp_media fetched : 7485
Fetching the wordpress__wp_media took: 132029.996ms

=== [ Fetching wordpress__wp_types ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/types
⢀ source and transform nodes -> wordpress__wp_types fetched : 1
Fetching the wordpress__wp_types took: 956.603ms

=== [ Fetching wordpress__wp_statuses ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/statuses
⢀ source and transform nodes -> wordpress__wp_statuses fetched : 1
Fetching the wordpress__wp_statuses took: 1017.845ms

=== [ Fetching wordpress__wp_taxonomies ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/taxonomies
⠠ source and transform nodes -> wordpress__wp_taxonomies fetched : 1
Fetching the wordpress__wp_taxonomies took: 1029.885ms

=== [ Fetching wordpress__CATEGORY ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/categories
⢀ source and transform nodes -> wordpress__CATEGORY fetched : 14
Fetching the wordpress__CATEGORY took: 943.710ms

=== [ Fetching wordpress__TAG ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/tags
⠠ source and transform nodes -> wordpress__TAG fetched : 19
Fetching the wordpress__TAG took: 1104.454ms

=== [ Fetching wordpress__wp_users ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/users
⡀ source and transform nodes -> wordpress__wp_users fetched : 11
Fetching the wordpress__wp_users took: 1325.604ms

=== [ Fetching wordpress__wp_me ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/users/me
⠂ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "You are not currently logged in."
Fetching the wordpress__wp_me took: 926.146ms

=== [ Fetching wordpress__wp_comments ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/comments
⠂ source and transform nodes
Total entities : 9410
Pages to be requested : 95
⡀ source and transform nodes -> wordpress__wp_comments fetched : 9397
Fetching the wordpress__wp_comments took: 85370.673ms

=== [ Fetching wordpress__wp_settings ] === https://dustinhorton.com/gatsby-wp/wp-json/wp/v2/settings
⠁ source and transform nodesThe server response was "401 Unauthorized"
Inner exception message : "Sorry, you are not allowed to do that."
Fetching the wordpress__wp_settings took: 808.396ms

=== [ Fetching wordpress__acf_options ] === http://dustinhorton.com/gatsby-wp/wp-json/acf/v2/options
⠂ source and transform nodesThe server response was "404 Not Found"
Inner exception message : "No route was found matching the URL and request method"
Fetching the wordpress__acf_options took: 1059.276ms

=END PLUGIN=====================================: 412457.896ms
⠁ source and transform nodes

Dan itu sudah duduk di sana selama sekitar 8 jam.

@dustinhorton pakai hosting apa? Saya pikir itu hanya membunuh kotak produksi Anda dengan jumlah permintaan. Saya yakin saya menyelesaikannya (setelah beberapa waktu, bukan delapan jam) mengatur koneksi bersamaan ke sesuatu yang rendah, seperti 1 atau 2.

Ini adalah VPS yang layak di Linode. Saya bisa mendapatkan pengaturan tweak di atasnya jika itu akan membantu. Tetapi masalah ini juga terjadi secara lokal.

https://github.com/gatsbyjs/gatsby/blob/46290c2b0e7894fca036bdcc658a5d1936c4221f/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L133 -L159 ini terkadang tidak berfungsi dengan benar ketika kita menarik jumlah yang lebih besar file - permintaan jaringan diselesaikan tetapi aliran penulisan file tidak pernah selesai (atau error). Saya pikir akan lebih baik untuk menambahkan semacam batas waktu setelah responseStream selesai untuk menunggu fsWriteStream selesai, dan jika tidak dan menghancurkan semua sumber daya dan mencoba menulis file lagi (mungkin buat beberapa percobaan ulang) dan benar-benar error ketika sebenarnya tidak bisa melakukannya.

@pieh dapatkah Anda mengirim kode yang diperbarui untuk file ini?

/packages/gatsby-source-filesystem/src/create-remote-file-node.js

@aman-developer belum ada perbaikan untuk ini - jika tidak maka akan dipublikasikan. Masalah dengan masalah ini adalah tidak ada cara yang dapat diandalkan untuk mereproduksi ini, jadi setiap perbaikan adalah tebakan. Masalah dalam beberapa kasus (mungkin khusus perangkat keras dan/atau OS) sistem file writeStream tidak selesai dan macet tanpa menimbulkan kesalahan sehingga perbaikan apa pun di sini benar-benar mencoba untuk mengatasi masalah dalam paket fs / perangkat keras/os tidak bisa diandalkan :/

Apakah Anda mengalami masalah dalam melakukan repo & situs saya? Itu konsisten bagi saya.

Saya menggunakan createRemoteFileNode untuk mengambil gambar jarak jauh dan saya mengalami masalah yang sama: unduhan macet sekitar 680/780ish.

Di createRemoteFileNode, ada pendengar acara downloadProgress yang ditambahkan di https://github.com/sindresorhus/got/releases/tag/v8.0.0 tetapi gatsby-source-filesystem menggunakan got 7.1.0.

Saya mencoba memutakhirkan ke versi terbaru 9.2.2 dan sekarang berhasil mengunduh semua gambar.

Tambahkan ini di package.json:

  "resolutions": {
    "got": "^9.2.2"
  }

Juga tampaknya ada beberapa perbaikan penting di got setelah 7.1.0 seperti kesalahan aliran tidak diteruskan dengan benar, dll. (https://github.com/sindresorhus/got/releases/tag/v8.0.1)

Saya mencoba memperbarui got , tetapi terkadang masih macet, tetapi tetap layak untuk dilakukan. Perhatikan saja bahwa barang downloadProgress perlu dinonaktifkan atau keluaran yang lebih bagus, karena terminal/konsol mendapatkan spam dengan kemajuan saat menggunakannya

Saya dapat menjalankan gatsby develop setelah ~25 menit tetapi saya harus mengurangi konkurensi dalam create-remote-file-node.js dari 200 menjadi 20. Saya memang mendapatkan 22 TimeoutErrors (tetapi diunduh ulang saat menjalankan gatsby develop lagi) setelah memasukkan log ke dalam tangkapan kosong itu di processRemoteNode.

Tidak yakin apakah itu karena mendapat tetapi mungkin dapat bereksperimen dengan klien http lainnya ...

...
success source and transform nodes — 1407.531 s
success building schema — 3.315 s
success createPages — 0.571 s
success createPagesStatefully — 2.797 s
success onPreExtractQueries — 0.012 s
success update schema — 3.268 s
warning There are conflicting field types in your data. GraphQL schema will omit those fields.
wordpress__wp_media.media_details.width:
 - type: number
   value: 916
 - type: string
   value: '224'
wordpress__wp_media.media_details.height:
 - type: number
   value: 916
 - type: string
   value: '225'
wordpress__wp_media.media_details.sizes.thumbnail.width:
 - type: number
   value: 150
 - type: string
   value: '150'
wordpress__wp_media.media_details.sizes.thumbnail.height:
 - type: number
   value: 150
 - type: string
   value: '150'
wordpress__wp_media.media_details.sizes.medium.width:
 - type: number
   value: 300
 - type: string
   value: '300'
wordpress__wp_media.media_details.sizes.medium.height:
 - type: number
   value: 300
 - type: string
   value: '200'
wordpress__wp_media.media_details.sizes.large.width:
 - type: number
   value: 768
 - type: string
   value: '1024'
wordpress__wp_media.media_details.sizes.large.height:
 - type: number
   value: 1024
 - type: string
   value: '682'
wordpress__wp_media.media_details.image_meta.aperture:
 - type: number
   value: 2.2
 - type: string
   value: '0'
wordpress__wp_media.media_details.image_meta.created_timestamp:
 - type: boolean
   value: false
 - type: number
   value: 1433226914
 - type: string
   value: '0'
wordpress__wp_media.media_details.image_meta.focal_length:
 - type: number
   value: 0
 - type: string
   value: '0'
wordpress__wp_media.media_details.image_meta.iso:
 - type: number
   value: 0
 - type: string
   value: '0'
wordpress__wp_media.media_details.image_meta.shutter_speed:
 - type: number
   value: 0
 - type: string
   value: '0'
wordpress__wp_media.media_details.image_meta.orientation:
 - type: number
   value: 1
 - type: string
   value: '1'
warning Using the global `graphql` tag is deprecated, and will not be supported in v3.
Import it instead like:  import { graphql } from 'gatsby' in file:
/Users/tandingan.wlb/Projects/gatsby/gatsby-issue/src/templates/Post/Post.js
success extract queries from components — 0.120 s
success run graphql queries — 223.335 s — 9121/9121 40.84 queries/second
success write out page data — 0.119 s
success write out redirect data — 0.001 s
success onPostBootstrap — 0.027 s

info bootstrap finished - 1643.854 s

{ TimeoutError: Timeout awaiting 'request' for 30000ms
    at Immediate.timeoutHandler [as _onImmediate] (/Users/tandingan.wlb/Projects/gatsby/gatsby-issue/node_modules/got/source/timed-out.js:39:25)
    at runCallback (timers.js:694:11)
    at tryOnImmediate (timers.js:664:5)
    at processImmediate (timers.js:646:5)
  name: 'TimeoutError',
  code: 'ETIMEDOUT',
  host: 'dustinhorton.com',
  hostname: 'dustinhorton.com',
  method: 'GET',
  path: '/gatsby-wp/wp-content/uploads/2015/05/20150302_061259.jpg',
  socketPath: undefined,
  protocol: 'https:',
  url:
   'https://dustinhorton.com/gatsby-wp/wp-content/uploads/2015/05/20150302_061259.jpg',
  event: 'request' }

Saya mendapatkan kesalahan yang sama dengan prismik

Saya memutakhirkan ke "mendapat": "^9.2.2" sekarang berfungsi!

Pasti perlu melihat untuk meningkatkan versi got . Ini adalah masalah intermittment jadi mungkin kebetulan itu berhasil. @RobinHerzog beri tahu kami jika Anda akan mengalami masalah serupa dengan versi got ditingkatkan

Memperbarui got secara signifikan mengurangi waktu pembuatan untuk repo repo saya, tetapi masih secara konsisten memakan waktu hampir satu jam terakhir saya mencoba.

@dustinhorton bagian mana dari build yang menarik gambar (atau source and transform data karena kami tidak menunjukkan secara eksplisit berapa lama waktu yang dibutuhkan untuk mengunduh file)?

Saya memiliki gambar 150MB dengan koneksi internet 1GB. Sekarang berhasil. Saya perlu 30 detik untuk mengunduh dan melanjutkan pembuatan.

Saya juga mengalami masalah ini secara konsisten. Memutakhirkan got tidak menyelesaikan masalah ini untuk saya. Adakah keberhasilan dengan menambahkan penelusuran tambahan ke sumber-wordpress sehingga kami dapat mencoba dan men-debug apa masalahnya?

Mencoba mengubah concurrentRequests dan perPage , serta memutakhirkan got ke versi terbaru, tetapi tidak ada yang berhasil. Saat ini saya dapat mengambil categories , posts , pages dan tags , tetapi ketika saya menyertakan users atau media , tepat setelah =END PLUGIN=== , plugin kembali dengan kesalahan: TypeError: Cannot read property 'id' of undefined .

Jika saya memasukkan semua rute dan daftar hitam yang tidak dapat saya akses, saya mendapatkan =END PLUGIN=== tetapi tidak pernah selesai... Ini berlaku untuk banyak situs web yang saya uji, jadi saya pikir itu mungkin sistem saya. . Jika ada yang ingin menguji ini, inilah konfigurasinya:

    {
      resolve: 'gatsby-source-wordpress',
      options: {
        // Other URLs I tried:
        // https://clubedovalor.com.br
        // http://rivainvestimentos.com.br
        // http://queroinvestiragora.com/
        // https://www.clubedospoupadores.com/
        baseUrl: "aprenda.guiainvest.com.br",
        protocol: "https",
        hostingWPCOM: false,
        useACF: false,
        concurrentRequests: 10,
        perPage: 50,
        // Going with the excluded routes path
        // excludedRoutes: [
        //   '/*/*/plugins',
        //   '/rock-convert/**',
        //   '/yoast/**',
        //   '/wp-super-cache/**',
        //   '/*/*/users/me',
        //   '/*/*/settings',
        // ],
        verboseOutput: true,
        includedRoutes: [
          "/*/*/categories",
          "/*/*/posts",
          "/*/*/pages",
          "/*/*/tags",
          // You can toggle between media and users (or both)
          // All 3 scenarios will fail with the `'id' of undefined`
          // problem
          // "/*/*/media",
          "/*/*/users",
        ],
      },

PS: Satu URL yang saya _did_ berhasil ambil adalah https://wesbos.com/

SELAMAT UPDATE: Saya berhasil membuatnya bekerja (_untuk situs yang lebih kecil_) dengan includedRoutes , bahkan dengan users dan/atau media dengan memasukkan taxonomies dalam kueri . Sekarang saya tidak mendapatkan kesalahan 'id' of undefined :D

@pieh Saya percaya users dan media bergantung pada taxonomies , jadi mungkin mereka harus datang secara default setiap kali konfigurasi berisi salah satu dari tipe ini? Beri tahu saya jika saya dapat membantu pemecahan masalah lebih lanjut! Sebagai catatan penutup, bug taxonomies tampaknya tidak terkait dengan proses pembuatan tak terbatas. Dengan situs yang lebih besar dari ~500 file media, saya masih tidak dapat menyelesaikan proses pembuatan!

PEMBARUAN Nomor 2 : Jadi, saya telah berhasil membuatnya bekerja untuk queroinvestiragora.com , yang memiliki 600 file media tetapi hanya 70 posting, dibutuhkan kira-kira 15 detik setelah =END PLUGIN=== , tetapi berhasil. Namun, www.clubedospoupadores.com memiliki 702 file media dan 336 posting dan tidak dapat dikompilasi.

PS: Konfigurasi saya dalam eksperimen ini adalah:

    {
      resolve: 'gatsby-source-wordpress',
      options: {
        baseUrl: "queroinvestiragora.com",
        protocol: "http",
        hostingWPCOM: false,
        useACF: false,
        concurrentRequests: 10, // I've also tried removing it and going with the default, it's the same result
        verboseOutput: true,
        includedRoutes: [
          "/*/*/categories",
          "/*/*/posts",
          "/*/*/pages",
          "/*/*/tags",
          "/*/*/media",
          "/*/*/users",
          "/*/*/taxonomies",
        ],
      },
    },

Halo,

Saya berhasil menambahkan pelacakan menggunakan langkah-langkah yang diuraikan di sini https://www.gatsbyjs.org/docs/performance-tracing/ . Sayangnya itu tidak memberikan banyak info karena hanya memberi tahu saya bahwa memang sumber dan transformasi node memakan waktu cukup lama.

Namun saya telah melakukan beberapa debugging saya sendiri tentang masalah ini setelah memiliki beberapa perilaku non-deterministik yang melibatkan gambar. Saat menjalankan skrip develop atau build, saya akan mendapatkan kasus di mana tidak semua gambar akan diunduh dan node localFile tidak akan selesai. Setelah menggali ke dalam kode, saya telah menentukan bahwa sepertinya ada masalah di sini

https://github.com/gatsbyjs/gatsby/blob/ad142af473fc8dc8555a5cf23a0dfca42fcbbe90/packages/gatsby-source-wordpress/src/normalize.js#L483 -L506

Bagi saya simpul createRemoteFile gagal karena kesalahan batas waktu server dan default untuk mengembalikan nol. Saya harus menambahkan beberapa logging ke node createRemoteFile juga untuk menentukan ini dan mendapatkan respons server yang sebenarnya. Karena node ini tidak lengkap dan tidak memiliki ID, mereka tidak terdaftar di cache. File tmp dihapus dan sistem file gatsby-source tidak lengkap. Untuk alasan apa pun (saya belum melihat sejauh itu) setelah menjalankan skrip build lagi, sistem file sumber kemudian dihapus mungkin karena skrip mendeteksi sistem file tidak valid atau tidak lengkap. Proses inilah yang bagi saya untuk membuat loop dan menyebabkan kesalahan pada build mendatang karena sistem file tidak pernah selesai.

Saya sedang mengerjakan perbaikan yang tampaknya meringankan beberapa masalah setidaknya terkait sejumlah besar gambar. Ketika skrip develop atau build berhasil mengunduh semua gambar pertama kali, skrip tersebut tidak dihapus dan kemudian proses build terjadi cukup cepat karena gambar di-cache dengan benar oleh gatsby-source-filesystem! Build saya berubah dari 15 menit menjadi 1 menit.

Saya tidak yakin apakah ini terkait dengan bangunan yang memiliki banyak posting. Masalah saya terkait langsung dengan mengunduh 1,6 GB data gambar.

Ini adalah pertama kalinya saya bekerja dengan plugin sumber untuk gatsby jadi jika ada yang punya pemikiran atau saran tentang ini, saya akan sangat menghargainya! Saya seharusnya dapat memposting repo saya nanti hari ini. Saya sedang berusaha membuatnya menggunakan versi lokal gatsby-source-filesystem saya tanpa komplikasi.

Halo,

Menindaklanjuti komentar saya dari beberapa hari yang lalu. Inilah repo saya.

https://github.com/njmyers/byalejandradesign.com.git

Saya menggunakan monorepo dalam proyek ini jadi berikut adalah beberapa langkah jika Anda ingin menjalankan repositori secara lokal.

1. Pastikan Anda memiliki versi terbaru dari Yarn 1.12.3
2. Kloning cabang plugin git clone https://github.com/njmyers/byalejandradesign.com.git -b wordpress-plugin
3. Jalankan yarn && yarn bootstrap
4. Arahkan ke folder gatsby sehingga Anda dapat melihat folder itu saja cd packages/web
5. Jalankan yarn develop atau yarn build-web . Ini harus berhasil diselesaikan pertama kali dan menjalankan perintah yang sama selanjutnya akan menghasilkan build yang lebih cepat! Sumber dan transformasi node membutuhkan waktu 222 detik untuk saya di mana dibutuhkan 3 kali lipat lebih awal dan/atau tidak selesai.
6. Jika Anda ingin melihat apa yang sebenarnya terjadi selama sumber dan transformasi, Anda dapat melihat di browser file Anda di /packages/web/.cache/gatsby-source-filesystem Anda akan melihat bahwa file sedang dibuat di sana.

Saya menulis ulang fungsi downloadMediaFiles sepenuhnya. Anda dapat melihat file itu di tautan ini https://github.com/njmyers/byalejandradesign.com/blob/wordpress-plugin/packages/gatsby-source-wordpress/src/download-media-files.js

Ini mungkin lebih bertele-tele daripada yang seharusnya, tetapi saya harus melakukan ini untuk mengetahui semua yang terjadi. Fungsionalitas yang saya ubah adalah menambahkan penolakan janji ketika createRemoteFileNode mengembalikan nol. Saya kemudian menggunakan fungsi downloadRunner untuk membatasi permintaan sehingga tidak semuanya mengenai server sekaligus serta mencoba lagi pada penolakan janji. Saya menambahkan throttle 200ms di antara setiap permintaan createRemoteFileNode. Saya yakin nilai ini dapat diubah dan beberapa di antaranya mungkin lebih cocok untuk ditambahkan ke createRemoteFileNode secara langsung.

Jika ada yang penasaran, instalasi WP adalah instance mikro EC2 sementara gambar berada di belakang distribusi CloudFront. Secara pribadi saya tidak pernah memiliki masalah dengan mendapatkan posting masalah saya adalah dengan mendapatkan gambar dan saya percaya bahwa sebagian besar masalah yang dialami orang adalah karena hal ini.

Juga jika ada yang ingin melacak atau men-debug situs mereka sendiri, saya sarankan mulai dari sini ...

https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L240 -L244

Saya menambahkan logging ke klausa catch dan dapat menentukan bahwa node gambar tidak diproses dengan benar karena saya mendapatkan kesalahan batas waktu dan kemudian mengembalikan nol.

@njmyers Saya baru saja melihatnya dengan sangat singkat dan saya berpikir bahwa jika ini berhasil, kita harus menggunakan pendekatan serupa di createRemoteFileNode secara langsung. Kami menggunakan queue sana, jadi konsumen dari fungsi ini ( gatsby-source-wordpress dalam kasus ini) tidak perlu khawatir tentang ini. Satu hal yang berpotensi bermasalah adalah throttle 200ms - mungkin kita bisa memulai tanpanya dan ketika kita mulai melihat masalah secara otomatis menerapkan throttling (per nama host)

@pieh Ya itu mungkin tempat untuk menerapkan logika ini. Pelambatan bagi saya adalah cara untuk mendekati ini dan mendiagnosis masalah, jadi saya setuju bahwa createRemoteFileNode harus dapat menangani ini sendiri.

Namun yang sangat bermasalah adalah perilaku saat ini yang secara diam-diam gagal dalam kesalahan dan mengembalikan nol. Menurut pendapat saya, harus ada komunikasi tentang kegagalan atau keberhasilan operasi. Saya pikir createRemoteFileNode dapat dibuat lebih kuat dengan fungsi berikut.

1) Buat koneksi dengan penuh semangat
2) Jika ada kesalahan dari server mulai throttle dan/atau coba lagi jika diperlukan
3) Tetapkan beberapa default waras untuk pelambatan/coba lagi
4) Buat titik masuk untuk menyesuaikan pelambatan/coba lagi
4) Tolak janji jika karena alasan tertentu node tidak dapat diproses.

Saya juga dapat mengatakan bahwa saya bermain-main dengan nilai batas waktu di sini https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L135 - L141. Meskipun hal itu meningkatkan kemungkinan respons yang berhasil, saya masih harus menambahkan penanganan untuk memastikan respons yang berhasil.

Kemungkinan besar titik masuk yang benar untuk logika ini adalah di sini.

https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L259 -L269

Dimana jika tugas gagal mereka coba lagi dan/atau gagal dan akhirnya ditolak.

Baca juga dokumen queue secara singkat. Saya mengerti apa yang Anda katakan tentang queue mampu mengelola ini sendiri.

@njmyers investigasi yang bagus! Pasti setuju bahwa pengunduhan file harus jauh lebih pintar!

Sebenarnya bagus untuk mengekstrak bagian pengunduhan file ke paketnya sendiri yang berfokus pada masalah mengunduh dan menyimpan file jarak jauh ini.

Ada kemungkinan besar kita perlu menggunakan fungsionalitas di banyak tempat di Gatsby dan masa depan dan itu adalah sesuatu yang orang lain di internet ingin gunakan juga.

@KyleAMthews maksud Anda mengekstrak createRemoteFileNode ke paket terpisah?

Tidak hanya pengunduhan file dan bagian caching. createRemoteFileNode kemudian hanya akan memanggil paket ini dan mendapatkan kembali janji yang akan diselesaikan ketika file diunduh (atau dikembalikan dari cache).

Saya juga mengalami masalah ini dengan plugin sumber kokpit saya sendiri.

Saya mengerti, jadi itu akan lebih seperti mengekstraksi bagian kode ini ke paket terpisah ...

https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L125 -L244

Sepertinya ini adalah kode yang secara khusus menangani pengunduhan dan caching, mohon perbaiki saya jika saya salah. Senang mengerjakan ini! Hanya mencoba mencari tahu cara kerjanya di ekosistem yang lebih besar.

Apakah PR untuk hanya memperbaiki gatsby-source-wordpress diterima, lalu mengekstrak perbaikan setelahnya? Mengalami masalah dalam menggunakan plugin bercabang @njmyers apa adanya, dan sepertinya ini adalah peningkatan besar.

@dustinhorton tidak yakin apakah ini membantu, tetapi saya menemukan bahwa jika Anda ingin menggunakan plugin lokal, yang terbaik adalah mengarahkan gatsby langsung ke file package.json. Saya mengalami kesulitan mendapatkan gatsby untuk menemukan plugin lokal saya sampai saya mulai menentukannya secara eksplisit.

https://github.com/njmyers/byalejandradesign.com/blob/d56b1938f6d1bc22c3cf2282bb3198e378fe3561/packages/web/gatsby-config.js#L91 -L94

Saya masih senang mengerjakan masalah ini dan bahkan plugin baru seperti yang dibahas. Hanya mencari sedikit panduan tentang cara mengintegrasikan ini karena sepertinya perubahan yang mengganggu yang dapat memengaruhi banyak hal lain yang tidak saya sadari. @KyleAMthews ada pemikiran? Saya masih merasa seolah-olah kode di sini

https://github.com/gatsbyjs/gatsby/blob/master/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L125 -L244

Adalah bagian yang harus diekstraksi ke dalam paketnya sendiri. Dikatakan demikian, ini adalah salah satu fungsi inti dari createRemoteFileNode dan saya ingin memastikan bahwa saya melakukannya dengan benar sehingga dapat diintegrasikan kembali ke ekosistem dengan benar.

@njmyers Anda sebagian besar benar dengan pemilihan kode Anda - kami juga ingin antrian kami saat ini (yang ATM membatasi hingga 200 permintaan bersamaan, yang tampaknya tidak bagus untuk pengembang lokal dan tampaknya untuk wordpress) dipindahkan dan mungkin diubah.

@dustinhorton Saya pikir masuk akal untuk menggunakan ini di plugin wordpress terlebih dahulu (kebanyakan karena praktis selesai).

@pieh Terima kasih banyak atas klarifikasi Anda! Saya akan mulai mengerjakan plugin baru.

Mengenai perbaikan sumber wordpress sementara, satu-satunya pertanyaan saya yang lain adalah apa yang harus dilakukan di sini

https://github.com/njmyers/byalejandradesign.com/blob/d56b1938f6d1bc22c3cf2282bb3198e378fe3561/packages/gatsby-source-wordpress/src/download-media-files.js#L169 -L173

Saat ini masih mungkin terjadi kesalahan jaringan dan perlu ada klausa tangkap untuk seluruh fungsi downloadMediaFiles. Apa perilaku normal untuk meneruskan kesalahan ke gatsby? Saya akan dengan senang hati menambahkan kode itu ke dalam plugin wordpress untuk meneruskan kesalahan jaringan dengan benar ke penangan yang benar. Mungkin kami dapat menampilkan pesan kesalahan dan referensi untuk masalah ini? Terima kasih atas bantuan Anda!

@njmyers Terima kasih—ya saya mereplikasi pengaturan Anda sedekat mungkin, selain itu menjadi monorepo (termasuk referensi package.json ). Menjalankan develop hanya memberikan kesalahan seolah-olah tidak ada gatsby-source-wordpress . Saya akan mencobanya lagi di sini segera.

Lebih setia membuat ulang monorepo Anda, dan anehnya itu hanya duduk di source and transform nodes , seperti halnya dengan gatsby-source-wordpress yang tidak bercabang sebelum menurunkan dependensi yang didapat.

@pieh Mampu menjawab pertanyaannya @ https://github.com/gatsbyjs/gatsby/issues/6654#issuecomment -442536931 ?

@dustinhorton Ya itu harus duduk di sana untuk beberapa waktu juga jika Anda memiliki banyak gambar. Garpu saya akan membuang unhandled promise rejection jika file jarak jauh gagal diunduh. Itulah mengapa saya ingin memiliki beberapa mekanisme untuk menangani skenario ini dengan benar.

Saya pikir saya membaca di utas lain juga bahwa ada pembicaraan tentang mengintegrasikan semacam manajer kemajuan juga karena ini akan memberikan umpan balik tentang status plugin.

Jika Anda melihat sistem file OS Anda di bawah project-root/.cache/gatsby-source-filesystem Anda seharusnya dapat melihat semua gambar yang sedang diunduh. Dalam kasus saya sekarang hampir 400 gambar jadi butuh beberapa waktu. Namun sebelum menggunakan versi bercabang saya, plugin akan gagal secara diam-diam pada kesalahan dan kemudian tidak pernah berkembang menyebabkan masalah di mana sumber dan transformasi akan memakan waktu berjam-jam ...

Apakah Anda memiliki repo? Saya ingin sekali dapat mencobanya di situs lain karena sejauh ini saya hanya mengujinya dalam situasi kehidupan nyata di situs saya.

@njmyers Itu aturan—jika Anda tidak keberatan, kirimi saya email: [email protected] , atau cari undangan. Aku akan menyiapkan sesuatu malam ini.

Memperbarui got memecahkan semua masalah untuk saya juga.

Masalah dengan got@9 adalah memerlukan Node 8 (https://github.com/sindresorhus/got/releases/tag/v9.0.0), jadi kami tidak dapat memutakhirkan ATM :(

Kami seharusnya dapat meningkatkan setidaknya ke got@8 , tetapi saya tidak yakin apakah ini akan memperbaiki masalah

got@8 tampaknya mengimplementasikan cache HTTP yang sesuai dengan RFC 7234, jadi gatsby-source-filesystem dapat menyediakan adaptor cache sistem filenya sendiri. Yang setidaknya harus mengurangi waktu yang dihabiskan di sumber dan mengubah node untuk kedua kalinya mengingat sumber daya dapat di-cache.

Hai!

Masalah ini sudah sepi. sepi seram. 👻

Kami mendapatkan banyak masalah, jadi saat ini kami menutup masalah setelah 30 hari tidak aktif. Sudah setidaknya 20 hari sejak pembaruan terakhir di sini.

Jika kami melewatkan masalah ini atau jika Anda ingin tetap membukanya, balas di sini. Anda juga dapat menambahkan label "tidak basi" agar masalah ini tetap terbuka!

Terima kasih telah menjadi bagian dari komunitas Gatsby! 💪💜

@gatsbot Masih menjadi masalah.

Diminta untuk berkontribusi posting blog untuk kalian semua. Tidak dapat melakukannya karena macet di sumber dan mengubah node. Melihat masalah lain, tetapi saya tidak melihat di mana ada perbaikan untuk ini. Ini adalah cabang dari gatsbyjs, upstream terbaru. Saya hanya menjalankan ini sekali. Itu selalu terjebak mengubah node.

Gagal mengambil tangkapan layar dari beberapa situs saat membangun. Saya akan menambahkan situs yang menyinggung di pagi hari.

@ twhite96 Saya baru saja mengalami masalah dan apa yang berhasil bagi saya adalah menghapus file sementara yang masih saya buka (dari emacs), tidak yakin apakah itu akan membantu Anda atau tidak, tetapi itu memungkinkan build saya untuk bergerak maju.

Jadi sepertinya ini masih menjadi masalah…

menghadapi masalah yang sama saat menggunakan gatsby-source-s3 untuk menarik 100 foto dan mengubahnya menjadi tajam. Adakah yang menemukan perbaikan?

Entah bagaimana masalah saya telah diperbaiki (secara acak?). Ini adalah langkah-langkah yang saya ambil, saya membuat ember s3 baru dengan lebih sedikit gambar (untuk pengujian) dan kemudian mencoba membangun dan berhasil dibangun dengan sangat cepat. Kemudian saya memutuskan untuk kembali dan mencoba menarik dari ember asli dan sekarang tiba-tiba itu berhasil dibangun di 49s ketika awalnya akan berlangsung berjam-jam. Saya tidak tahu bagaimana sakelar di tautan ember memperbaiki kios tetapi harap ini membantu seseorang mengetahuinya. mungkin ada hubungannya dengan cache?

Halo semua. Saya memperbarui versi plugin lokal yang saya gunakan untuk situs yang memiliki masalah ini. Saya pikir ini adalah implementasi yang lebih baik karena menggunakan 'better-queue' sebelum 'createRemoteNode' dan meneruskan parameter 'concurrentRequests'. Ini sedikit berlebihan karena 'createRemoteNode' sudah menggunakan antrian tetapi terlepas dari versi ini tampaknya berfungsi dengan baik dengan peningkatan gatsby baru-baru ini dan memberikan umpan balik tentang kemajuan file. Saya akan mencoba untuk mendapatkan PR bersama untuk ini. Maaf atas keterlambatan saya tahu saya mengatakan saya akan mengerjakan ini lebih awal tetapi cukup sibuk!

https://github.com/njmyers/byalejandradesign.com/blob/wordpress-plugin/packages/gatsby-source-wordpress/src/download-media-files.js

@njmyers

Terima kasih banyak. Versi Anda memecahkan beberapa masalah yang saya alami. Saya menggabungkannya dengan satu atau dua baris untuk menyaring unduhan 25 GB mp3, dan sekarang saya siap!

Pasti masih menjadi masalah.
Saya telah mencoba mengkompilasi proyek saya selama 24 jam terakhir. Dari sekitar 12 percobaan, 3 berhasil dengan output dan koneksi WP aktual. Apakah ada perbaikan untuk ini?
BTW, saya sudah mencoba menggunakan versi plugin @njmyers (pekerjaan yang luar biasa, sebenarnya!), Tetapi hasilnya beragam. Kadang-kadang akan mengeluh tentang wordpress_parent atau Date dan akhirnya crash, tetapi tidak tahu apa yang sebenarnya terjadi dengan kesalahan ini. Di build lain, kesalahan berbeda (tetapi mereka melakukan kompilasi, yang menarik), yang sebenarnya menyebabkan masalah pada GraphQL.

@lucassilvagc dapatkah Anda memposting beberapa keluaran? Saya senang orang mencoba dan menguji cabang. Mari kita bekerja lebih baik sehingga kita bisa membuka PR!

@njmyers Tentu!

Ikhtisar singkat tentang apa yang terjadi:

Situs web saya saat ini berjalan dengan ~1940 file gambar, mungkin kesalahan WordPress dengan membuat beberapa file gambar beberapa kali. Jika saya menggunakan vanilla _gatsby-source-wordpress_, masalah muncul sebagaimana dimaksud (ada build "vanilla" yang saya buat kemarin malam di lingkungan build lain - yang mengembalikan masalah yang sama yang sedang kita diskusikan tentang masalah ini sama sekali. Ini build berfungsi dan dikompilasi ketika semua file gambar dikembalikan). Dengan menggunakan plugin Anda (mengganti semua file di dalam node_modules/gatsby-source-wordpress (koreksi saya jika saya salah dalam hal ini)), _gatsby develop_ mengembalikan saya sebagai berikut:

TypeError: Cannot read property 'wordpress_parent' of undefined

  - normalize.js:287 entities.map.e
    [amazingtec]/[gatsby-source-wordpress]/normalize.js:287:11

  - Array.map

  - normalize.js:286 Object.exports.mapElementsToParent.entities [as mapElementsToParent]
    [amazingtec]/[gatsby-source-wordpress]/normalize.js:286:12

  - gatsby-node.js:134 Object.exports.sourceNodes
    [amazingtec]/[gatsby-source-wordpress]/gatsby-node.js:134:24


warning The gatsby-source-wordpress plugin has generated no Gatsby nodes. Do you need it?
success source and transform nodes — 299.757 s
success building schema — 10.192 s

Setelah beberapa saat, itu menghasilkan:

'Cannot query field "allWordpressPage" on type "Query". Did you mean "allSitePage"?',
    locations: [ [Object] ] } ]
error UNHANDLED REJECTION

  TypeError: Cannot read property 'allWordpressPage' of undefined

  - gatsby-node.js:54 graphql.then.result
    C:/Projects/amztec-gtby/amazingtec/gatsby-node.js:54:36

PS: ini adalah versi vanilla dari gatsby-source-wordpress yang _"dikonversi"_ menjadi milik Anda dengan mengganti file, seperti yang saya katakan di atas. Saya pikir fakta bahwa itu tidak dapat menanyakan semua halaman terkait dengan tidak ada node yang dihasilkan. Juga ingin memperhatikan bahwa build ini sama dengan vanilla saya yang berfungsi saat masalah ini tidak muncul.

Juga ingin memperhatikan bahwa menambahkan rute tampaknya menyebabkan masalah awal yang sama bagi saya (karena saya ingin menghindari halaman berbeda yang tidak terkait atau akan mengembalikan kesalahan karena beberapa lapisan perlindungan di WordPress). Saya hanya tidak tahu apakah rute yang saya daftarkan sudah benar, atau jika saya melewatkan sesuatu setelahnya.

Saya sangat senang dengan balasan Anda, masalah ini saat ini menjadi kemunduran besar bagi proyek saya dan saya senang Anda masih mengetahui masalah ini. Terima kasih banyak!

Memiliki masalah yang sama dengan 400+ pos khusus dengan bidang acf dan 4000 gambar.

Saya memperbarui dan dapat membangun dengan 35 menit

Tidak dapat membangun lagi setelah saya memperbarui got

Seperti yang diharapkan, karena bug ini masih ada di gatsby-wordpress. 35 menit untuk mengunduh dan memproses semua gambar tetap menjadi waktu yang sangat lama mengingat semua faktor (kecepatan internet rata-rata, kekuatan pemrosesan, total file, dan sebagainya).
Anda dapat mencoba mengadaptasi versi @njmyers untuk penggunaan khusus Anda, ini akan berfungsi seperti pesona dalam mengunduh setiap file gambar yang Anda miliki.

Seperti yang diharapkan, karena bug ini masih ada di gatsby-wordpress. 35 menit untuk mengunduh dan memproses semua gambar tetap menjadi waktu yang sangat lama mengingat semua faktor (kecepatan internet rata-rata, kekuatan pemrosesan, total file, dan sebagainya).
Anda dapat mencoba mengadaptasi versi @njmyers untuk penggunaan khusus Anda, ini akan berfungsi seperti pesona dalam mengunduh setiap file gambar yang Anda miliki.

Situs saya berfungsi dengan baik ketika saya memiliki sejumlah kecil gambar tetapi ketika saya mulai menambahkan lebih banyak, ini juga terjadi.

@MWalid bagaimana saya bisa memperbarui got ? Terima kasih.

telah mencoba membangun sepanjang hari tanpa hasil. memiliki sekitar 1450 gambar.

Kami belum dapat menerapkan selama 2 hari sekarang. Dapatkah seseorang membantu mengarahkan saya ke arah yang benar ke mana ini terjadi dalam kode sehingga saya dapat mencoba dan menemukan solusi?

Kami belum dapat menerapkan selama 2 hari sekarang. Dapatkah seseorang membantu mengarahkan saya ke arah yang benar ke mana ini terjadi dalam kode sehingga saya dapat mencoba dan menemukan solusi?

Sudahkah Anda meningkatkan got dependensi bersarang dari gatsby-source-filesystem untuk menggunakan setidaknya versi 9.4.0 ?

Jika tidak, Anda harus menambahkan:

  "resolutions": {
    "gatsby-source-filesystem/got": "9.4.0"
  }

di package.json proyek Gatsby Anda. Kemudian hapus node_modules dan file yarn.lock dan instal lagi.

Catatan: Fitur resolutions ini hanya berfungsi untuk yarn . npm belum mengimplementasikan ini.

@anagstef terima kasih banyak atas tipnya! Saya akan mencoba ini dan melaporkan kembali.

Saat menjalankan gatsby develop , apakah ada cara untuk menyimpan cache lokal alih-alih mengambil data jarak jauh setiap kali perintah diluncurkan?

@anagstef terlihat bekerja lebih baik! Terima kasih atas tipnya!

Outputnya sangat bertele-tele saat membangun dengan versi got ini. Apakah Anda tahu apakah ada cara untuk menghapus ini?

@nratter Saya senang ini berhasil untuk Anda!

Ya, saya tahu itu, itu sangat bertele-tele dan tidak dapat dimatikan. Merusak semua keluaran konsol yang berguna.

Setelah beberapa penyelidikan yang saya lakukan, saya pikir itu disebabkan di sini:
https://github.com/gatsbyjs/gatsby/blob/80c7023a8bc23886939205fe52e305277294e6af/packages/gatsby-source-filesystem/src/create-remote-file-node.js#L155

Seperti yang Anda lihat, ia memanggil console.log dengan kemajuan unduhan setiap file setiap kali peristiwa downloadProgress dipancarkan yang terjadi terlalu sering per detik. Ini bukan masalah sebelumnya, karena versi lama got tidak mengimplementasikan acara downloadProgress .

Mungkin kita bisa memperbaikinya dengan PR? Sepertinya men-debug kode sisa.

Saya memiliki masalah yang sama, terjebak pada "sumber dan transformasi node". Setelah banyak console.logs, masalah saya akhirnya menjadi masalah waktu habis dengan mengambil file media dari wordpress. Masalahnya bukan server tidak mampu menanganinya, melainkan membatasi tingkat cloudflare dan membuang batas waktu setelah sekitar 350 permintaan.

Saya melewati cloudflare, langsung menuju ke vps dan saya tidak lagi melihat "sumber dan transformasi node", dan build saya selesai.

Solusi saya adalah memiliki wordpress lokal untuk pengujian, situs langsung ada di netlify, saat menyebarkannya tidak menyebabkan masalah apa pun.

Teman-teman, saya berhasil memperbaikinya dengan menjalankan permintaan createRemoteFileNode secara serial alih-alih paralel.

Berikut fungsi yang saya gunakan:

/**
 * Map over items array using the fn function but wait for each step to finish before moving to the next one
 */
exports.serialMap = async (items, fn) => {
  const results = []
  for (const item of items) {
    const result = await fn(item)
    results.push(result)
  }
  return results
}

dan inilah cara saya menggunakannya:

const imageNodes = await serialMap(node.___originalImages, imgUrl => {
  return createRemoteFileNode({
    url: imgUrl,
    parentNodeId: node.id,
    store,
    cache,
    createNode,
    createNodeId,
  })
})

Setelah gambar diunduh, inilah tampilan langkah sumber dan transformasi saya

Downloading remote files [==============================] 1063/1063 156.1 secs 100%
Downloading remote files [==============================] 1064/1064 157.2 secs 100%
Downloading remote files [==============================] 1065/1065 158.4 secs 100%
Downloading remote files [==============================] 1066/1066 159.5 secs 100%
Downloading remote files [==============================] 1067/1067 160.5 secs 100%
Downloading remote files [==============================] 1068/1068 161.5 secs 100%
Downloading remote files [==============================] 1069/1069 162.6 secs 100%
Downloading remote files [==============================] 1070/1070 163.7 secs 100%
Downloading remote files [==============================] 1071/1071 164.9 secs 100%
Downloading remote files [==============================] 1072/1072 166.0 secs 100%
Downloading remote files [==============================] 1073/1073 167.5 secs 100%
Downloading remote files [==============================] 1074/1074 169.2 secs 100%
Downloading remote files [==============================] 1075/1075 171.0 secs 100%
success source and transform nodes — 175.271 s

Semoga itu memecahkan masalah Anda juga.
Bersulang

@ancashoria di mana saya harus meletakkan kode ini?

@ancashoria ya, saya juga tidak jelas di mana menempatkan kode ini.

Ini agak tidak terkait dengan plugin gatsby-source-wordpress . Saya memiliki kode di atas di gatsby-node.js . Idenya adalah bahwa menembakkan semua permintaan itu secara paralel menyebabkannya gagal, jadi saya menulis bahwa fungsi pembantu untuk memecatnya satu demi satu.

Saya kira ada masalah serupa di gatsby-source-wordpress juga, tapi saya tidak begitu akrab dengannya.
Maaf saya tidak bisa membantu lebih banyak.

Tampaknya terkait dengan gambar besar dan koneksi internet yang lambat. Netlify dapat membangun situs tetapi koneksi lokal saya tidak karena unduhan hanya 1MB/s yang menyebabkannya kehabisan waktu setelah 30-an dan gagal pada gambar besar.

Saya memiliki serat 1gb dan tidak ada gambar 'besar'.

Saya tidak mengubah gambar blog secara lokal setelah mengunduhnya wordpress, saya hanya menggunakan url mereka. Alangkah baiknya jika ada pengaturan yang menonaktifkan pengunduhan gambar-gambar ini dalam kasus ini.

Teman-teman, saya berhasil memperbaikinya dengan menjalankan permintaan createRemoteFileNode secara serial, bukan paralel.

Ya masalahnya benar-benar didasarkan pada fakta bahwa createRemoteFileNode menggunakan konkurensi 200 yang terlalu banyak untuk sebagian besar server WP. Saya memiliki gambar saya di CloudFront dan mencapai beberapa batas kecepatan di sana.

Saya mencoba memperbaiki masalah dengan versi bercabang dari plugin sumber untuk sementara waktu tetapi masalahnya sebenarnya tidak ada di gatsby-source-wordpress melainkan di gatsby-source-filesystem . Idealnya konsumen dari fungsi createRemoteFileNode dapat melewati konkurensi di sana. Kemudian plugin dapat membuat opsi konkurensi tersedia di konfigurasi mereka. Saya masih ingin melakukan PR untuk mengatasi masalah ini!

Solusi yang saya gunakan hanyalah skrip sederhana untuk memodifikasi kode di dalam node_modules . Benar-benar sangat rapuh dan tidak ideal tetapi ini adalah peretasan sederhana untuk memodifikasi konkurensi secara langsung. Menggunakan shelljs sehingga seharusnya berfungsi untuk pengguna windows juga (belum mencoba).

#!/usr/bin/env node
const path = require('path');
const shell = require('shelljs');

const FILE_PATH = path.resolve(
  __dirname,
  // add path to your root dir here,
  'node_modules',
  'gatsby-source-filesystem/create-remote-file-node.js'
);

shell.sed('-i', 'concurrent: 200', 'concurrent: 20', FILE_PATH);

Saya memiliki masalah yang sama, terjebak pada "sumber dan transformasi node". Setelah banyak console.logs, masalah saya akhirnya menjadi masalah waktu habis dengan mengambil file media dari wordpress. Masalahnya bukan server tidak mampu menanganinya, melainkan membatasi tingkat cloudflare dan membuang batas waktu setelah sekitar 350 permintaan.

Saya melewati cloudflare, langsung menuju ke vps dan saya tidak lagi melihat "sumber dan transformasi node", dan build saya selesai.

ini persis masalah saya. Netlify membangun dengan sangat cepat - kurang dari 2 menit. Hanya sekitar 30 posting, dengan sekitar 500 sumber gambar. Secara lokal tidak semuanya selesai, cukup hapus centang status CloudFlare menjadi DNS hanya menyelesaikan masalah dengan segera

Saya memiliki masalah yang sama, terjebak pada "sumber dan transformasi node". Setelah banyak console.logs, masalah saya akhirnya menjadi masalah waktu habis dengan mengambil file media dari wordpress. Masalahnya bukan server tidak mampu menanganinya, melainkan membatasi tingkat cloudflare dan membuang batas waktu setelah sekitar 350 permintaan.
Saya melewati cloudflare, langsung menuju ke vps dan saya tidak lagi melihat "sumber dan transformasi node", dan build saya selesai.

ini persis masalah saya. Netlify membangun dengan sangat cepat - kurang dari 2 menit. Hanya sekitar 30 posting, dengan sekitar 500 sumber gambar. Secara lokal tidak semuanya selesai, cukup hapus centang status CloudFlare menjadi DNS hanya menyelesaikan masalah dengan segera

Saya juga menemukan ini menjadi kasusnya. Saya sebelumnya memiliki satu gambar yang menyebabkan build gagal dan mengabaikan Cloudflare sebagai masalahnya. Masalah sejak kembali baru-baru ini dan seperti yang disarankan @amcc untuk tidak merutekan catatan A melalui Cloudflare menyelesaikan masalah dengan segera secara lokal juga.

Hanya ingin menggemakan bahwa ini bukan hanya masalah sumber WP — mengalami masalah yang sama dengan gatsby-source-prismic , mengurangi konkurensi sistem file- sour dengan

Setuju bahwa jika tidak ada yang lain, konkurensi sistem file sumber harus dapat dikonfigurasi.

@njmyers Saya minta maaf untuk menanyakan ini, tetapi bagaimana tepatnya perbaikan ini dijalankan. Cukup jalankan skrip sebelum build atau apakah saya perlu mereferensikan skrip dalam proses build, karena saat ini saya bertanya pada diri sendiri bagaimana menerapkan perbaikan ini secara lokal dan juga pada misalnya netlify.

@alexanderwe Jangan khawatir ini adalah peretasan yang konyol. Anda dapat menjalankannya setelah Anda menginstal node_modules . Saya tidak 100% yakin tetapi saya yakin file postinstall dalam proyek Anda package.json akan berfungsi.

Bagi saya Gatsby hang 50% dari waktu pada "sumber dan transformasi node" ketika saya menggunakan json dengan lebih dari 500 gambar yang disertakan. Saya menggunakan gatsby-source-custom-api

Gambar di-host di server yang cepat dan stabil.
Koneksi internet saya juga cepat dan stabil.

"gatsby": "^2.9.4",
"gatsby-image": "^2.1.4",
"gatsby-plugin-emotion": "^4.0.7",
"gatsby-plugin-sharp": "^2.1.5",
"gatsby-plugin-typography": "^2.2.13",
"gatsby-source-custom-api": "^2.0.4",
"gatsby-transformer-remark": "^2.4.0",
"gatsby-transformer-sharp": "^2.1.21",

Apa yang bisa saya lakukan untuk men-debug itu?

Masalah ini hanya terjadi dengan gatsby-source-custom-api atau source-wordpress ?

Aku juga mengalami hal yang sama. Saya sudah mencoba setiap perbaikan yang disarankan dan sepertinya tidak ada yang berhasil. Pasti tidak akan menggunakan Wordpress sebagai backend untuk Gatsby lagi, meskipun saya mendengar orang-orang juga mengalami masalah serupa dengan layanan lain.

@alexanderwe Cara yang tepat untuk memperbaikinya adalah dengan mengimplementasikan tambalan yang disarankan oleh @njmyers
Kemudian perkenalkan PR lain ke gatsby-source-wordpress dan lainnya untuk benar-benar membuat ini dapat dikonfigurasi dari referensi mereka di gatsby-config.js

@sebastienfi Saya baru saja menemukan ini https://github.com/gatsbyjs/gatsby/issues/14819#event -2418874313 dan komit terkait https://github.com/gatsbyjs/gatsby/commit/90aa24787b32ef9613b6becbfadab6029ec39ce9#diff menambahkan variabel lingkungan untuk mengonfigurasi tingkat konkurensi, yang memecahkan masalah bagi saya. Ada juga diskusi yang sedang berlangsung tentang variabel lingkungan vs parameter konfigurasi: https://github.com/gatsbyjs/gatsby/issues/14636

Sudahkah Anda mencoba menyetel GATSBY_CONCURRENT_DOWNLOAD ke angka yang lebih rendah? Secara default diatur ke 200.

Linux/mac:
GATSBY_CONCURRENT_DOWNLOAD=5 gatsby build

Jendela:
setx GATSBY_CONCURRENT_DOWNLOAD 5; gatsby build

@wardpeet
saya mencoba, tidak ada yang berubah

Ini pasti ada hubungannya dengan sistem file sumber, karena log menunjukkan bahwa gambar telah berhasil diambil.... masalahnya masih besar... solusi untuk ini...

setelah mengatur plugin sumber wordpress untuk men-debug saya melihat ini

selalu menutup antara 470-480... tidak biasanya di tempat yang sama sekalipun.

adakah yang tahu di mana dalam kode ini dieksekusi?

Akhirnya membuatnya berfungsi dengan mengaktifkan vpn di tengah jalan

Adakah yang mau berbagi repo mereka dengan saya dan kredensial sehingga saya bisa mencoba yang ini dan mencoba menemukan masalahnya?

Jangan ragu untuk mengirimi saya email pribadi di [email protected]

repo saya tidak mudah dibuat ulang pada saat ini—saya memiliki cadangan db seperti di suatu tempat, tetapi untuk mendapatkan pembangunan situs, saya harus mengurangi posting setiap bulan menjadi satu posting, selama bertahun-tahun konten.

@wardpeet mengirimi Anda email repo saya Ward ([email protected]). beri tahu saya bagaimana kelanjutannya.

Perusahaan kami mengubah wifi dan meningkatkan bandwidth. Hari ini saya tidak memiliki masalah dalam mengunduh gambar .... Tapi saya masih tidak mengerti, apakah itu jaringan atau konkurensi?

namun semua build di Netlify gagal...

17:13:43 PM: === [ Mengambil wordpress__wp_media ] === https://wildkiwi.com/wp-json/wp/v2/media
17:13:43: Total entitas : 1717
17:13:43: Halaman yang akan diminta : 344
17:45: Permintaan gagal dengan kode kesalahan "tidak terdefinisi"

kode kesalahan tidak terdefinisi, jadi saya tidak begitu mengerti apa yang terjadi ...

Ketika saya mengubah permintaan bersamaan menjadi 5, ini berfungsi di Netlify

Saya mengalami masalah ini dengan plugin yang berbeda ( https://github.com/angeloashmore/gatsby-source-prismic ) dan pengaturan GATSBY_CONCURRENT_DOWNLOAD=50 berhasil.

Ini terjadi begitu saja (suatu hari situs saya akan dibangun, hari berikutnya tidak, tanpa perubahan), dan tanpa pesan kesalahan apa pun, agak membingungkan untuk menyebarkan situs web untuk klien tanpa yakin bahwa ini tidak akan terjadi lagi.

Kami pada dasarnya mengunduh 200 gambar sekaligus tetapi ini mungkin bermasalah untuk beberapa komputer/koneksi internet. Solusi yang baik adalah memanggang dalam beberapa mekanisme coba lagi.

Saya mengalami masalah ini tetapi saya berhasil membuat build berfungsi dengan baik dengan kombinasi setx GATSBY_CONCURRENT_DOWNLOAD 5; gatsby build dan Smushing semua gambar (beberapa di antaranya terlalu besar dalam dimensi dan ukuran file) menggunakan versi gratis https:// en-gb.wordpress.org/plugins/wp-smushit/.

Halo! Saya mengalami masalah yang sama dengan plugin sumber yang saya buat (tidak terkait dengan WordPress), dan saat mengunduh 1000+ gambar dari API. Itu hampir selalu hang di akhir proses.

Menyetel GATSBY_CONCURRENT_DOWNLOAD tidak menyelesaikannya. Saya mencoba 50 , 20 , 5 , tidak berhasil.

Saya mendapatkan kumpulan ukuran dari API, dan saya menggunakan gambar terbesar, tetapi mengubahnya menjadi yang terkecil dan tidak memperbaikinya juga.

Sulit untuk mengidentifikasi mengapa gagal pada titik ini, satu-satunya hal yang saya dapatkan adalah source and transform nodes dan kemudian diam selamanya.

Akan luar biasa memiliki mekanisme debugging untuk ini.

Saya mengalami masalah yang sama dalam integrasi gatsby+wordress. Build akan berhenti selamanya di onCreateNode API tempat saya menggunakan createRemoteFileNode.

Solusi: Saya memperbarui gatsby-source-filesystem dari 2.0.4 menjadi 2.1.8 dan menambahkan GATSBY_CONCURRENT_DOWNLOAD=50 ke variabel lingkungan saya.

Halo

Saya memiliki masalah serupa pada proyek saya.

Lingkungan

  System:
    OS: macOS 10.14.6
    CPU: (4) x64 Intel(R) Core(TM) i5-7267U CPU @ 3.10GHz
    Shell: 5.3 - /bin/zsh
  Binaries:
    Node: 10.16.0 - ~/.nvm/versions/node/v10.16.0/bin/node
    Yarn: 1.17.3 - ~/.yarn/bin/yarn
    npm: 6.9.0 - ~/.nvm/versions/node/v10.16.0/bin/npm
  Languages:
    Python: 2.7.15 - /usr/local/bin/python
  Browsers:
    Chrome: 76.0.3809.100
    Firefox: 68.0.1
    Safari: 12.1.2
  npmPackages:
    gatsby: ^2.13.42 => 2.13.42
    gatsby-cli: ^2.7.34 => 2.7.34
    gatsby-image: ^2.2.14 => 2.2.14
    gatsby-plugin-glamor: ^2.1.3 => 2.1.3
    gatsby-plugin-manifest: ^2.2.4 => 2.2.4
    gatsby-plugin-offline: ^2.2.4 => 2.2.4
    gatsby-plugin-react-helmet: ^3.1.5 => 3.1.5
    gatsby-plugin-sass: ^2.1.10 => 2.1.10
    gatsby-plugin-sharp: ^2.2.9 => 2.2.9
    gatsby-plugin-svg-sprite: ^2.0.1 => 2.0.1
    gatsby-source-filesystem: ^2.1.18 => 2.1.18
    gatsby-source-wordpress: ^3.1.12 => 3.1.12
    gatsby-transformer-sharp: ^2.2.5 => 2.2.5

Saya memiliki lebih dari 80000 media di situs WP saya. Ketika saya menjalankan npx gatsby develop saya terjebak setelah "END PLUGIN".

...
=== [ Fetching wordpress__TAG ] === https://[WP_REST_API]/wp-json/wp/v2/tags

Total entities : 8805
Pages to be requested : 89
 -> wordpress__TAG fetched : 8805
Fetching the wordpress__TAG took: 12408.827ms
⠀
=== [ Fetching wordpress__wp_partners ] === https://[WP_REST_API]/wp-json/wp/v2/partners
 -> wordpress__wp_partners fetched : 22
Fetching the wordpress__wp_partners took: 1268.292ms
⠀
=END PLUGIN=====================================: 377120.512ms
⠼ source and transform nodes

Saya mencoba mengubah nilai GATSBY_CONCURRENT_DOWNLOAD tetapi tidak ada yang berubah.
Adakah cara untuk membatasi impor kuantitas media? Sebagai contoh :

{
  resolve: `gatsby-source-filesystem`,
  options: {
    name: `images`,
    path: `${__dirname}/src/images/uploads`,
    limit: 50,
  },
},

Masalah yang sama di sini, WP yang saya hosting sendiri memiliki 1690 media, saya selalu terjebak di akhir langkah Mengunduh file jarak jauh, terkadang hanya satu media yang hilang ...

Sunting: kali ini build berhasil dengan GATSBY_CONCURRENT_DOWNLOAD=5 yarn build ...

@kvalium Terima kasih atas komentar Anda, GATSBY_CONCURRENT_DOWNLOAD=5 yarn build berhasil untuk saya

Saya memiliki masalah yang sama dan saya berhasil menyelesaikannya dengan mengubah ukuran jendela terminal.

Silakan lihat komentar terakhir di #4666.

Saya juga memiliki masalah yang sama. Saya menyelesaikannya dengan:

rm -r node_modules/ 
rm -r .cache
sudo chown -R login:login . 
fuser -k 8000/tcp 
yarn 
gatsby build
gatsby develop

Semoga bisa membantu

Sepertinya ini adalah masalah yang aneh. Inilah pengalaman saya dengannya:

• Saya melihat masalah ini di macOS High Sierra (menggunakan iTerm)
• Saya mulai menggunakan GATSBY_CONCURRENT_DOWNLOAD=50 gatsby develop dan masalahnya hilang (ini terjadi selama beberapa minggu)
• Saya meningkatkan ke Mojave dan meningkatkan instalasi Gatsby global saya ke 2.7.47 dan kemudian mulai melihat masalah lagi (menggunakan iTerm)
• Mencoba mengubah GATSBY_CONCURRENT_DOWNLOAD menjadi 5
• Mencoba meniup .cache dan node_modules
• Mencoba mengubah ukuran jendela iTerm saat menjalankan gatsby develop (keduanya dengan 50 dan 5)
• Menjalankan GATSBY_CONCURRENT_DOWNLOAD=50 gatsby develop di aplikasi "Terminal", bukan di iTerm
• Dua minggu kemudian mencoba menggunakan GATSBY_CONCURRENT_DOWNLOAD=50 gatsby develop di iTerm dan mengubah ukuran jendela beberapa kali selama proses dan berhasil.

Secara prematur mengira saya menjalankannya dengan yang terakhir tetapi kemudian digantung. Semoga ini membantu orang lain. Sepertinya ini masih belum sepenuhnya berhasil, tetapi kami menuju ke sana perlahan tapi pasti.

Pembaruan: Hari ini ini berhasil untuk saya. Tidak yakin apakah itu karena saya mengubah ukuran jendela iTerm pada titik yang tepat dalam proses atau karena saya melihatnya berubah dari 93% hingga 100% tetapi ada sesuatu yang berbeda kali ini.

Tambahan untuk menggunakan GATSBY_CONCURRENT_DOWNLOAD = 5, tambahkan kode berikut ke dalam file gatsby-node.js Anda

// Penginternasionalan
export.onPostBuild = () => {
ChildProcess.execSync("ps aux | grep jest | grep -v grep | awk '{print $2}' | xargs kill")
console.log('Menyalin lokal')
fs.copySync(path.join(__dirname, '/src/locales'), path.join(__dirname, '/public/locales))
}

532314892 @bradydowling :

Tidak yakin apakah itu karena saya mengubah ukuran jendela iTerm pada titik yang tepat

Saat mengalami masalah yang sama, saya mengubah ukuran jendela dan bam iTerm saya – tiba-tiba berlanjut juga. Aku tidak tahu apakah ini kebetulan yang liar, atau...

@bradydowling @davegregg Woah itu aneh. Mengubah ukuran jendela iTerm saya berhasil.

@TylerBarnes Apa pun ini, saya sarankan itu bukan khusus Wordpress. Saya tidak menggunakan apa pun yang terkait dengan Wordpress sama sekali.

@beauhankins Bagaimana dengan Anda?

@davegregg @beauhankins @bradydowling apakah ada di antara Anda yang dapat membagikan repo di mana ini terjadi? Tampaknya sangat aneh bahwa mengubah ukuran jendela terminal Anda memperbaiki masalah.

@TylerBarnes ya inilah repo tempat saya melihatnya. Aku belum menyentuhnya sedikit pun.

Catatan tambahan: Bagaimana Anda menangani situasi di mana Anda mengkloning situs Gatsby dengan versi Gatsby yang lebih lama daripada yang saat ini diinstal oleh CLI?

Saya menjalankan perintah dengan terminal kode VS (saya menggunakan bash). Butuh selamanya dan seperti yang disarankan di atas saya keluar dari mode layar penuh dan berhasil.

@bradydowling terima kasih telah membagikan repo Anda! Untuk menggunakan versi Gatsby yang lebih lama dari cli, Anda dapat membuat skrip npm untuk pengembangan dan pembuatan.

{
  "scripts": {
    "develop": "gatsby develop",
    "build": "gatsby build"
  }
} 

kemudian menjalankan npm run develop atau yarn develop akan menggunakan versi lokal di proyek Anda.

Kami sedang menyelidiki masalah ini tetapi sementara itu, siapa pun yang memiliki masalah mungkin dapat mengatasinya dengan menjalankan CI=1 yarn build , karena itu harus menggunakan perpustakaan reporter berbeda di belakang layar. Jika Anda mencobanya dan berhasil, beri tahu kami!

@dustinhorton :

versi v2 @ https://github.com/dustinhorton/gatsby-v2-issue. Telah membangun selama sekitar 50 menit pada saat ini.

Fwiw. Saya menyadari bahwa itu telah diposting sekitar setahun yang lalu, dan Gatsby telah banyak berubah sejak saat itu. Saat menjalankannya di mesin saya (dan menyetel versi gatsby ke * di package.json) pembangunan tampaknya selesai dalam waktu sekitar 2000 detik (~33 menit).
Selain itu, saat memutakhirkan cli, sekarang ada bilah kemajuan, yang membuat perbedaan besar dalam hal berapa lama "terasa", karena Anda mendapatkan loop umpan balik yang lebih konkret.

Langkah sourcing memakan waktu hampir sepanjang waktu (1968/1975 detik). Pengunduhan file jarak jauh adalah yang paling banyak (1845 detik).

Ini tidak mengejutkan saya ketika saya melihat satu perjalanan pulang pergi ke server ini:

# Starting requestInQueue, _concurrentRequests= 10
@ requestInQueue for 75 tasks { concurrent: 10 } { id: 'url' }
@ Fetch http://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media?per_page=100&page=4: 2587.339ms
@ Fetch http://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media?per_page=100&page=10: 2661.584ms
@ Fetch http://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media?per_page=100&page=8: 2695.937ms
@ Fetch http://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media?per_page=100&page=2: 2738.339ms
@ Fetch http://dustinhorton.com/gatsby-wp/wp-json/wp/v2/media?per_page=100&page=6: 2853.199ms

Setiap permintaan membutuhkan waktu sekitar 2 hingga 4 detik. 75 halaman yang diambil awalnya saat menjelajah, membutuhkan total 18 detik (!). Saya memiliki koneksi yang cepat dan saya dapat mengulang waktu itu dengan wget biasa.

Jadi langkah terpanjang akan mencoba mengunduh sekitar 7500 sumber daya. Mempertimbangkan satu permintaan membutuhkan 2 hingga 4 detik, saya tidak terkejut itu membutuhkan waktu lama.

Meski begitu, saya melihat beberapa jeda selama rentang unduhan utama 1845 detik. Saya tidak yakin apakah ini hanya server yang membatasi data atau tidak (saya memang mengatur konkurensi ke 5).

Saya memang mencoba menggoyangkan lebar terminal (saya menggunakan xfce linux, fwiw) dan sementara itu kadang-kadang bertepatan dengan kemajuan yang bergerak maju, saya sekarang yakin itu lebih merupakan kebetulan daripada kausalitas.

Intinya: sementara saya dapat mengulangi unduhan yang lambat dan kemajuan yang tampaknya "macet", semua tanda saat ini menunjukkan bahwa itu cukup banyak disebabkan oleh menunggu respons server. Selain itu, lebar terminal tampaknya tidak mempengaruhi ini.

Yang mengatakan: ada _is_ kemungkinan bahwa keluaran terminal macet entah bagaimana saat memperbarui bilah kemajuan pada lebar yang sangat khusus. Meskipun ini tidak mungkin, itu bukan tidak mungkin. Makanya kita sangat membutuhkan repro yang bisa kita jalankan sendiri (jadi no auth). Dan lebih disukai yang _tidak_ bergantung pada server jarak jauh, karena saya tidak ingin merusak server.

Saya akan memperbarui label tentang masalah ini.

Repro yang diposting di https://github.com/gatsbyjs/gatsby/issues/6654#issuecomment -438667221 oleh @njmyers tidak ada lagi

Repo yang diposting di https://github.com/gatsbyjs/gatsby/issues/6654#issuecomment -562607399 oleh @bradydowling memerlukan banyak izin yang tidak saya miliki, dan tampaknya memiliki masalah serupa dengan waktu pulang pergi

@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=7: 25025.257ms
@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=4: 27791.269ms
@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=2: 37817.874ms
@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=5: 38056.989ms
@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=3: 38446.504ms
@ Fetch http://topazandsapphire.com/wp-json/wp/v2/media?per_page=100&page=6: 43799.842ms

Langkah sumber ini tidak benar-benar menunjukkan indikator kemajuan apa pun kecuali untuk pemintal dan terkadang langkah-langkah sedang dicatat, dan masih membutuhkan waktu beberapa menit, jadi mungkin kita setidaknya bisa menunjukkan semacam indikator kemajuan jika itu masuk akal.

Selain itu, mungkin dapat membantu untuk menunjukkan waktu rata-rata untuk mengambil sumber daya, karena itu merupakan indikasi mengapa "Gatsby" lambat, padahal sebenarnya disebabkan oleh perjalanan pulang pergi.

Dalam repo ini, bahkan mengunduh 589 file jarak jauh membutuhkan waktu sekitar 5 menit, dengan bilah kemajuan sering kali macet tanpa alasan yang jelas.

Setelah bootstrap, build gagal untuk saya karena file hilang.

@pvdz Saya harus bermain dengan ini lagi (saya menyerah untuk sementara waktu) tetapi ada file tertentu yang menimbulkan masalah izin bahkan ketika berhasil dibangun, jadi saya pikir itu dapat diabaikan.

Tetapi untuk meringkas posting Anda, apakah Anda mengatakan bahwa langkah-langkah tertentu (mengunduh) hanya membutuhkan waktu yang sangat lama dan kita harus menunggu lebih lama untuk menyelesaikannya?

@bradydowling Nah, sepertinya begitu, ya. :)

FTR: Saya telah melacak pengumpulan sumber daya sedikit. Untuk menjelaskan beberapa waktu;

Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6084.jpg: 15605.630ms
Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6036.jpg
Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6051.jpg: 6447.272ms
Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6034.jpg
Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6045.jpg: 6944.355ms
Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6029.jpg
Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6036.jpg: 6401.541ms
Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/01/IMG_6027.jpg

Ini adalah file 6mb btw. Saya menggunakan koneksi 250Mbs yang baik-baik saja untuk menangani yang lebih cepat dari 1mbs tetapi tidak mengejutkan saya bahwa itu meledakkan waktu pengunduhan. Tidak ada jumlah perubahan ukuran cli yang akan mempercepatnya;)

Menarik. Ini hanyalah blog pribadi WordPress standar yang dihosting di EC2 sehingga tidak seperti instalasi raksasa. Mungkin ini karena semua permintaan ini membebani host. Atau, saya bukan ahli WordPress, tetapi mungkin ada semacam batasan tarif WP standar pada panggilan REST API yang dapat terjadi? Saya juga akan dengan asumsi bahwa perilaku ini tidak unik untuk situs ini.

Mungkin ini karena semua permintaan ini membebani host.

Ini adalah tebakan saya (atau sesuatu di stadion baseball ini). Tapi saya menjelajahi sedikit arsitektur kita sendiri untuk memeriksa apakah kita kehilangan efisiensi melalui abstraksi. Tetapi mengingat saya dapat meniru sebagian besar waktu yang dilaporkan dengan wget/ikal polos, saya ragu ada banyak hal di sana.

Jadi sekarang saya mengganti bit got.stream() dengan pengunduh mentah yang bodoh:

    let r = ""
    require("http").get(url, res =>
      res
        .on("data", m => (r += m))
        .on("end", () => {
          console.timeEnd("$$ Fetch time for " + url)
          resolve(r)
        })
    )

$ Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/05/IMG_5260.jpg
$$ Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/09/TRAVEL-LEISURE-2-copy.png: 1003.535ms
$ Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/05/International-Travel-Topaz-Sapphire.png
$$ Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/09/IMG_4606.jpg: 3174.126ms
$ Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/05/Brunch-Topaz-Sapphire-2.png
$$ Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/09/IMG_4647.jpg: 9521.157ms
$ Started actually fetching http://topazandsapphire.com/wp-content/uploads/2016/05/IMG_6978.jpg
$$ Fetch time for http://topazandsapphire.com/wp-content/uploads/2016/05/International-Travel-Topaz-Sapphire.png: 3611.910ms

Jadi ya, saya cukup yakin penundaan yang lama (setidaknya dalam hal ini) disebabkan oleh unduhan. Jadi mungkin taruhan terbaik kami adalah meningkatkan umpan balik sambil menunggu unduhan :)

Banyak dan banyak orang mengatakan pengubahan ukuran jendela terminal (untuk alasan aneh apa pun) menyelesaikan proses pengembangan yang macet pada 'sumber dan transformasi node'.

Sayangnya, saat menggunakan WSL ini bukan solusi. Terjebak dengan 'sumber dan transformasi node' secara lokal di build maupun di develop. Pembuatan Netlify berfungsi tetapi pengembangan lokal menjadi tidak mungkin.

@Vacilando dapatkah Anda men-debug beberapa tautan yang sedang diunduh untuk situs Anda selama sumber dan menguji secara manual apakah mereka mengunduh dengan cepat? Seperti yang saya sebutkan di atas, satu masalah besar yang saya lihat adalah bahwa host wp tertentu sangat lambat.

Jadi jika host lambat dan ada banyak konten untuk diunduh, maka ya langkah ini akan memakan banyak waktu karena hanya itu yang harus dilakukan dalam langkah ini; temukan konten dan unduh :)

Jika Anda telah mengonfirmasi bahwa konten itu sendiri diunduh dalam sebagian kecil dari keseluruhan langkah, harap lingkari kembali ke sini. Dalam hal ini repro akan sangat membantu :)

Mungkin di dunia yang ideal Anda bisa memberikan bendera ke gatsby yang akan di-cache
pengunduhan aset situs sehingga ini tidak harus dilakukan berulang kali.

Solusi optimal lainnya adalah mengizinkan flag yang menetapkan semacam
pembatasan tarif atau pembatasan pengunduhan aset agar tidak gagal
sang penyelenggara.

Adakah pemikiran tentang dua ide itu?

Pada Kamis, 19 Des 2019, 18:09 Peter van der Zee [email protected]
menulis:

@Vacilando https://github.com/Vacilando dapatkah Anda men-debug beberapa tautan yang
sedang diunduh untuk situs Anda selama mencari dan menguji secara manual
apakah mereka mengunduh dengan cepat? Seperti yang saya sebutkan di atas, satu masalah besar saya
melihat adalah bahwa host wp tertentu benar-benar super duper lambat.

Jadi kalau hostnya lemot dan banyak konten yang harus didownload, ya
langkah ini akan memakan banyak waktu karena hanya itu yang harus dilakukan
langkah ini; temukan konten dan unduh :)

Jika Anda telah mengonfirmasi bahwa konten itu sendiri diunduh di sebagian kecil dari
seluruh langkah, silakan lingkari kembali ke sini. Dalam hal ini repro akan menjadi
sangat membantu :)

—
Anda menerima ini karena Anda disebutkan.
Balas email ini secara langsung, lihat di GitHub
https://github.com/gatsbyjs/gatsby/issues/6654?email_source=notifications&email_token=ABS4AU62367MTEWP7LJXWTLQZP5L5A5CNFSM4FLHT3T2YY3PNVWWK3TUL52HS4DFVREXG43WS4DFVREXG43WH2JKTLN5WXVBW63LN5
atau berhenti berlangganan
https://github.com/notifications/unsubscribe-auth/ABS4AU7GCV4YMZQH6R37BSDQZP5L5ANCNFSM4FLHT3TQ
.

@bradydowling bagian dari itu sebenarnya sudah ada. Anda dapat mengatur variabel env GATSBY_CONCURRENT_DOWNLOAD untuk mengonfigurasi batas untuk permintaan bersamaan. Versi utama berikutnya dari gatsby-source-wordpress https://github.com/gatsbyjs/gatsby/issues/19292 akan memiliki kontrol lebih besar atas cara file media diunduh. Adapun caching, file yang diunduh saat ini di-cache, tetapi ketika Anda mengubah file gatsby-*.js, file tersebut saat ini menghapus cache untuk mencegah cache basi yang menyebabkan bug yang tidak terduga. Jadi itu masalah inti daripada gatsby-source-wordpress spesifik, tetapi pekerjaan selalu dilakukan untuk meningkatkan cache Gatsby.

Sebagian Jobs Api (#19831) harus memperbaiki masalah caching ini.

Ya saya melihat sedikit tentang GATSBY_CONCURRENT_DOWNLOAD lebih dekat ke atas. Dari pengalaman saya, itu tidak membantu jadi saya kira saran saya adalah ke arah kontrol yang lebih halus seperti dalam mb per s/m/h atau sesuatu seperti itu. Mungkin aku hanya mengatakan omong kosong.

@bradydowling Saya melihat untuk menambahkan percobaan ulang permintaan dengan backoff eksponensial serta menambahkan pengaturan opsional untuk permintaan maksimum per detik untuk kasus di mana itu tidak bekerja dengan cukup baik.

Hai!

Masalah ini sudah sepi. sepi seram. 👻

Kami mendapatkan banyak masalah, jadi saat ini kami menutup masalah setelah 30 hari tidak aktif. Sudah setidaknya 20 hari sejak pembaruan terakhir di sini.
Jika kami melewatkan masalah ini atau jika Anda ingin tetap membukanya, balas di sini. Anda juga dapat menambahkan label "tidak basi" agar masalah ini tetap terbuka!
Sebagai pengingat: cara terbaik untuk melihat masalah ini, atau yang lainnya, diperbaiki adalah dengan membuka Permintaan Tarik. Lihat gatsby.dev/contribute untuk informasi lebih lanjut tentang membuka PR, mengatasi masalah, dan berkontribusi!

Terima kasih telah menjadi bagian dari komunitas Gatsby! 💪💜

Aku akan menutup ini sekarang.

Jika Anda merasa memiliki masalah sumber wordpress, harap konfirmasikan bahwa penundaan Anda bukan disebabkan oleh server wordpress yang lambat terlebih dahulu. Kemudian silakan buka masalah _baru_ (tetapi jangan ragu untuk menunjukkan kembali masalah ini).

Tingginya jumlah komentar membuat sangat sulit untuk melacak diskusi. Jadi membuka masalah baru lebih mungkin menghasilkan masalah spesifik Anda mendapatkan jawaban.

Saya dan yang lainnya mengkonfirmasinya selama satu setengah tahun terakhir. masalah asli saya adalah pada vps yang disetel dengan baik. @njmyers memiliki kemungkinan perbaikan, atau setidaknya peningkatan, tetapi tidak bisa mendapatkan jawaban dari pengelola tentang bagaimana mereka ingin itu dilakukan.

saya berpikir untuk menutup diri, tetapi saya pikir itu perlu di luar sana sebagai peringatan bahwa situs wordpress yang cukup besar belum cocok untuk gatsby.

@dustinhorton saya mengerti itu. Masalah ini sudah lebih dari satu setengah tahun, banyak hal berubah dengan cepat. Dengan masalah sebesar ini banyak komentar sulit untuk mengetahui masalah yang sebenarnya lagi.

Fwiw, seperti disebutkan di atas, saya memeriksa repro yang dilaporkan terakhir dan menentukan itu, setidaknya, disebabkan oleh remote yang lambat. Jika Anda memiliki repro dengan rilis Gatsby saat ini pada remote cepat, beri tahu saya, meskipun mungkin sudah diposting di utas ini. Atau mungkin buka edisi baru untuk itu (dan beri tag saya) jika Anda ingin lebih fokus padanya, saya akan menyerahkannya kepada Anda :)

(_Hanya untuk memperjelas, kami menutup masalah ini karena sudah agak basi dengan terlalu banyak pesan di luar topik, tolong jangan merasa seperti kami memencet diskusi karena bukan itu maksudnya dan kami menyadari pekerjaan kami belum selesai di sini !_)